На Habr вышла статья (habr.com/ru/articles/1098614/) про нормализацию миллионов строк НСИ — справочника номенклатуры. Автор описывает конфигурацию без изысков: обычный сервер на 8 ядер и 16 ГБ оперативки, заявленная точность сопоставления записей — 98%. Никаких GPU-ферм и «золотой рыбки», которая выполнит желание по щелчку.
Метафора с джинном и лампой — про архитектуру, а не про красивый слог. Модель не бросают на сырые данные «как есть»: её сажают в узкий набор ограничений, которые задаёт обвязка вокруг неё, и уже внутри этих рамок она разбирает миллионы строк. Что именно за ограничения — формат ответа, правила сопоставления или предобработка справочника — автор разбирает в тексте статьи.
Нормализация НСИ — вечная боль: один и тот же товар в справочнике живёт в десятке написаний, сокращений и опечаток. Кейс показывает, что миллионы строк можно прогонять через ИИ на железе, которое уже стоит в стойке, без облачных счетов и выгрузки данных наружу. Для команд с локальной инфраструктурой это рабочий сценарий, а не лабораторный эксперимент; детали и ограничения подхода — в самой статье.
Источник: habr.com · пост в Telegram