Клиент прислал реальный заказ на проверку. Система провалила 24 позиции из 24.
Контекст: сервис для поставщика продуктов сверяет 45 прайсов поставщиков с каталогом компании — по каждой позиции находит, у кого сегодня дешевле. ИИ-матчинг на тестах показывал приличные проценты, все довольны. И тут живой заказ — ноль из двадцати четырёх. Планка клиента — 70% автоматом.
Первое желание — крутить «умную» часть: модель, промпты, пороги. Это ловушка. Вместо этого я прочесал систему с семи сторон по очереди: наполняемость, точность, цены, очередь подтверждений, поставщики, парсинг файлов, дубли. Тупо, по одной стороне за раз, с цифрами до и после.
Что нашлось. Молочка сравнивалась с чужой категорией — из-за одного кривого правила категоризации. Бренды в кавычках — «Праймбиф» и Праймбиф считались разными словами, минус десятки совпадений. На листе сравнения часть цен была за килограмм, а система думала, что за штуку. Ни одна из находок не про ИИ. Все — про данные вокруг него.
Два дня таких фиксов — и автоматика поднялась с 64 до 83 процентов. Модель не трогал вообще.
Вывод, который я повторяю каждому: автоматический матчинг — это не «магия нейросети», это десяток скучных исправлений по проценту-два каждое. И такие системы деградируют молча: никто не заметит, пока не прогонит реальный заказ. Поэтому прогоняйте реальные заказы.