Единый источник правды для ассистента и для операторов

Когда ответы ассистента неточны, первая реакция — сменить модель эмбеддингов на более дорогую. На практике чаще помогает пересмотр разбиения текста. Если фрагмент содержит половину инструкции, поиск найдёт его по ключевой фразе, но модель не увидит условия, при которых шаг применяется, и ответ получится неполным или прямо неверным.

Мы разбиваем документы так, чтобы фрагмент оставался смысловой единицей: один шаг процедуры, одно условие тарифа, одно описание ошибки. Диапазон 300–800 токенов и перекрытие в 10–15% дают устойчивый результат: поиск находит нужное место, а контекст не раздувается настолько, чтобы ответ стал дорогим и медленным.

Единственный честный способ — контрольный набор вопросов с известными правильными ответами. Мы собираем 150–300 формулировок из реальных обращений, включая опечатки, разговорные варианты и вопросы сразу по двум темам, и для каждого вопроса отмечаем статью или фрагмент, который считается правильным источником.

Дальше считаются две вещи: попал ли правильный источник в первые пять результатов поиска и опирался ли итоговый ответ на этот источник. Вторая метрика важнее, потому что модель может найти верный документ и всё равно ответить по памяти. Эти же замеры повторяются после каждой переиндексации, поэтому деградация видна до жалоб клиентов.

Устаревшая статья опаснее отсутствующей: поиск уверенно её находит и отдаёт как актуальную. Поэтому у каждой статьи должны быть срок проверки и владелец, а система — показывать список документов, которые не проверялись дольше установленного периода, и напоминать владельцу до истечения срока.

Полезно и обратное движение: если по статье давно не было обращений, она, скорее всего, описывает уже неактуальный сценарий. Мы добавляем такие статьи в отчёт вместе с данными о частоте использования, чтобы решение об архивации принимал владелец, а не случайный набор критериев поиска.