Ассистент, который решает вопрос, а не переводит на оператора

Дообучение на ваших документах выглядит привлекательно, но у него есть практический недостаток: факты закрепляются в весах модели, и когда тариф или регламент меняется, она продолжает уверенно отвечать по старой версии. Проверить, откуда взят ответ, невозможно, а откатить изменение можно только новой сборкой модели.

Retrieval-подход работает иначе: поиск находит несколько релевантных фрагментов в вашей базе знаний, и ответ строится только на них. Обновление статьи меняет ответ в тот же день, а ссылка на источник в интерфейсе снижает риск выдуманных ответов и упрощает разбор ошибок вместе с владельцем статьи.

Основные статьи расходов — токены модели, поиск и инфраструктура. Стоимость определяется длиной контекста: если на каждый вопрос отправлять всю историю разговора и полный каталог статей, расход вырастет в разы. Поэтому в промпт попадают только нужные фрагменты, а повторяющиеся части запроса кешируются на стороне провайдера модели.

Вторая часть экономики — доля диалогов, закрытых без оператора. Если ассистент решает 60% типовых обращений, а стоимость его ответа в несколько раз ниже минуты работы оператора, проект окупается на объёме. Эту модель мы считаем до разработки и сверяем с фактом после пилота, включая расходы на поиск и хранение истории.

Переписка с клиентом почти всегда содержит персональные данные: имя, телефон, адрес доставки, номер договора. Оператор персональных данных обязан понимать, какие сведения и в каком объёме покидают его контур при обращении к внешней модели, и на каком основании это происходит.

Практические меры: маскирование телефонов, почты и номеров документов до отправки запроса, хранение полных диалогов только в вашем контуре, ограниченный срок хранения и удаление по обращению клиента. Для российских операторов разумно размещать модель на территории РФ и фиксировать это в договоре с подрядчиком вместе с перечнем обрабатываемых данных.