Обращения пишут как получится
Опечатки, транслит, CAPS LOCK, вставленные скриншоты вместо текста и цитаты предыдущей переписки в теле письма. Модель обучается на шуме, если не чистить входные данные.
Обработка текстов (NLP)
Тексты клиентов становятся данными, с которыми можно работать
Разбираем поток обращений, писем, отзывов и записей звонков: определяем тему и срочность, извлекаем номера договоров и суммы, считаем тональность. Всё — с оценкой качества по каждому классу и понятным маршрутом для спорных случаев.
Или сразу: +7 (962) 368-39-51 Telegram
F1
качество по каждому классу отдельно
NER
извлечение сущностей из писем
Whisper
расшифровка звонков и совещаний
active learning
размечаем то, что реально влияет на модель
Что мешает использовать тексты
Русскоязычный текст сложнее, чем кажется: свободный порядок слов, опечатки, смешение языков и профессиональный жаргон.
Классы несбалансированы
Половина обращений — про доставку, а про брак пишут 0,5% клиентов. Модель, оптимизирующая общую точность, просто не заметит редкий, но самый важный класс.
Разметка стоит дорого и делается небрежно
Два разметчика по-разному понимают границу между «консультацией» и «претензией». Без инструкции и контроля согласованности модель учится на противоречивых примерах.
Тональность не равна оценке
Клиент может писать вежливо, но сообщать о критичной проблеме. Наивный анализ тональности покажет позитив, а срочность такого обращения — максимальная.
Домен знает только человек
Аббревиатуры, внутренние названия продуктов, коды подразделений. Модель без словаря считает их незнакомыми словами и теряет смысл.
Персональные данные в тексте
В обращениях встречаются ФИО, адреса, телефоны и номера карт. Отправлять такой текст во внешнюю модель без обработки — прямое нарушение требований к защите персональных данных.
Задачи, которые мы закрываем
От простой классификации до полноценного конвейера обработки текста с извлечением структурированных полей.
Классификация и маршрутизация
Определяем тему, подтему, срочность и адресата обращения. Модель подбирается под объём данных: от линейной модели на TF-IDF до дообученного трансформера.
- Мультиклассовая и многоцелевая классификация в одной модели
- Отдельный класс «прочее» вместо насильного выбора темы
- Работа с несбалансированными классами через веса
- Контроль доли переоткрытых и перенаправленных обращений
Извлечение сущностей
Вытаскиваем из текста номера договоров, суммы, даты, названия организаций и артикулы, приводя их к виду, пригодному для записи в систему.
- Разметка сущностей и обучение NER-модели на вашем домене
- Нормализация значений: форматы дат, разделители разрядов
- Сопоставление с справочниками контрагентов и номенклатуры
- Проверка контрольных сумм для номеров и кодов
Анализ тональности и тем
Считаем не только знак отзыва, но и его тему: скорость доставки, качество товара, работа поддержки. Это даёт материал для конкретных улучшений.
- Аспектный анализ: тональность по каждой теме отдельно
- Кластеризация свободных формулировок для поиска новых тем
- Отслеживание динамики тем по неделям и каналам
- Автоматические отчёты по причинам недовольства
Речь и расшифровка
Переводим звонки и совещания в текст, размечаем роли говорящих, извлекаем договорённости и причины обращения.
- Распознавание речи на русском через Whisper и открытые модели
- Диаризация: разделение реплик по говорящим
- Поиск по расшифровкам и оценка качества работы операторов
- Контроль соблюдения скрипта и обязательных фраз
Как мы работаем с текстом
Ключевой этап — разметка. Мы размечаем не всё подряд, а только те примеры, которые сильнее всего улучшают модель.
-
01 1–2 недели
Выгрузка и очистка корпуса
Собираем историю обращений, писем или расшифровок, убираем цитаты и служебные вставки, приводим к единому виду.
-
02 2–4 недели
Схема классов и разметка
Формализуем таксономию, пишем инструкцию для разметчиков, размечаем 500–1500 примеров и считаем согласованность между разметчиками.
-
03 2–3 недели
Модель и оценка по классам
Обучаем модель и проверяем F1 отдельно по каждому классу. Разбираем, какие темы путаются и почему.
-
04 3 недели
Интеграция и дообучение
Подключаем модель к каналу обращений, настраиваем разбор спорных случаев и цикл доразметки по новым данным.
Почему F1 по каждому классу важнее общей точности
Общая accuracy в задачах классификации текста почти всегда обманчива. Если 60% обращений — про доставку, модель может помечать этим классом всё подряд и показывать высокую точность, полностью провалив редкие, но критичные темы.
Мы считаем precision, recall и F1 отдельно по каждому классу и принимаем решение по каждому: для претензий важнее recall (не пропустить), для рассылки рекламных отписок — precision (не тратить время зря). Такой разбор позволяет настроить пороги под бизнес-логику, а не под единую метрику.
Fine-tuning против few-shot на языковых моделях
Популярный вопрос: дообучать модель на своих примерах или обойтись инструкцией и несколькими примерами в промпте. Ответ зависит от объёма задачи и требований к стабильности. Для 5–8 классов и нескольких сотен примеров на класс few-shot часто даёт приемлемый результат за дни, без обучения.
Fine-tuning (в том числе через LoRA) оправдан, когда классов много, формулировки сильно варьируются, требуется стабильность формата ответа и предсказуемая задержка. Дообученная небольшая модель нередко оказывается и дешевле, и быстрее большой универсальной, потому что решает одну узкую задачу.
Персональные данные и защита текстов
В обращениях клиентов регулярно встречаются персональные данные: ФИО, адреса, телефоны, номера заказов, иногда данные документов. Прежде чем текст попадёт в модель, мы прогоняем его через слой обезличивания: найденные сущности заменяются плейсхолдерами, а обратная подстановка выполняется уже внутри вашего контура.
Если политика компании требует полностью закрытого контура, обработка выполняется локальными моделями на вашем оборудовании. Для классификации обращений и извлечения сущностей это вполне рабочая схема: такие задачи не требуют самых крупных моделей, достаточно компактных, работающих на одной видеокарте.
Частые вопросы
Практический минимум — 100–150 примеров на класс, а для классов с высокой вариативностью формулировок до 300–500. Если классов немного и они хорошо разделяются, качественная модель получается уже на таком объёме. Разметка ведётся итеративно: сначала небольшая выборка, затем модель показывает спорные случаи, и размечается именно то, что действительно влияет на качество.
Для чернового прототипа — да, large language model по инструкции справится с классификацией на несколько классов без обучения. Ограничения другие: стоимость запроса на каждое обращение, задержка ответа, нестабильность формата и сложность воспроизводимости результата. Если обращений десятки тысяч в месяц, дообученная компактная модель или классический алгоритм на признаках окажутся экономичнее на порядок.
Для структурированных номеров — договоров, счетов, заказов — при валидации по контрольным суммам и справочникам достигается точность выше 95%. Для свободных формулировок, например названий организаций, написанных с ошибками или сокращениями, точность ниже, и такие случаи отправляются на ручную проверку. Мы всегда указываем метрики отдельно по типам сущностей, а не одной средней цифрой.
Многоязычные модели переводят задачу в общее векторное пространство, поэтому классификация работает без отдельной модели на каждый язык. Сложности возникают с транслитерацией и смешанным текстом, где часть сообщения на русском, часть на английском. Такие примеры обязательно включаются в обучающую выборку — без них модель систематически ошибается именно на них.
AI-аналитика: другие направления
Смежные задачи, которые обычно решаются в одном проекте с этой.
Сколько обращений в месяц разбирают ваши специалисты вручную?
Пришлите выборку из 200–300 реальных обращений — покажем, какие темы и сущности из них извлекаются уверенно, а где потребуется разметка.