Разрабатываем и внедряем нейросети там, где они действительно сильнее
классических моделей: компьютерное зрение, обработка текста и речи,
генеративные сценарии. На табличных данных сначала проверяем бустинг —
и говорим прямо, если он решает задачу дешевле.
Пилот считает не только качество, но и стоимость одного предсказания:
модель, которая отлично работает в ноутбуке, обязана окупаться в продакшене.
Сравниваем с baseline и классической моделью на одном периоде — иначе эффект недоказуем
Отдаём веса, код, данные и регламент переобучения: модель остаётся вашей
Считаем стоимость инференса до разработки, а не после запуска
Опишите задачу и покажите примеры данных. Скажем, нужна ли нейросеть, какая архитектура подойдёт и сколько будет стоить пилот — с оценкой стоимости предсказания.
Ответ 15 мин
Честные ограничения
Почему проекты с нейросетями не доживают до продакшена
Каждая причина — то, что мы проверяем до начала работ, а не выясняем в процессе.
Нейросеть выбрана там, где хватило бы бустинга
На табличных данных (сделки, заказы, отток) градиентный бустинг часто не хуже, а обучается за минуты и объясняется. Нейросеть берём, когда данные неструктурированные — изображения, текст, звук, видео — или когда объём и разнообразие действительно требуют большой модели.
Данных меньше, чем нужно архитектуре
Большая модель на нескольких сотнях примеров запоминает их и не обобщает. Мы начинаем с оценки объёма и разметки, а не с выбора архитектуры: иногда правильный ответ — дообучить готовую модель на малой выборке вместо обучения своей.
Стоимость инференса не посчитали до разработки
Обучение — разовые затраты, а инференс — постоянные. Модель, которая отлично показала себя в ноутбуке, может оказаться нерентабельной, если её нужно вызывать миллион раз в сутки. Считаем стоимость одного предсказания до того, как писать код.
Про качество судят по одной метрике
Accuracy на несбалансированной выборке обманывает: 97% при доле целевого класса 3% означает модель, которая всегда отвечает «нет». Смотрим матрицу ошибок и переводим её в деньги — сколько стоит пропуск и сколько ложное срабатывание.
Модель не воспроизводится
Веса, версия данных и код предобработки не зафиксированы, и через полгода нельзя повторить результат или объяснить, почему качество упало. Фиксируем версии данных, модели и окружения с первого дня.
У решения нет владельца в компании
Проект сдан, и никто не знает, как переобучить модель и что делать с ошибками. Передаём документацию, доступы, регламент обновления и обучаем вашу команду, чтобы система жила без нас.
Прикладные сценарии
Где нейросети приносят деньги
Для каждого сценария указано, какие нужны данные и чем измеряется результат.
Компьютерное зрение: контроль качества и учёт
Задача
Найти дефекты на линии, посчитать объекты, распознать номер или документ.
Данные
Фото и видео с камер, размеченные примеры «годно / брак», сканы документов.
Что получается
Автоматическая проверка вместо выборочного контроля глазами; поток фото размечается без оператора.
Чем измеряем
Доля пропущенного брака и доля ложных срабатываний, скорость обработки кадра.
Поиск по фото в каталоге
Задача
Клиент ищет товар по снимку, а не по названию.
Данные
Фотографии каталога с атрибутами, история поисковых запросов.
Что получается
Похожие и совпадающие товары по изображению; автозаполнение атрибутов карточек.
Чем измеряем
Доля находок в топе выдачи, конверсия поиска в заказ.
Обработка текста и документов
Задача
Разобрать входящие обращения, извлечь данные из договоров и накладных, классифицировать отзывы.
Данные
Тексты обращений, сканы документов, примеры разметки от ваших сотрудников.
Что получается
Структурированные поля вместо ручного ввода; обращения попадают сразу в нужную очередь.
Чем измеряем
Точность извлечения полей, время обработки одного документа, доля разобранных без человека.
Речь: расшифровка и контроль качества
Задача
Расшифровать звонки, оценить скрипт и тональность разговора.
Данные
Записи звонков, при наличии — расшифровки и оценка supervisors.
Что получается
Текст звонка с разметкой по чек-листу; руководитель видит нарушения скрипта, а не выборочные записи.
Чем измеряем
Качество расшифровки на вашей терминологии, полнота найденных нарушений.
Прогноз и рекомендации на больших объёмах
Задача
Предсказать спрос, отток или подобрать товары, когда сигналов много и они разнородные.
Данные
История заказов и событий, поведение на сайте, характеристики товаров.
Что получается
Прогноз по товарам и клиентам, персональные подборки, план закупки.
Чем измеряем
Ошибка прогноза против текущего правила, доля попавших в цель рекомендаций.
Генеративные модели под ваши данные
Задача
Собрать ассистента, который отвечает по вашей базе знаний, или генерировать описания товаров.
Данные
База знаний, каталог, исторические ответы поддержки.
Что получается
Ассистент отвечает с опорой на ваши документы и ссылается на источник, а не выдумывает.
Чем измеряем
Доля ответов без ошибки, доля обращений, закрытых без оператора.
Выбор подхода
Нейросеть или классическая модель
Мы продаём результат, а не архитектуру. В табличных задачах бустинг часто
обыгрывает нейросеть по скорости, цене и объяснимости — и тогда мы делаем бустинг.
Сравнение нейросетей и классических моделей машинного обучения по типам задач и требованиям
Аспект
Нейросеть
Классические модели
Табличные данные (сделки, заказы, отток)
Работает, но редко выигрывает
Градиентный бустинг — обычно первый выбор: быстрее, объяснимее, дешевле
Изображения и видео
Основной инструмент: свёрточные и трансформерные архитектуры
Ручные признаки почти не работают на сложных сценах
Текст и речь
Основной инструмент: предобученные языковые модели и трансформеры
Мешок слов и правила дают результат только на узких задачах
Объём обучающих данных
Нужно больше; спасает дообучение готовой модели
Даёт результат уже на сотнях и тысячах записей
Стоимость обучения
Требует GPU; при дообучении — часы вместо недель
Обучается на обычном процессоре за минуты
Стоимость одного предсказания
Выше; критично при больших объёмах вызовов
Доли миллисекунды, затраты незаметны
Объяснимость решения
Ограничена; нужны отдельные методы объяснения
Виден вклад каждого признака
Неструктурированные данные без ручных признаков
Единственный практичный путь
Требует ручной инженерии признаков под каждый случай
Итог простой: неструктурированные данные — нейросеть, табличные — сначала бустинг.
Финальное решение принимаем по результату сравнения на ваших данных, а не по общему правилу.
Три пути
Как получить модель
Выбор пути определяет и срок, и цену. В большинстве случаев начинаем
с дообучения готовой модели — это быстрее и дешевле.
Начинаем отсюда в большинстве случаев
Дообучение готовой модели
Задача типовая: распознавание объектов, классификация текста, расшифровка речи, извлечение полей из документов.
Данные
От сотен до нескольких тысяч размеченных примеров ваших данных.
Срок
2–4 недели на пилот
Стоимость
Самая низкая стоимость: не нужно обучать с нуля
Плюсы
Быстрый результат на небольшой выборке
Меньше требований к GPU
Предсказуемое качество — модель уже обучена на больших данных
Минусы
Зависимость от лицензии базовой модели
Ограничения по домену: узкая специфика требует дообучения глубже
Обучение своей модели
Данных много, задача специфична, важна независимость от внешних лицензий или нужна максимальная точность на вашем домене.
Данные
Десятки тысяч примеров и больше; часто собственная разметка.
Срок
от 8 недель до продакшена
Стоимость
Выше: разметка, эксперименты, GPU-время
Плюсы
Полный контроль над моделью и её поведением
Не зависите от лицензий и изменений внешнего сервиса
Можно оптимизировать под свою специфику
Минусы
Дороже и дольше на старте
Нужна инфраструктура обучения
Требует организованной разметки
Готовый API без своей модели
Задача стандартная, объёмы небольшие, а требования к конфиденциальности позволяют отправлять данные наружу.
Данные
Разметка не нужна — только интеграция.
Срок
дни–недели
Стоимость
Оплата за вызовы; предсказуемо на старте
Плюсы
Самый быстрый запуск
Нет затрат на инфраструктуру и обучение
Качество растёт вместе с обновлениями провайдера
Минусы
Данные уходят третьей стороне — не всегда допустимо
Платите за каждый вызов, при росте объёмов дорого
Нельзя дообучить под свою специфику
Архитектуры
Какая сеть под какую задачу
Без математики: что закрывает каждая архитектура, на каких данных учится
и в чём подвох.
Размеченные изображения; при дообучении — сотни примеров на класс.
Самая зрелая область: много готовых моделей и предсказуемый результат.
Трансформеры для текста
Для чего
Классификация обращений, извлечение данных, поиск по базе знаний, ассистенты.
Данные
Тексты с разметкой; для дообучения хватает тысяч примеров.
Основа современных языковых моделей; при генерации обязателен контроль человеком.
Модели речи
Для чего
Расшифровка звонков, голосовые команды, контроль скриптов.
Данные
Аудиозаписи; при наличии расшифровок — быстрее и точнее.
Отдельно решается вопрос терминологии: названия товаров и фамилии требуют словаря.
Рекуррентные сети и их замены
Для чего
Последовательности: временные ряды, сигналы, события.
Данные
История наблюдений с равномерной частотой.
Часто проигрывают бустингу на табличных рядах; выбираем по результату сравнения.
Автоэнкодеры
Для чего
Поиск аномалий, когда примеров «нормы» много, а «брака» почти нет.
Данные
Преимущественно нормальные примеры без разметки.
Полезны там, где разметить аномалии дорого или невозможно.
Генеративные и мультимодальные модели
Для чего
Ассистенты по базе знаний, генерация описаний, работа с текстом и изображением вместе.
Данные
База знаний, каталог, примеры хороших ответов.
Обязательны заземление на ваши документы и проверка фактов — иначе модель выдумывает.
Данные и вычисления
Сколько нужно данных и во что обойдётся работа модели
Это два вопроса, из-за которых проекты чаще всего буксуют. Ориентиры ниже —
отправная точка, а не гарантия: точный ответ даём после просмотра ваших выгрузок.
Ориентировочный объём данных для типовых задач и факторы, влияющие на результат
Задача
С чего обычно начинают
Что важно кроме объёма
Классификация изображений (дообучение)
От нескольких сотен примеров на класс
Разнообразие условий съёмки важнее количества: сотня однотипных фото хуже пятидесяти разных
Обнаружение объектов
От тысячи размеченных изображений с рамками
Качество разметки рамок; согласованность между разметчиками
Классификация текста
От нескольких тысяч размеченных примеров
Баланс классов: редкая категория требует примеров больше всех остальных
Извлечение полей из документов
От нескольких сотен документов каждого типа
Разнообразие шаблонов: один типовой бланк обучить легко, десять разных — сложнее
Распознавание речи
От десятков часов аудио
Терминология и акценты: без словаря названия и фамилии распознаются плохо
Табличный прогноз
От тысяч записей — и сначала проверяем бустинг
Доля целевого класса и стабильность признаков во времени
Вычисления: обучение и инференс
Обучение — разовые затраты, инференс — постоянные. Путать их дорого: именно
стоимость предсказаний определяет, окупается ли модель в долгую.
Обучение и дообучение
Требует GPU. Разовая или периодическая нагрузка: дообучение готовой модели — часы, обучение с нуля — дни. Можно арендовать мощности почасово и не покупать оборудование.
Инференс (предсказания)
Постоянная нагрузка и главная статья расходов на длинной дистанции. Считаем стоимость одного предсказания и планируем бюджет под ожидаемый объём вызовов в сутки.
Оптимизация модели под инференс
Квантование, дистилляция и батчинг снижают требования к железу и стоимость вызова. Часто выгоднее чуть менее точная, но в разы более быстрая модель.
Контур размещения
Облако быстрее на старте; ваше оборудование нужно при требованиях к конфиденциальности, 152-ФЗ или при стабильно высоком объёме, когда аренда перестаёт окупаться.
Мониторинг после запуска
Считаем не только ошибки сервиса, но и качество модели: дрейф данных, долю отказов, расхождение с эталонной выборкой. Деградацию видно до жалоб.
Версионирование
Каждая версия модели связана с версией данных и кода предобработки. Без этого нельзя повторить результат и безопасно откатиться при падении качества.
Форматы работы
От пилота до продакшена
Пилот нужен, чтобы проверить гипотезу до крупных вложений. Стоимость
продакшена считаем после него: она зависит от объёма предсказаний
и числа интеграций, а не от «сложности нейросети».
Нужна ли разметка с нуля или у вас уже есть готовые данные
Сколько типов объектов, классов или шаблонов документов
Качество и разнообразие данных: однотипные примеры требуют большего объёма
Дообучение готовой модели или обучение с нуля
Объём предсказаний в сутки — от него зависит стоимость инференса
Требования к скорости ответа: батч ночью или ответ за миллисекунды
Контур: облако, ваше оборудование, требования 152-ФЗ и NDA
Глубина интеграции: API, видеопоток, выгрузка, работа в реальном времени
Со стороны заказчика
Что нужно, чтобы проект не встал
Самый частый источник задержек — не модель, а доступы и нерешённый вопрос
о метрике. Поэтому начинаем именно с них.
Данные и доступы
Выгрузку или реплику данных, а не доступ к боевой базе. Для изображений и видео — доступ к архиву съёмки за период, а не только к удачным примерам.
Эксперт по задаче
Человек, который знает процесс: как решение принимается сейчас, что считается ошибкой и какой результат приемлем. Без него метрика будет неправильной.
Метрика и её цена
Что считаем успехом и сколько стоит ошибка каждого типа. Это позволяет посчитать окупаемость до старта, а не после пилота.
Решение о внедрении
Готовность менять процесс: кто будет пользоваться предсказаниями и что произойдёт, если модель ошибётся.
Границы
Чего мы не обещаем
Список существует, чтобы ожидания совпали с реальностью до договора, а не после.
Стопроцентной точности: у модели всегда есть ошибка, вопрос только в её цене для процесса.
Результата без данных: если примеров нет, сначала нужна разметка — это отдельный этап.
Нейросети ради нейросети: там, где бустинг или правило решают задачу, мы так и скажем.
Эффекта без изменений в процессе: если решением не пользуются, качество модели не важно.
Модели, которую нельзя объяснить там, где решение нужно обосновывать: выбираем объяснимые подходы.
Бесконечного роста качества: без переобучения модель деградирует, это часть эксплуатации.
Вопросы
Частые вопросы
Чем нейросеть отличается от обычной модели машинного обучения?
Нейросеть — один из видов моделей машинного обучения; она учится сама выделять признаки из сырых данных, тогда как классические модели работают с признаками, которые подготовил человек. Это преимущество там, где признаки выделить руками трудно: изображения, текст, звук, видео. На табличных данных — сделки, заказы, отток — градиентный бустинг часто не хуже при меньших затратах, и мы начинаем сравнение с него.
Нам точно нужна нейросеть?
Не всегда, и мы говорим об этом прямо. Нейросеть оправдана, когда данные неструктурированные (фото, видео, текст, речь), когда признаков слишком много и их трудно сформулировать, или когда нужна генерация. Если у вас табличные данные и задача — прогноз или скоринг, сначала проверяем бустинг: он быстрее, дешевле и объяснимее. Иногда правильный ответ — вообще правила, а не модель.
Сколько данных нужно для обучения нейросети?
Зависит от задачи и от того, обучаем ли мы с нуля или дообучаем готовую модель. При дообучении для классификации изображений обычно начинают от нескольких сотен примеров на класс, для текста — от нескольких тысяч размеченных примеров, для речи — от десятков часов аудио. Обучение с нуля требует на порядки больше. Важнее объёма — разнообразие и качество разметки, поэтому точный ответ даём после просмотра ваших данных.
Сколько это стоит?
Пилот — от 300 000 ₽: аудит данных, дообучение модели, сравнение с текущим правилом и оценка стоимости внедрения. Стоимость продакшена считаем после пилота, потому что она зависит от объёма предсказаний, числа интеграций и контура размещения. Отдельно считаем стоимость инференса: это постоянные расходы, которые важно понимать до запуска, а не после.
Сколько времени занимает проект?
Аудит данных и постановка задачи — 1–2 недели. Пилот на ваших данных — 2–4 недели. Продакшен с интеграциями и мониторингом — 6–12 недель от аудита. Обучение с нуля вместо дообучения добавляет заметное время: нужны разметка и эксперименты. Основной источник задержек — не модель, а готовность данных и скорость согласований.
Почему бы просто не использовать готовый API?
Часто это правильный выбор, и мы его предлагаем. Готовый API быстрее и дешевле на старте, если задача стандартная, объёмы небольшие и данные можно отправлять наружу. Своя модель нужна, когда есть требования к конфиденциальности, когда задача специфична для вашего домена, когда объёмы вызовов делают оплату за каждый вызов дороже своей инфраструктуры или когда нужна независимость от внешнего поставщика.
Где будет работать модель — в облаке или у нас?
Оба варианта возможны. Облако быстрее на старте и не требует оборудования: GPU арендуется почасово под обучение. Ваш контур нужен при требованиях к конфиденциальности, работе с персональными данными по 152-ФЗ или при стабильно высоком объёме предсказаний, когда аренда перестаёт окупаться. Решение принимаем на этапе архитектуры вместе с вами.
Кому принадлежат модель, веса и данные?
Вам. Данные остаются вашими и не используются в других проектах. Код обучения и инференса, веса модели, документация и регламент переобучения передаются вам. Если базовая модель была под открытой лицензией, передаём и сведения о лицензии, чтобы не было юридических сюрпризов.
Что будет, когда качество модели упадёт?
Качество падает всегда: меняются данные, ассортимент, поведение клиентов, условия съёмки. Поэтому в продакшене сразу живут мониторинг дрейфа, алерты по метрикам и откат на предыдущую версию. Переобучение идёт по расписанию или по триггеру — это часть эксплуатации, а не аварийная работа.
Можно ли объяснить решение нейросети?
Частично. Существуют методы, показывающие, на что смотрела модель: карты внимания для изображений, вклад признаков для текста. Но полной прозрачности, как у дерева решений, не будет. Там, где решение нужно обосновывать перед клиентом или регулятором, мы либо выбираем объяснимые модели, либо строим процесс так, что финальное решение принимает человек.
У нас нет своего ML-специалиста. Это проблема?
Для запуска — нет: мы делаем работу целиком и передаём документацию с обучением команды. Но для долгой эксплуатации нужен человек, который понимает, как проверять качество и когда пора переобучать. Это может быть ваш аналитик или IT-специалист — мы обучаем его в рамках проекта. Если такого человека нет и не планируется, имеет смысл взять сопровождение.
У нас уже есть модель от другой команды. Что можно сделать?
Начинаем с технического аудита: воспроизводится ли обучение, зафиксированы ли версии данных и весов, как считается качество, есть ли мониторинг, соответствует ли стоимость инференса нагрузке. По результатам говорим честно — дорабатывать или переобучать. Иногда дешевле доработать существующую модель, и мы так и скажем.
Расскажите, что нужно распознавать, предсказывать или генерировать и какие
данные уже есть. Скажем, нужна ли нейросеть, какой путь выбрать и сколько
будет стоить пилот — до договора и без обязательств.
Мы используем необходимые cookie для работы сайта и форм. Аналитические cookie
(Яндекс.Метрика, включая запись сессий) подключаем только с вашего согласия —
от него можно отказаться. Подробнее:
Политика использования cookie
и
обработка персональных данных.
Настройки cookie
Выберите, какие категории cookie можно использовать. Необходимые отключить нельзя:
без них не работают формы и сессия.