«Локальные модели заметно хуже облачных»
Разрыв есть, но он не универсален. Для поиска по документам, классификации, извлечения полей и суммаризации открытые модели дают результат, сопоставимый с облачными.
Кастомные решения и on-prem
Данные не покидают ваш контур, а модель всё равно работает
Разворачиваем языковые модели, поисковые индексы и конвейеры обработки на вашем оборудовании. Ни один запрос не уходит во внешние сервисы, доступ к данным ограничен ролями, а версии моделей зафиксированы и воспроизводимы.
Или сразу: +7 (962) 368-39-51 Telegram
on-prem
модели на вашем оборудовании
152-ФЗ
персональные данные не уходят наружу
Qdrant
векторный поиск в вашем контуре
air-gap
работа без доступа в интернет
Почему закрытый контур считают невыгодным
Распространённые представления о локальных моделях, часть которых устарела, а часть требует честного признания.
Требования к железу пугают
Верно лишь отчасти: квантизация и компактные модели позволяют обойтись одной или двумя видеокартами там, где два года назад нужен был кластер.
Правовые требования игнорируют до проверки
Персональные данные клиентов уходят в зарубежный сервис без правовых оснований. Вопрос возникает не на старте проекта, а при первой проверке или инциденте.
Обновление моделей в закрытом контуре
В контуре без доступа в интернет нельзя просто «подтянуть» новую версию. Нужен регламент загрузки артефактов, проверки контрольных сумм и поэтапного включения.
Сопровождать своё сложнее
Локальная система требует администрирования: обновления, мониторинг GPU, резервное копирование индексов. Это регулярная работа, и её нужно закладывать в план.
Смешение контуров
Часть сценариев уходит во внешнюю модель, часть работает локально, и никто не помнит, какие данные куда попадают. Нужна явная политика маршрутизации.
Что входит в кастомное решение
Полный стек внутри вашей инфраструктуры: от модели до интерфейса и регламентов эксплуатации.
Локальный инференс моделей
Разворачиваем открытые языковые модели нужного размера на вашем оборудовании, с ускорением и контролем нагрузки.
- Подбор модели под задачу и доступные ускорители
- Квантизация для экономии видеопамяти и ускорения
- Батчинг запросов и управление очередью
- Мониторинг загрузки GPU и времени ответа
Поиск по документам внутри контура
Собираем индекс ваших документов на Qdrant или в pgvector и отвечаем на вопросы строго по найденным фрагментам.
- Локальные модели эмбеддингов, работающие на CPU
- Гибридный поиск: векторный плюс полнотекстовый
- Разграничение доступа на уровне фрагментов
- Инкрементальное обновление индекса по расписанию
Интеграция с внутренними системами
Подключаем решение к 1С, ERP, CRM, файловым хранилищам и системам электронного документооборота.
- Обмен по внутренним API и через промежуточные сервисы
- Обработка данных из хранилищ без выгрузки наружу
- Единая точка входа и разграничение прав
- Журналирование всех обращений к документам
Эксплуатация и обновления
Готовим регламенты, по которым систему можно безопасно обновлять и сопровождать без участия внешних подрядчиков.
- Процедура загрузки моделей с проверкой контрольных сумм
- Резервное копирование индексов и конфигураций
- Обучение администраторов и передача документации
- План действий при деградации качества или отказе оборудования
Как мы запускаем контур
Сначала проверяем, справляются ли локальные модели с задачей, и только потом считаем оборудование.
-
01 1–2 недели
Задача и требования
Определяем сценарии, объём данных, требования безопасности и ограничения инфраструктуры заказчика.
-
02 2–3 недели
Проверка моделей
Тестируем открытые модели на ваших данных: качество, скорость, требования к памяти. Показываем результаты сравнения.
-
03 3–4 недели
Пилот в контуре
Разворачиваем решение на выделенном оборудовании, подключаем ограниченный набор документов и пользователей.
-
04 3–4 недели
Промышленный запуск
Переносим на целевое оборудование, настраиваем мониторинг и регламенты, обучаем администраторов.
Что говорит 152-ФЗ при использовании AI-сервисов
Передача персональных данных внешнему сервису — это обработка третьим лицом, требующая правовых оснований, согласия субъекта и соблюдения требований к трансграничной передаче. Если провайдер модели находится за пределами России, добавляются дополнительные обязанности и риски.
Технически безопасная схема — обработка внутри вашего контура: модель, поисковый индекс и конвейер работают на вашем оборудовании, данные не передаются третьим лицам. Если по каким-то причинам требуется внешний сервис, обязательным становится слой обезличивания: перед отправкой персональные данные заменяются плейсхолдерами, а обратная подстановка выполняется уже на вашей стороне.
Qdrant или pgvector: где хранить векторы
pgvector удобен, когда у вас уже есть PostgreSQL и объём данных умеренный — сотни тысяч фрагментов. Он не требует отдельной инфраструктуры, поддерживает транзакции, а права доступа настраиваются теми же средствами, что и для обычных таблиц.
Qdrant выигрывает на больших объёмах и при высоких требованиях к скорости поиска: он умеет эффективно фильтровать по метаданным во время поиска, что важно для разграничения доступа и поиска по узким сегментам. Практическое правило: до миллиона векторов и без сложных фильтров — pgvector, свыше или с интенсивной фильтрацией — Qdrant.
Чего не умеют локальные модели
Честная оценка границ применимости важнее маркетинга. Компактные локальные модели хуже справляются с длинными цепочками рассуждений, сложной математикой и задачами, где требуются обширные общие знания. Если сценарий опирается именно на это, локальный вариант даст заметно более слабый результат.
Где локальные модели работают надёжно: поиск и ответы по вашим документам, классификация обращений, извлечение структурированных данных, суммаризация, перевод, проверка соответствия регламенту. Именно на этих сценариях мы и строим решения в закрытом контуре, а сложные аналитические задачи, если они нужны, оставляем за пределами автоматизации.
Частые вопросы
Зависит от задачи. В поиске по документам и извлечении данных разница часто в пределах нескольких процентов, а на длинных логических рассуждениях может быть значительной. Мы не гадаем: перед проектом проводим сравнение на ваших реальных запросах и показываем результаты по каждой задаче. Если разрыв критичен, честнее сказать об этом заранее, чем разворачивать систему, которая не решит задачу.
Для модели на 7–8 миллиардов параметров в квантизованном виде достаточно сервера с одной видеокартой на 16–24 ГБ памяти. Индекс на несколько сотен тысяч фрагментов размещается на обычном сервере с 32 ГБ оперативной памяти. Для одновременной работы десятков пользователей может потребоваться вторая карта или более производительный ускоритель. Точные требования определяются после замера нагрузки на пилотном стенде.
Артефакты моделей загружаются из доверенного источника, проверяются по контрольным суммам и переносятся в закрытый контур по утверждённому регламенту. Обновление проходит проверку на тестовом наборе внутри контура, затем включается на ограниченной группе пользователей. Старая версия сохраняется: если качество упало, возврат занимает минуты, а не часы.
Предусматриваются резервный сервер, регулярное резервное копирование индексов и конфигураций, а также описания процедур восстановления. Для критичных сценариев настраивается упрощённый режим работы без генерации: поиск по документам продолжает работать на полнотекстовом индексе, а синтез ответа отключается. Так пользователи остаются с работающим инструментом, даже если модель временно недоступна.
Разработка AI-решений: другие направления
Смежные задачи, которые обычно решаются в одном проекте с этой.
Нужен AI-сценарий, но данные нельзя выносить наружу?
Опишите задачу и требования безопасности — подберём модели под ваше оборудование и покажем, какое качество достижимо в закрытом контуре.