Внедрение ИИ
Локальный ИИ для бизнеса: как провести пилот

Локальный ИИ для бизнеса стоит проверять на одной рабочей операции. Возьмите заявки одной очереди. Сравните две разрешённые модели и посчитайте, сколько обращений дежурному придётся исправить вручную. Перед запуском проверьте, куда уходят тексты заявок и выдерживает ли сервер часы пик.
В примере ИТ-служба испытывает модель, которая предлагает очередь для новой заявки. Дежурный видит предложение рядом с исходным текстом и сам назначает исполнителя. Можно обкатать этот процесс до покупки сервера. Все числа в примере условные.
Локальный ИИ для бизнеса: что записать в паспорт пилота
Представим, что служба поддержки разбирает четыре типа заявок: «доступ», «почта», «оборудование», «сеть». По фразе «Ничего не работает» нельзя назначить очередь. Для таких заявок есть значение «на разбор». Ответ содержит одно значение из справочника. Сотрудник увидит его в интерфейсе, а система сохранит заявку в текущей очереди до ручного подтверждения.
Поставьте в паспорте дату, когда владелец ИТ-поддержки решит, кто и в каких сменах увидит подсказку. Владелец определяет допустимые ошибки и подписывает итог. Администратор отвечает за конфигурацию и измерения. Дежурные размечают эталонные ответы и оценивают, помогают ли подсказки разбирать очередь в смене.
| Поле | Что указать для ИТ-службы |
|---|---|
| Вход и результат | Тема и очищенный текст заявки. На выходе одна категория из справочника или «на разбор» |
| Модели | Версия или хеш весов, источник, лицензия, формат и уровень квантования для вариантов А и Б |
| Среда | Версия сервера инференса, доступная ОЗУ и видеопамять, предел длины входа, лимит одновременных запросов |
| Набор | Версия выгрузки, критерии разметки, количество примеров по очередям и отдельная группа неоднозначных заявок |
| Приёмка | Доля верных ответов, ошибки по каждой очереди, задержка p95, поведение при таймауте |
| Данные | Разрешённые поля, места хранения, получатели логов и резервных копий, ответственный за доступ |
| Решение | Кто принимает, какие условия обязательны, как перейти на ручной режим |
Лицензию смотрите у конкретной версии модели. Сохраните ссылку и отметьте ограничения, которые касаются вашего сценария. Если команда проверила одну версию весов, подмена на другой тег требует повторного прогона. То же относится к изменениям формата ответа, инструкции или длины входа.
Как сравнить две модели на одном наборе заявок
Начните со списка ошибок, которые мешают работе. Если человек пишет «после смены телефона не могу войти в почту», заявки о почте и о доступе могут попасть к разным сотрудникам. Владелец процесса решает, какая очередь считается правильной и когда надо попросить уточнение. Критерий записывают до прогона обеих моделей.
Соберите примеры из разных смен и отделов. Возьмите короткие фразы, заявки с двумя симптомами и обращения, которым действительно требуется ручной разбор. Уберите пароли, вложения и поля, которые не нужны для выбора категории. Если проверяете сценарий до получения допуска к рабочим данным, составьте синтетический набор по тем же правилам разметки. Он подходит для отладки, а итоговое качество затем измеряют на выборке, которую согласовали для пилота.
Разведите наборы для настройки и проверки. В первом исправляйте подсказку и дополняйте справочник. Второй оставьте закрытым до сравнения. Если одинаковый шаблон письма встречается в разных наборах, модель может выглядеть точнее, чем на новой очереди. Уберите эти повторы или разнесите группы типовых заявок целиком.
В учебном примере берём 100 заявок. В группу «доступ» входят 20 случаев, для которых особенно важен правильный маршрут. Отдельно считаем ошибку категории, невалидный ответ и сетевой сбой. Во всех трёх случаях очередь назначает дежурный. Заявку с неверной категорией стоит показать проверяющему вместе с эталоном, а сетевой сбой искать по идентификатору запроса в журнале.
Договоритесь, как считать отказы. Если заявка размечена «доступ», а система передала её дежурному без категории, считайте ошибку в группе «доступ». Если эталон предписывает ручную проверку, тот же отказ считается правильным. Так можно отдельно посчитать полезные отказы и заявки, которые дежурный мог бы сразу отправить по адресу.
Попросите двух дежурных независимо разметить пограничные заявки. Например, по обращению «На складе не печатает этикетки» один выберет «оборудование», другой заподозрит сеть. В учебном справочнике такую заявку можно отправить на разбор, пока нет второй детали: печатают ли другие устройства. Если в поддержке уже есть правило маршрутизации для этого случая, используйте его как эталон. Сохраните спорные примеры вместе с объяснением выбранной категории. Тогда при повторном тесте команда увидит, изменилась ли модель или само правило.
Пример результатов на условной выборке
До теста владелец задаёт условия: минимум 90 верных ответов из 100, максимум одна ошибка среди 20 заявок на доступ и p95 не более 3 секунд при четырёх одновременных запросах. Критерий по доступу здесь отдельный. Даже небольшой поток таких заявок может сильно задержать сотрудников, если обращения уходят в неверную очередь.
| Показатель | Модель А | Модель Б |
|---|---|---|
| Правильные решения из 100 | 92 | 94 |
| Ошибки на заявках о доступе из 20 | 2 | 1 |
| Задержка p95 при четырёх одновременных запросах | 2,4 с | 3,3 с |
| Что нарушено | Лимит ошибок на доступе | Лимит задержки |
Оба варианта проходят по общей точности. Модель А отправила две заявки на доступ по неверному маршруту. Запишите эти заявки в разбор ошибок и уточните границу между очередями на отдельном наборе для настройки. Для модели Б изучите, сколько времени занимает ожидание в очереди, прежде чем менять веса или оборудование. После изменений повторите контрольный прогон на свежей выборке. До этого дежурные продолжают привычную работу.
Что замерять на сервере
Сначала измерьте поток заявок в обычную смену и при всплеске. Например, после сбоя в сети обращения приходят группой, а модель должна обрабатывать и уже накопившуюся очередь. Для сравнения двух вариантов заранее составьте одинаковый профиль нагрузки: размер запросов, порядок поступления и предел одновременных обращений.
Отсчитывайте задержку от отправки заявки интерфейсом до получения готовой категории. Если мерить только время генерации модели, очередь и разбор ответа выпадут из результата. Для p95 отсортируйте задержки. При методе ближайшего ранга берут значение с номером ⌈0,95 × число измерений⌉. Для ста измерений это 95-е значение. Порядок учёта таймаутов зафиксируйте заранее. Если они исключены из расчёта задержки успешных ответов, выведите их долю отдельно и поставьте ей свой порог.
Запишите потребление памяти после старта и пик под нагрузкой. Отдельно замерьте первый запрос после перезапуска. Если в начале смены модель выгружена из памяти, такая задержка может повторяться. Для сравнения используйте один набор входов и приведите в паспорте его максимальную длину. Результат с короткими темами нельзя переносить на длинные обращения с цитатами из переписки.
Документация vLLM описывает генератор нагрузки для сервера и ограничение числа одновременных запросов. Его метрики пригодятся, чтобы локализовать задержку внутри сервера модели. Приёмку всё равно привяжите к ответу, который получает дежурный в своём интерфейсе.
Где остаются заявки, ответы и журналы
На схеме видно, какие узлы обрабатывают заявки и какие системы получают служебные данные.
Трекер заявок → приложение ↔ сервер модели
Справочник очередей → приложение
Приложение → журнал → резервная копия
Сервер модели → свои логи и метрики
Отметьте адрес каждого узла, список передаваемых полей и владельца. Приложение отправляет модели тему и очищенный текст, а справочник хранит разрешённые категории. Журнал приложения может хранить время запроса, идентификатор заявки и причину ошибки. Если дежурный уже может открыть заявку по её номеру, полную копию текста в журнале сохранять обычно незачем.
Для первого прогона добавьте в придуманную заявку уникальную метку. Она поможет найти копии запроса в журналах. Проверьте, где он появился после обычного ответа и после ошибки. Просмотрите настройки отчётов о сбоях, телеметрии и сетевых соединений. Отдельно убедитесь, что резервная копия лежит там, где разрешено хранить исходные обращения. Если в пилоте используют поиск по документам, добавьте в схему хранилище, индекс и сервис векторизации. В этом примере модель получает справочник очередей без поиска по базе знаний.
Ollama описывает настройку локального режима без облачных функций. Этот параметр относится к Ollama. Отдельно проверьте настройки интерфейса и прокси. Тот же контроль нужен для мониторинга и обновлений. Согласуйте разрешённые направления по сети до подключения реальных заявок. Подробнее о журналировании и доступах в материале о рисках внедрения ИИ.
Сколько стоит содержать локальную модель
Сравнивайте модели на одном горизонте и при одинаковом объёме работы. Включите сервер, электричество, обслуживание, обновления и время людей на исправление ошибок. Если модели требуют разного количества ручной проверки, замерьте время отдельно. Сотрудник может быстро исправить категорию в форме, но ему придётся потратить больше времени, если заявка уже ушла другому отделу.
Условный расчёт на 36 месяцев: сервер за 420 000 ₽, обслуживание по 12 000 ₽ в месяц, электричество по 3 000 ₽ в месяц, 60 000 ₽ на обновления за весь период. Получается 1 020 000 ₽, или примерно 28 333 ₽ в месяц. Для другого разрешённого размещения с сопоставимыми накладными расходами возьмём условные 35 000 ₽ в месяц. За тот же срок получится 1 260 000 ₽. В примере обе суммы не включают ручную проверку. Добавьте её отдельно, прежде чем принимать решение по этим цифрам.
Допустим, один вариант требует в среднем ещё 150 исправлений в месяц по три минуты. Это 7,5 часа работы. Умножьте время на принятую в компании стоимость часа и добавьте к месячному бюджету варианта. Если во втором варианте заявки тоже исправляют, сравнивайте разницу в трудозатратах. Внешнее размещение сравнивают только тогда, когда оно допустимо для конкретных данных. Если доступно только локальное, оцените две конфигурации сервера или модели.
До решения о закупке проверьте ещё два пункта. Кто восстановит работу после отказа диска и во сколько обойдётся этот простой? Кто сможет повторить замеры, если администратор уйдёт в отпуск? В расчёте стоит выделить время на восстановление из резервной копии и на обновление инструкции. Если один сервер обслуживает несколько разных моделей, запишите, какую долю его времени занимает разбор заявок и как команды делят очередь. Это поможет объяснить затраты на пилот и проверить, что испытание выдержит обычный рабочий день.
Когда переходить к работе с настоящей очередью
Оставьте подсказки в тестовом режиме, пока модель нарушает хотя бы один критерий приёмки. Если показатели укладываются в рамки, включите показ подсказок одной смене. Не подключайте запись категорий автоматически. Сверьте новые ошибки с эталонным набором и отдельно проверьте, успевает ли дежурный заметить плохую подсказку. В паспорте укажите дату замера и ссылку на результаты, чтобы после обновления повторить ту же проверку.
Перед расширением договоритесь, кто отключает модель при сбое и как дежурные продолжают сортировать заявки. Сохраните результаты предыдущего прогона, перечень разрешённых полей и настройки сервера. В примере с моделью Б, если после замера удастся уложиться в лимит задержки, команда заново прогонит весь набор, включая неоднозначные заявки. Только после этого можно испытать подсказку в одной смене.
Если ещё выбираете кандидатов, начните с критериев выбора модели для бизнеса. Как распределить доступы между системами, описано на странице разработки ИИ-агентов. Если задача для пилота ещё открыта, на аудите процессов можно выбрать операцию с понятным эталоном и договориться, как замерить результат.
Источники
- Ollama Local FAQ. Локальный режим и настройки сервера.
- vLLM Bench Serve. Параметры нагрузки и ограничения числа одновременных запросов.
Вопросы и ответы
Какие локальные модели ИИ для бизнеса стоит сравнить?
Возьмите две модели, которые разрешено использовать и можно запустить на доступном оборудовании. Для каждой запишите версию, лицензию и формат весов. Прогоните одинаковые заявки и сравните ошибки, задержку и пиковое потребление памяти.
Достаточно ли развернуть модель на своём сервере, чтобы данные остались внутри компании?
Проверьте весь путь запроса, включая интерфейс, подключённые сервисы, логи и резервные копии. Начните с синтетических данных и проверьте сетевые соединения. Допуск к рабочим данным оформляйте на конкретную схему.
Как проверить локальный ИИ без покупки сервера?
Сначала используйте доступный компьютер или тестовую машину и синтетические заявки. Так можно выявить ошибки в категориях и проверить маршрут данных. Задержку и потребление памяти для решения о закупке замеряйте на оборудовании, близком к будущему.