ИИ-агенты

Тестирование ИИ-агентов: как проверять качество после изменений

Тестирование ИИ-агентов: как проверять качество после изменений

Тестирование ИИ-агентов после обновления начните с одинаковых заявок для обеих версий. Повторите каждый сценарий несколько раз. Отдельно проверьте, правильно ли агент использует данные и передаёт ли заявку сотруднику, когда сам подготовить черновик не может.

Допустим, отдел продаж меняет инструкцию агента, который готовит черновики коммерческих предложений. Раньше при устаревшей цене он оставлял заявку менеджеру. После правки агент быстрее заполняет поля, но иногда подставляет цену из старой выгрузки. Такой сбой легко пропустить, если в отчёте есть только среднее время ответа и доля готовых черновиков.

Тестирование ИИ-агентов начинается с правил работы

Из заявки сотрудника агент берёт артикул и количество. За ценой он обращается к корпоративному каталогу. В черновик попадают цена за единицу, сумма, валюта и ссылка на конкретную запись каталога. Менеджер проверяет предложение и сам отправляет его клиенту. У агента есть доступ на чтение каталога и право создать внутренний черновик или задачу в очереди продаж.

Опишите отдельно, откуда агент берёт каждое поле. Количество приходит из заявки, цена и валюта из каталога. В учебном примере цена включает НДС, скидок нет, а сумма считается умножением количества на цену за единицу. Срок поставки в выгрузке отсутствует. Менеджер согласует его сам, поэтому агент оставляет это поле пустым. Все числа в примере условные.

На тестовом стенде зафиксируйте время проверки, например 21 ноября в 10:00 МСК. Каталог price-v17 действовал до 20 ноября, а price-v18 действует с 21 по 30 ноября включительно. В версии price-v18 товар A-104 стоит 2 400 ₽, в price-v17 он стоил 2 100 ₽. Для проверки передачи сотруднику используйте тестовую очередь с журналом созданных задач. На стенде внешняя отправка клиентам отключена, а журнал сохраняет попытки её вызова.

Если агент уже собран, возьмите из гайда по созданию ИИ-агента правила первичной приёмки и доступов. Для сравнения версий понадобятся ещё стабильный набор заявок, снимок источника и протокол повторов.

Из каких заявок собрать тестовый набор

Сценарий описывает исходное состояние и допустимый результат. Для примера с коммерческим предложением достаточно сначала разметить несколько заявок каждого типа. Сохраните формулировки, с которыми реально работает отдел. Где можно, обезличьте их. Пограничные случаи добавьте отдельно, например когда в заявке сохранилась ссылка на вчерашнюю цену, а свежий каталог временно недоступен.

Что поступило Какой результат принять Кто проверяет
«Нужны 3 штуки A-104». Доступен каталог price-v18 Внутренний черновик на 7 200 ₽, цена за штуку 2 400 ₽. Есть ссылка на карточку A-104 в price-v18. Срок поставки пуст Интегратор сверяет поля и ссылку. Менеджер читает примечания
«Нужны 3 штуки A-104». Доступна только price-v17 Задача менеджеру с причиной «истёк срок действия каталога». Черновик с ценой отсутствует Интегратор проверяет журнал задач. Владелец каталога подтверждает версию и дату
«Нужна 1 штука B-209». В price-v18 такого артикула нет Задача менеджеру с артикулом и причиной «нет в каталоге». Поля цены пустые, замену агент не подбирает Владелец каталога сверяет наличие. Менеджер проверяет, достаточно ли данных для ответа

Ссылку в штатном сценарии проверьте по содержимому карточки. Адрес может открываться с кодом 200 и вести на общий каталог или на текущую запись другого артикула. В протоколе храните ожидаемую пару «артикул и версия» вместе со снимком данных. Для одного товара полезно добавить запрос с опечаткой и запрос с двумя похожими артикулами. Решение о том, как обрабатывать такой вход, принимает владелец процесса до прогона.

Разметьте и допустимые варианты. Фразы «цена требует подтверждения» и «нужна актуальная цена» могут одинаково объяснять менеджеру причину передачи. Достаточно, что система создала нужную задачу и приложила сведения о товаре. Для цены, валюты, версии источника и факта отправки задайте точные проверки.

Сохраните набор под номером версии. Дайте каждой заявке короткий ID, укажите дату снимка каталога и добавьте ожидаемое состояние отдельной колонкой. Если команда по ходу теста уточнила, что агент может предлагать замену, выпустите новую версию набора. Прежние результаты оставьте с прежней разметкой. Обе версии агента прогоните повторно на обновлённых правилах.

Как сравнить старую и новую версию

Возьмите работающую конфигурацию A и кандидата B. В журнале укажите идентификаторы модели, инструкции, инструментов и стенда. Если вы меняете только инструкцию, оставьте прежнюю модель и настройки генерации. Когда одновременно обновились модель и инструкция, сравнение покажет эффект всей конфигурации. Чтобы установить причину разницы, затем понадобится отдельный прогон с одним изменением.

Запускайте обе версии на одном снимке каталога. Для каждой попытки создайте новый тестовый сеанс и верните очередь к исходному состоянию. Иначе агент может увидеть задачу, которую создала предыдущая попытка, а проверка ошибочно засчитает передачу. Если измеряете задержку, чередуйте версии при одинаковой нагрузке на стенд и одинаковых настройках кэша. Измеряйте от приёма заявки до появления доступного сотруднику результата. При передаче менеджеру замер заканчивается, когда задача появляется в его очереди. Для таймаута запишите время до срабатывания лимита и покажите число таймаутов рядом с p95.

Для пробного сравнения можно взять 12 заявок: шесть с достаточными данными, три с устаревшим каталогом и три с отсутствующим товаром. По три попытки на заявку дают 36 запусков на версию. Отдельно покажите результат по заявкам. Например, «критические правила выполнены во всех трёх попытках у 11 из 12 заявок». По такому отчёту видно, сколько разных входов затронуто.

В каждую строку журнала поставьте ID заявки, версию агента, номер попытки, фактический результат и длительность. Приложите ссылки на черновик, запись каталога и задачу менеджеру, если они появились. Статус «передано» в ответе агента сам по себе ничего не записывает в очередь. Успешную передачу подтверждает запись с ID задачи, нужной очередью и артикулом исходной заявки. Таймаут отмечайте отдельным исходом и включайте в число запусков.

Как выглядит одна строка разбора

В заявке Q-07 просят три штуки A-104. В тестовой среде доступна только выгрузка price-v17. Второй прогон версии B завершился за 4,8 секунды. Агент обошёлся без черновика с неверной ценой и написал во внутреннем ответе, что передал заявку. Проверка очереди по ID Q-07 вернула ноль записей. Итог попытки — обязательное правило передачи нарушено.

У версии A для той же заявки и того же номера повтора есть запись Q-07 в тестовой очереди продаж. В ней указано, что прайс просрочен. Сопоставление таких пар экономит время на разборе. Из журнала видно, что обе версии распознали проблему, но в одной из них результат не дошёл до менеджера.

Если рядом с неудачной попыткой нет записи о вызове очереди, проверьте, требовала ли инструкция сделать этот шаг после проверки каталога. Если вызов записан, откройте ответ тестовой интеграции. Она могла отклонить заявку из-за незаполненного поля. Добавьте в запись причину только после проверки: фраза «агент забыл передать» сама по себе не указывает, где править процесс.

Что проверить кодом и что прочитать вручную

Кодом удобно проверить структуру полей, допустимое состояние результата и посчитать сумму в копейках. Цена должна совпадать со снимком, действующим на время теста. Автоматическая проверка также может по журналу установить, пытался ли агент создать исходящее письмо и сколько внутренних задач появилось. Если ожидалась одна задача, две одинаковые записи тоже считаются ошибкой.

Менеджеру покажите заявку, допустимые условия и черновик. Предложите пометить любые новые обязательства: обещание доставить завтра, придержать остаток, дать скидку. Строгая сверка цен такие фразы пропустит, если они стоят в примечании. Покажите примечания без названий версий и перемешайте порядок, чтобы оценка меньше зависела от ожиданий команды. Если менеджеры спорят, что считать обещанием, зафиксируйте пару примеров в правилах и проверьте уже размеченные результаты по этому уточнению.

В спорной строке сначала откройте журнал инструментов. Когда агент указал завтрашнюю доставку, выясните, было ли поле со сроком в ответе каталога или оно появилось уже в тексте черновика. В первом случае проверьте состав данных, которые интеграция отдаёт агенту. Во втором проверьте инструкцию и шаблон предложения. Один и тот же симптом требует разных исправлений.

Как принять решение о выпуске

Пороги согласуйте до прогона. В этом примере все 18 штатных попыток должны содержать верные цены, суммы и ссылки. Во всех 18 попытках с проблемным источником или товаром нужна запись в очереди менеджера. Любое неподтверждённое обещание в черновике или попытка внешней отправки останавливает выпуск. Допустимую задержку для этого стенда задали как p95 не выше 8 секунд. Для 36 замеров по методу ближайшего ранга отсортируйте время по возрастанию и возьмите 35-е значение: округлите вверх произведение 0,95 × 36.

Проверка Версия A Версия B
Верные цены и суммы в штатных попытках 18 из 18 18 из 18
Верные ссылки в штатных попытках 18 из 18 18 из 18
Черновики с неподтверждёнными обещаниями, из 36 запусков 0 0
Передачи менеджеру с подтверждённой задачей 18 из 18 17 из 18
Попытки внешней отправки, из 36 запусков 0 0
p95 6,8 с 5,2 с

Оставьте A. У B одна попытка со старым каталогом завершилась без задачи в очереди. Откройте журнал этой попытки, исправьте обработку устаревшей версии источника и повторите весь набор: правка правила передачи может затронуть штатные заявки. Добавьте найденный сбой в постоянные регрессионные тесты. Отдельно продолжайте пополнять набор новыми примерами, на которых ещё не настраивали инструкцию.

Проверьте, что пороги защищают и обычные заявки. Если агент передаёт менеджеру всё подряд, он может пройти проверку сложных входов, но отделу придётся вручную готовить каждое предложение. Для этого штатные заявки в таблице идут отдельной группой. При расширении набора считайте долю черновиков и долю подтверждённых передач по каждой группе. Общее среднее скроет сдвиг, если заявок одного типа заметно больше.

Три повтора помогают заметить расхождения на одинаковом входе, но такой стенд не даёт оценки точности на всём потоке. После успешного прогона можно начать ограниченный пилот, в котором каждое предложение проверяет менеджер. Отметьте, сколько черновиков он исправил, почему заявки ушли на ручной разбор и сколько времени заняла работа. Как сравнить эти показатели с привычной работой отдела, разбираем в материале об оценке эффективности ИИ.

Что приложить к приёмке

Перед решением о выпуске сохраните таблицу заявок, снимок каталога, настройки обеих версий и протокол со ссылками на спорные прогоны. Попросите владельца процесса зафиксировать решение вместе с условиями пилота. Если принимающий увидит ошибку позже, он сможет восстановить условия и проверить её на том же входе.

При разработке ИИ-агента согласуйте критерии приёмки вместе с правами доступа. Если правила для цены и передачи менеджеру ещё не описаны, начните с аудита процесса и разбора нескольких типичных заявок.

Источники

Вопросы и ответы

Сколько раз нужно прогонять один тест ИИ-агента?

Для первого сравнения начните с нескольких повторов каждого сценария в обеих версиях. В учебном примере их три. Если результаты расходятся, сохраните все попытки, разберите причину и увеличьте число прогонов для этой группы.

Что проверять автоматически, а что отдать менеджеру?

Кодом сверяйте артикул, количество, цену, версию каталога, ссылку и факт передачи заявки. Менеджер читает черновик, вылавливает неподтверждённые скидки и условия, оценивает, понятно ли из примечания, что делать дальше.

Когда стоит остановить выпуск новой версии?

Остановите выпуск, если агент нарушил заранее согласованное обязательное правило. Например, пропустил передачу менеджеру при устаревшем источнике или попытался отправить черновик клиенту. Средняя оценка качества не отменяет такое нарушение.