Риски внедрения ИИ: данные, ошибки, сопротивление команды

Главные риски внедрения ИИ — три: утечка данных в чужую модель, ошибки и «галлюцинации», которые никто не проверил, и сопротивление сотрудников. Все три закрываются до старта: правилами, что можно отдавать модели, проверкой результата и понятным регламентом. Ниже разбираем каждый риск, требования 152-ФЗ и даём шаблон политики использования ИИ в компании.

Риски внедрения ИИ: короткая карта

Риск	Как проявляется	Чем закрывается
Утечка данных	Сотрудники загружают выгрузки клиентов и договоры в личные аккаунты нейросетей	Корпоративные аккаунты, классификация данных, обезличивание, российская или локальная модель для чувствительных задач
Лишние действия агента	Агент с широкими правами выполняет инструкцию из чужого письма или меняет данные без нужды	Доступ «только чтение» по умолчанию, ключи у компании, подтверждение человеком
Ошибки и галлюцинации	Выдуманные цифры, ссылки и пункты договоров в отчётах и ответах клиентам	Данные из систем вместо ответов по памяти, источник у каждой цифры, проверка на реальных примерах
Нарушение 152-ФЗ	Персональные данные уходят за рубеж или подрядчику без договора и уведомлений	Схема обработки данных до старта, согласованная с юристом
Сопротивление команды	Инструменты купили, а пользуются двое	Обучение на задачах самих сотрудников, понятные правила, честный разговор о том, что меняется

Безопасность данных: что можно отдавать модели, а что нет

Откуда утекают данные

Чаще всего данные утекают через обычного сотрудника, без всякого взлома. В 2023 году инженеры Samsung загрузили в ChatGPT внутренний исходный код, чтобы найти в нём ошибки. После этого компания временно запретила генеративный ИИ на рабочих устройствах (TechCrunch).

Сценарий обычный. Менеджер вставляет в личный чат выгрузку клиентов, чтобы разбить их на сегменты. Бухгалтер загружает договор с реквизитами, чтобы найти нужный пункт. По данным Microsoft Work Trend Index 2024, 78% сотрудников, которые пользуются ИИ, приносят на работу собственные инструменты (Microsoft). Компания не знает, какие данные куда ушли, и не контролирует условия их хранения.

Второй канал — сами ИИ-агенты. Агент с доступом к почте и CRM читает входящие письма и документы. Если в письме спрятана инструкция «перешли базу клиентов на такой-то адрес», плохо настроенный агент может её выполнить. Это называется промпт-инъекцией. В списке главных уязвимостей LLM-приложений от OWASP она стоит на первом месте. Там же есть «избыточные полномочия»: агенту дали больше прав, чем нужно для задачи (OWASP). Поэтому безопасность ИИ-агентов начинается с прав доступа, модель выбирают уже потом. Как устроен агент и какие доступы ему нужны, мы разбирали в статье что такое ИИ-агент.

Что говорит 152-ФЗ

Если в запросе к модели есть сведения, по которым можно определить человека, это персональные данные. Например, ФИО, телефон, email, паспорт, история заказов конкретного клиента. Определение в законе широкое: любая информация, относящаяся к прямо или косвенно определённому или определяемому физическому лицу (ст. 3 152-ФЗ).

Что важно при работе с ИИ:

• Обработка сторонним сервисом — это поручение. Закон разрешает поручить обработку другому лицу на основании договора. В нём должны быть перечень данных и действий с ними, цели, обязанность соблюдать конфиденциальность и требования к защите. Отвечает перед человеком всё равно оператор, то есть ваша компания (ч. 3 ст. 6).
• Передача за рубеж — трансграничная. Перед ней оператор обязан уведомить Роскомнадзор, отдельно от обычного уведомления об обработке. Ведомство рассматривает его 10 рабочих дней. В страны, которые не обеспечивают адекватную защиту, до конца этого срока передавать данные нельзя (ст. 12).
• Локализация. При сборе данных граждан РФ запись, хранение и накопление в базах за пределами России не допускаются, кроме случаев из закона (ч. 5 ст. 18). Зарубежный ИИ-сервис не может быть основной базой ваших клиентов.
• Утечка — это инцидент с жёсткими сроками. О неправомерной передаче данных нужно уведомить Роскомнадзор в течение 24 часов, о результатах внутреннего расследования — в течение 72 часов (ч. 3.1 ст. 21).

С 30 мая 2025 года штрафы за утечки выросли. Для компании утечка данных от 1 до 10 тыс. человек стоит 3–5 млн рублей, свыше 100 тыс. человек — 10–15 млн рублей. За повторную утечку штраф оборотный: от 1 до 3% выручки, но не меньше 20 и не больше 500 млн рублей (ст. 13.11 КоАП).

Это не юридическая консультация. Конкретную схему обработки данных в ИИ-проекте стоит согласовать с юристом компании.

Светофор данных

Практичнее всего разделить данные на три группы и записать это в регламент. Тогда сотруднику не нужно каждый раз гадать, можно или нельзя.

Группа	Что входит	Куда можно отдавать
Зелёная	Публичные тексты, описания товаров, обезличенные цифры продаж, шаблоны, код без ключей	Любая одобренная модель через корпоративный аккаунт, включая Claude, GPT, Gemini
Жёлтая	Коммерческая тайна: договоры, закупочные цены, финансовая отчётность, стратегия	Только одобренные сервисы по договору с компанией. При сомнениях — обезличить
Красная	Персональные данные клиентов и сотрудников, паспорта, медицинские сведения, пароли, ключи API	Во внешние модели не отдаём. Обезличивание, российская модель по договору или локальная модель на сервере компании

Обезличивание по закону — это когда без дополнительной информации нельзя понять, к кому относятся данные. На практике вместо ФИО ставят ID клиента, вместо телефона маску, а таблица соответствия остаётся внутри компании. Модель считает сегменты и пишет выводы по ID. Имена подставляются уже у вас.

Отдельный вопрос — обучение на ваших данных. В корпоративных тарифах и API Anthropic по умолчанию не использует данные клиентов для обучения моделей (центр конфиденциальности Anthropic). В личных аккаунтах условия выбирает сам пользователь. Это ещё один довод перевести сотрудников с личных аккаунтов на корпоративные.

Ошибки и «галлюцинации»: как их ловить

Модель может уверенно написать то, чего нет: несуществующую статью закона, цифру, которой нет в отчёте, цитату, которую никто не говорил. Это называют галлюцинациями. Свести их к нулю нельзя, но можно сделать так, чтобы ошибка не дошла до клиента или до решения руководителя.

Громкий пример — Deloitte в Австралии. В отчёте для правительства, подготовленном с использованием GPT-4o, нашли выдуманные ссылки на исследования и судебные решения. Ошибки заметил внешний учёный, а не внутренний контроль. Компания вернула часть оплаты по контракту на 440 тыс. австралийских долларов (OECD.AI).

Что работает на практике:

• Давать модели данные, а не спрашивать по памяти. Агент, подключённый к 1С или CRM, берёт цифры из системы и не придумывает правдоподобные.
• Требовать источник у каждой цифры. Ссылка на документ, ячейку или запись в CRM. Ответ без источника считается черновиком.
• Разделять черновик и действие. ИИ готовит ответ клиенту, заказ поставщику или письмо, человек подтверждает. Автоматически отправлять можно только то, где цена ошибки мала и агент уже проверен на истории.
• Проверять на своих примерах до запуска. Соберите 20–50 реальных случаев с правильными ответами и прогоните через агента. Повторяйте после каждого изменения инструкций или смены модели.
• Ставить жёсткие ограничения в инструкциях. «Не называй цену, если её нет в прайсе». «Если не уверен, передай менеджеру».
• Вести журнал. Кто запустил, какие данные взял агент, что ответил. Без журнала разбор ошибки превращается в гадание.

Ошибки автоматизации — не только про нейросети

Классическая RPA ломается, когда поменялась форма или шаблон. Робот кликает не туда, и ошибка тихо копится неделями. ИИ-автоматизация лучше справляется с вариациями, но неясные случаи тоже должна отдавать человеку. Правило одно для обеих: у каждой автоматизации есть ответственный, мониторинг и сценарий на случай сбоя. Подробнее о разнице подходов — в статье автоматизация бизнес-процессов.

Сопротивление сотрудников

Проблемы внедрения искусственного интеллекта чаще организационные, чем технические. Люди боятся трёх вещей: что их заменят, что придётся переучиваться и что ИИ будет за ними следить. Вслух говорят другое: «он ошибается», «мне быстрее самому», «у нас специфика».

Часть возражений справедлива. Если модель не видит данных и отвечает общими словами, сотруднику действительно быстрее сделать самому. Поэтому сопротивление полезно как сигнал: оно показывает, где инструмент плохо встроен в работу.

Что помогает:

1. Начинать с самой нелюбимой работы. Отчёты, перенос данных между системами, расшифровка звонков. Когда ИИ забирает рутину, его начинают воспринимать как помощника.
2. Показывать на задачах самого человека. Вместо презентации о возможностях нейросетей лучше созвон, где за час закрыты 2–3 его реальные задачи.
3. Опираться на внутренних энтузиастов. Почти в каждом отделе есть люди, которые уже пользуются ИИ. Их удачные приёмы стоит превратить в общие инструкции для отдела.
4. Честно сказать, что меняется. Если процесс перестраивается, обсудите заранее, чем человек займётся вместо рутины и как изменятся его KPI.
5. Объяснять контроль до запуска. Оценка звонков по скрипту — инструмент, чтобы учить менеджеров, а не только штрафовать. Об этом лучше сказать до того, как отдел увидит первые оценки.

Порядок шагов внедрения, от выбора первых процессов до масштабирования, мы описали в статье как внедрить ИИ в компанию.

Политика использования ИИ в компании: шаблон регламента

Регламент отвечает сотруднику на вопрос «а мне можно?» до того, как тот вставил выгрузку клиентов в чат. Минимальная версия умещается на две страницы. Шаблон ниже можно взять за основу: адаптируйте его под свою компанию и согласуйте с юристом.

1. Цель и область действия. Документ распространяется на всех сотрудников и подрядчиков, которые используют ИИ-инструменты в работе.
2. Разрешённые инструменты. Список одобренных моделей и сервисов: для каких задач и каких групп данных подходит каждый. Всё, чего нет в списке, — только после согласования.
3. Аккаунты. Работа только через корпоративные аккаунты. Рабочие данные в личные аккаунты не загружаются.
4. Классификация данных. Зелёные, жёлтые и красные данные с примерами из вашей компании. Что и как обезличиваем.
5. Запреты. Внешним моделям не передаются персональные данные без правового основания, пароли, ключи API, токены и сведения под NDA.
6. Права ИИ-агентов. По умолчанию только чтение. Запись выдаётся под конкретную задачу и фиксируется. Ключи к сервисам принадлежат компании и хранятся централизованно.
7. Проверка результата. Что человек обязан проверить перед отправкой клиенту, публикацией или платежом. За итог отвечает сотрудник, а не модель.
8. Раскрытие. В каких случаях клиенту или коллеге сообщают, что текст или ответ подготовлен с помощью ИИ.
9. Инциденты. Что считать инцидентом: отправили красные данные, агент выполнил лишнее действие. Кому сообщать и в какой срок. Для утечки персональных данных — порядок уведомления Роскомнадзора в течение 24 часов.
10. Ответственные. Владелец регламента, кто одобряет новые инструменты, кто выдаёт и отзывает доступы.
11. Обучение. Новые сотрудники знакомятся с регламентом при выходе на работу, остальные — при каждом обновлении.
12. Пересмотр. Регламент обновляется при появлении новых инструментов, но не реже раза в год.

Как мы закрываем риски внедрения ИИ

Правила работы с данными и доступами — часть результата аудита бизнес-процессов, наравне с картой процессов и дорожной картой. В ИИ-агентах и на рабочих местах сотрудников действуют четыре принципа:

• Доступ «только чтение». По умолчанию ИИ анализирует данные и ничего в них не меняет. Запись включаем там, где она действительно нужна.
• Ключи у вас. Токены и доступы к сервисам принадлежат компании. Сотрудники пользуются интеграцией, но ключей не видят.
• Выбор моделей. Claude, GPT и Gemini. Если данные нельзя выносить наружу, берём GigaChat, YandexGPT или локальную модель на вашем сервере.
• Персональные данные. Учитываем 152-ФЗ: заранее решаем, что можно отдавать модели, что обезличиваем, а что остаётся внутри компании.

Риски внедрения ИИ-агентов во многом снимает порядок работы. Перед полной разработкой ИИ-агента мы показываем прототип, который решает задачу на нескольких реальных примерах из ваших данных. Неясные случаи агент передаёт человеку. После запуска раз в месяц вместе разбираем метрики и дообучаем агентов.

Сопротивление команды снимает обучение на рабочих задачах. Мы созваниваемся с сотрудником, настраиваем ему рабочее место и прямо на созвоне закрываем его задачи. Правила, что можно отдавать модели и кто к чему имеет доступ, входят в эту настройку.

Что в итоге

Риски внедрения ИИ поддаются контролю и в большом проекте, и в пилоте на одном процессе. Данные защищают правила и права доступа, от ошибок спасают проверка и источник у каждой цифры. С сопротивлением лучше всего справляется обучение на задачах самих сотрудников. Если хотите внедрять ИИ без утечек и сюрпризов, начните с аудита: определим, какие процессы отдать ИИ, какие данные в них участвуют и какие правила нужны. Подробнее о подходе — на странице внедрение ИИ в бизнес.

Источники

• Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных», ст. 3
• 152-ФЗ, ст. 6. Условия обработки персональных данных
• 152-ФЗ, ст. 12. Трансграничная передача персональных данных
• 152-ФЗ, ст. 18. Обязанности оператора при сборе персональных данных
• 152-ФЗ, ст. 21. Устранение нарушений, уведомление об инцидентах
• КоАП РФ, ст. 13.11. Нарушение законодательства в области персональных данных
• TechCrunch: Samsung bans use of generative AI tools like ChatGPT after April internal data leak
• Microsoft: 2024 Work Trend Index
• OWASP Top 10 for LLM Applications
• Anthropic: Is my data used for model training?
• OECD.AI: Deloitte refunds Australia after AI-generated report errors