Большинство ИИ-проектов спланированы до дня запуска. Дальше начинается настоящая работа — и её никто не планировал. В базе знаний меняются цены, провайдер выкатывает обновление модели, клиенты начинают спрашивать о новом продукте, в CRM переименовывают поле, и агент, который блистал в первую неделю, незаметно становится хуже.
Рыночные данные показывают, как часто так происходит. Обзоры ИИ-проектов на русскоязычных рынках описывают знакомую картину: через полгода ценность не видна, сотрудники раздражены, клиенты жалуются, бюджет превышен (CNews). Gartner ожидает, что к концу 2027 года будет закрыто более 40% агентных ИИ-проектов (Gartner). Компании, которые относятся к ИИ как к эксплуатируемой системе, вкладываются именно в то, что нужно: по опросу KPMG за III квартал 2026 года 70% крупных американских компаний используют для своих агентов дашборды, мониторинг и оценку качества, а 43% работают с бюджетами на токены (KPMG).
AI Ops — это дисциплина, которая сохраняет ИИ-системы после запуска точными, доступными по цене, безопасными и соответствующими требованиям. Ниже — что в неё входит, что мониторить, сколько это стоит и как всё настроить.
Почему ИИ-системы деградируют после запуска
1. Дрейф знаний
Цены, правила, часы работы и ассортимент меняются, а база знаний сама себя не обновляет. Устаревшие знания — самая частая причина галлюцинаций через несколько месяцев после запуска. И как только клиенты ловят систему на ошибке, доверие быстро падает.
2. Дрейф моделей
Провайдеры обновляют модели, меняют версии по умолчанию и снимают старые модели с поддержки по своему графику. Тот же промпт вдруг даёт более длинные ответы, иначе работает с инструментами или звучит другим тоном. Если система обращается к псевдониму вроде «latest», она может измениться без единой строчки изменений в вашем собственном коде.
3. Дрейф запросов
Новые товары, маркетинговая кампания, сезонный пик или выход на новый рынок приносят вопросы, которых система никогда не видела. Покрытие 80% в первый месяц может превратиться в 60% к шестому — при том что технически ничего не сломалось.
4. Ломающиеся интеграции
Поля в CRM переименовывают, версии API устаревают, OAuth-токены истекают, вебхук меняет формат. Агенты здесь часто ломаются бесшумно: продолжают вежливо отвечать, но перестают создавать обращение или запись.
5. Дрейф затрат
Использование растёт, разговоры становятся длиннее, кто-то «временно» включает более крупную модель. Один только рост контекста может сделать длинные голосовые сессии заметно дороже коротких в пересчёте на минуту — в одном замере до $0,146 за минуту при типичных $0,05–0,08 (HackerNoon).
6. Каналы и инфраструктура
У голосовых каналов свои сбои: всплески задержки на общей инфраструктуре; лимиты параллельных звонков — Retell, например, включает 20 одновременных звонков и берёт отдельную плату за каждую следующую линию (Retell); в США операторы помечают номера компаний без брендированного Caller ID как «Spam Likely». У мессенджеров — свои риски: в Казахстане основной канал — WhatsApp, в Узбекистане — Telegram, и в некоторых странах мессенджеры замедляют или ограничивают. Агент, которого можно за несколько дней перенести в другой канал — на сайт, в другой мессенджер, — переживает такие события без потери клиентов.
Ранние сигналы
Одна большая и драматичная авария бывает редко. Следите за мелкими сигналами: доля эскалаций каждый месяц подрастает на пару пунктов; сотрудники перепроверяют работу агента «на всякий случай»; клиенты пишут «я же уже говорил вашему боту»; ежемесячный счёт растёт быстрее числа разговоров. Замеченный вовремя, каждый такой сигнал дёшево исправить — дорого становится, когда он всплывает жалобой вашего крупнейшего клиента.
Пять опор AI Ops
| Опора | Что входит | Типичные инструменты | Ритм |
|---|---|---|---|
| Мониторинг | Доступность, ошибки, задержка, состояние интеграций, неудачные вызовы инструментов | Трассировка (Langfuse, Helicone), Sentry, проверки доступности | В реальном времени, с оповещениями |
| Качество | Онлайн-оценки evals, отметки о галлюцинациях, доля эскалаций и повторных обращений | Набор evals, LLM-судья, ручная проверка | От ежедневного до еженедельного |
| Затраты | Стоимость результата, расход токенов, доля попаданий в кэш, расход бюджета | LLM-шлюз, дашборды провайдеров | Еженедельно, ежемесячный отчёт |
| Управление изменениями | Промпты, модели, инструменты и знания как релизы с версиями | Git, контроль evals в CI, канареечные релизы | При каждом изменении |
| Инциденты и комплаенс | Регламенты, «рубильник», разборы инцидентов, уведомление об ИИ, DPA, ревизия доступов | Регламент, график дежурств, чек-лист комплаенса | По событию; ежеквартальная проверка |
Что мониторить: практичный набор метрик
Бизнес-результаты — цифры, которые интересны руководству:
- доля решённых или автоматизированных обращений, записи на приём, обработанные документы;
- доля эскалаций к людям и их причины;
- повторные обращения в течение 48 часов — «решённое» обращение, которое вернулось, решённым не было.
Качество:
- онлайн-оценки evals на ежедневной или еженедельной выборке реальных диалогов (см. наше руководство по оценке качества ИИ);
- обоснованность ответов и отметки о галлюцинациях, нарушения правил;
- отзывы пользователей и ручные исправления в учётных системах.
Техника:
- доля ошибок и тайм-аутов по каждому провайдеру и инструменту;
- задержка по 95-му перцентилю — в голосе цель около секунды на реплику, потому что люди обычно делают паузу всего около 200 миллисекунд (PNAS);
- доля переключений на резервную модель — она показывает проблемы провайдера раньше, чем их заметят пользователи.
Затраты:
- стоимость результата — решённого обращения, записи, документа;
- токены на разговор и доля попаданий в кэш;
- расход бюджета относительно месячных лимитов, в идеале — с жёстким контролем через LLM-шлюз.
Безопасность:
- заблокированные попытки инъекций, необычные вызовы инструментов, массовые выгрузки данных, новые адресаты исходящего трафика (см. защиту от промпт-инъекций).
Ручной контроль качества в контакт-центрах обычно проверяет лишь 1–2% звонков (AssemblyAI). Автоматическая оценка позволяет просматривать каждый разговор и отдавать людям только помеченные.
Управление изменениями: относитесь к изменениям ИИ как к релизам
Большинство инцидентов с ИИ компании устраивают себе сами: правка промпта в пятницу вечером, пачка новых документов, загруженная без проверки, смена модели «потому что дешевле». Лекарство скучное, но действенное:
- Версии для всего: промпты, описания инструментов, настройки поиска, ID моделей с точными версиями, снимки базы знаний.
- Каждое изменение — через evals. Никакого релиза, если критические метрики упали.
- Постепенный выкат. Теневой режим — новая версия отвечает параллельно и только пишется в лог — или канареечный выкат на 5–10% трафика до полного переключения.
- Откат — в один клик.
- Плановые обновления моделей. Когда провайдер объявляет новую версию или дату отключения, прогоните полный набор evals, сравните стоимость и задержку и назначьте дату перехода. Не ждите дедлайна.
- У базы знаний должен быть владелец и календарь. Кто-то со стороны бизнеса отвечает за цены, правила и данные о товарах; изменения попадают в ИИ по фиксированному графику и с короткой проверкой.
Реагирование на инциденты: когда ИИ ошибается
Рано или поздно система скажет клиенту что-то неверное. Важно, как быстро вы это заметите, локализуете и сделаете выводы:
- Уровни критичности. Корявая фраза — это не то же самое, что неверное обещание цены или данные другого клиента в ответе.
- «Рубильник». Возможность отключить действия — возвраты, бронирования, письма, — оставив информационные ответы, или перевести всё на людей.
- Передача человеку. Понятная эскалация при низкой уверенности модели или когда клиент просит живого сотрудника.
- Разбор инцидента. Что произошло, почему evals этого не поймали и какой новый тест теперь от этого защищает.
- Юридическая проверка. Если затронуты персональные данные, для компаний в ЕС действуют процедуры GDPR по утечкам. Проверьте также, было ли на месте уведомление об ИИ, которого требует статья 50 AI Act; в Казахстане аналогичное уведомление требует местный закон об ИИ.
Календарь AI Ops
| Периодичность | Задачи |
|---|---|
| Ежедневно | Оповещения, помеченные диалоги, неудачные вызовы инструментов, расход бюджета |
| Еженедельно | Разбор эскалаций и диалогов с низкой оценкой; изменения в базе знаний; короткий прогон evals |
| Ежемесячно | Полный набор evals; отчёт о затратах и качестве со стоимостью результата; бэклог улучшений; ревизия доступов |
| Ежеквартально | Пересмотр моделей — новые версии, цены, отключения; обновление маршрутизации; проверка комплаенса: уведомление об ИИ, DPA, список субобработчиков, сроки хранения; тест восстановления после сбоя |
Как принять систему, которая уже работает: первые 30 дней
Многие компании приходят к AI Ops с системой, которая уже в продакшене: её сделало прежнее агентство, внутренняя команда на хакатоне или вендор, который ушёл дальше. Практичный план приёмки на 30 дней:
- Неделя 1 — инвентаризация и доступы. Соберите все промпты, сценарии, интеграции, API-ключи и аккаунты у провайдеров. Перенесите ключи в хранилище секретов и убедитесь, что аккаунты провайдеров принадлежат компании, а не привязаны к личной почте фрилансера. Зафиксируйте, какие версии моделей реально работают.
- Неделя 2 — базовый замер. Включите трассировку и учёт затрат, если их нет. Возьмите выборку из 100–200 недавних диалогов или документов и оцените их вручную или откалиброванным судьёй. Это ваша честная картина «до» — часто отрезвляющая.
- Неделя 3 — страховочная сетка. Соберите из этой выборки первый набор evals, включая найденные ошибки. Добавьте оповещения о бюджете, «рубильник» для действий и понятную передачу человеку. Зафиксируйте версии моделей.
- Неделя 4 — быстрые победы и план. Устраните самые частые причины ошибок — обычно это устаревшие знания, сломанная интеграция или отсутствующее правило эскалации. Затем договоритесь о ежемесячном ритме, ответственных с обеих сторон и метриках, которые будут в каждом отчёте.
Через 30 дней вы знаете, что система делает на самом деле, сколько стоит и где ошибается, — это стартовая точка для любых улучшений.
Сколько стоит AI Ops и кто должен этим заниматься
Рыночные ориентиры для постоянного сопровождения ИИ:
| Модель | Типичная цена | Источник |
|---|---|---|
| Ретейнер, одна система, небольшая компания | $500–1 500 в месяц | Lets-Viz |
| Ретейнер, средний сегмент | $2 000–8 000 в месяц | Lets-Viz |
| Распространённая ступенчатая сетка | Starter $3 000 / Growth $7 500 / Enterprise $15 000 в месяц | Digital Applied |
| Надбавка за риск дрейфа моделей и скачков цен на токены | +15–20% | Digital Applied |
| Токены | Включены с запасом 20–30%, перевыставляются с наценкой 15–25% или оплачиваются клиентом напрямую | Digital Applied |
| Типичные расходы на модели у одного агента в рабочем режиме | $50–500 в месяц | Lets-Viz |
Для сравнения: senior ИИ-разработчик в штате обходится примерно в $8 300 в месяц со всеми налогами и издержками (Lets-Viz) — и один человек не закроет дежурства, evals, интеграции и комплаенс. Для классического ПО на полное сопровождение часто закладывают 15–30% сметы разработки в год (BPA Develop). ИИ-системы ближе к верхней границе, потому что их качество нужно постоянно измерять заново, а не просто поддерживать в рабочем состоянии.
Кто должен этим заниматься? Обычно ответственность делят. Ваша команда отвечает за бизнес-сторону: содержание базы знаний, правила, обработку эскалаций и последнее слово по изменениям. Внутренняя платформенная команда или внешний партнёр отвечает за мониторинг, evals, обновления моделей, контроль затрат и инциденты. Как бы вы ни разделили роли, зафиксируйте это письменно: время реакции, что считается инцидентом, какие метрики попадают в отчёт и — если вы платите за результат — что именно считается «решённым». Аналитики HFS ожидают, что именно это определение станет следующим большим полем споров в SLA (HFS Research).
Типичные ошибки
- Нет ответственного со стороны бизнеса — база знаний начинает устаревать с первого дня.
- Мониторинг только доступности. Система «зелёная», а ответы становятся хуже.
- Ссылки на псевдонимы «latest» без прогона evals при каждой смене модели.
- Исправление инцидентов без новых тестов — та же ошибка возвращается.
- Нет оповещений о бюджете, пока не пришёл счёт.
- Договоры без определений в SLA для времени реакции и результатов.
- AI Ops как необязательная статья, которую режут первой при сокращении бюджета, — ровно тогда, когда дрейф начинает бить по результатам.
Вывод
ИИ-система больше похожа на нового сотрудника, чем на программу: ей нужны введение в должность, присмотр, регулярная обратная связь и обновления каждый раз, когда меняется бизнес. AI Ops превращает всё это в рутину — мониторинг, evals, контроль затрат, дисциплинированные релизы и спокойную работу с инцидентами. Закладывайте сопровождение в бюджет с самого начала, назначьте понятных ответственных — и на двенадцатом месяце ваш ИИ будет лучше, чем на первом, а не тихо хуже. Если проект так и не дошёл до этой стадии, прочитайте, почему ИИ-пилоты застревают и как вывести их в продакшен.
Наша команда Systems ведёт AI Ops для агентов поддержки, голосовых и документных агентов: мониторинг, ежемесячные evals, отчёты о затратах и обновления моделей — с вашими данными в ваших собственных аккаунтах. Запишитесь на бесплатный 15-минутный аудит — проверим состояние вашей ИИ-системы и покажем три вещи, которые стоит исправить в первую очередь.