Почти все компании начинают с одного API-ключа, вставленного в одно приложение. Через год приложений уже пять, провайдеров моделей три, ключи лежат в местах, о которых никто не помнит, а ежемесячный счёт никто не может разобрать построчно. Стоит одному провайдеру «прилечь» на пару часов — и вместе с ним замолкает бот поддержки.
LLM-шлюз решает эту проблему на уровне архитектуры. Это единый слой между вашими приложениями и всеми моделями, которыми вы пользуетесь. Он решает, какая модель обработает какой запрос, сколько может потратить команда или клиент, что делать при сбое провайдера и что записывать в лог. При правильной настройке затраты на ИИ перестают быть сюрпризом и становятся планируемой статьёй бюджета, а смена модели — правкой конфигурации, а не переделкой системы.
Давление вполне реальное. В квартальном опросе KPMG за III квартал 2026 года 74% крупных американских компаний встроили проверку стоимости в процедуру одобрения ИИ-проектов, а у 43% уже есть бюджеты на токены (KPMG). В Германии 54% компаний, использующих ИИ, называют непредсказуемые затраты барьером (Bitkom). А Gartner ожидает, что расходы на ИИ-платформы и модели в 2026 году вырастут на 63% — бюджеты от этого становятся менее предсказуемыми, а не более (Gartner).
Что делает LLM-шлюз — и чего он не делает
Представьте API-шлюз, который понимает токены. Ваши приложения больше не обращаются напрямую к OpenAI, Anthropic, Google или собственной модели. Они вызывают один внутренний адрес — обычно совместимый с API OpenAI, чтобы существующие SDK продолжали работать, — а дальше всё берёт на себя шлюз:
- Маршрутизация. Выбирает модель для каждого запроса по типу задачи, тарифу клиента, чувствительности данных или допустимой задержке.
- Ключи и бюджеты. Выдаёт виртуальные ключи для каждого приложения, команды или клиента с лимитами трат и частоты запросов. Настоящие ключи провайдеров хранятся только внутри шлюза.
- Кэширование. Отдаёт сохранённые ответы на повторяющиеся запросы и использует кэширование промптов на стороне провайдеров для длинных статичных инструкций.
- Надёжность. Повторные попытки, тайм-ауты, переключение на другого провайдера или регион, «автоматы-предохранители» (circuit breakers).
- Наблюдаемость. Токены, стоимость, задержка, ошибки и метаданные каждого вызова с выгрузкой в ваш мониторинг.
- Политики. Маскирование персональных данных, запрет определённых моделей для определённых классов данных, ограничения на размер контекста.
Чем шлюз не является: это не фреймворк для агентов, не векторная база и не волшебная таблетка от затрат. Он даёт рычаги управления, а экономию приносят решения, которые вы с их помощью принимаете.
Есть три распространённых пути. Open-source-прокси вроде LiteLLM работают на вашей собственной инфраструктуре — это удобно компаниям, которые хотят держать логи в ЕС. Облачные шлюзы вроде Cloudflare AI Gateway или Portkey запускаются быстрее. Инструменты с упором на наблюдаемость — Helicone или Langfuse — занимаются трассировкой и аналитикой и часто работают в паре с одним из первых двух вариантов. Многие команды пишут и собственный тонкий слой: это вполне разумно, если относиться к нему как к продакшен-софту — с тестами и ответственным.
Куда утекают деньги без шлюза
В системах, которые мы проверяем, перерасход редко возникает из-за одной крупной ошибки. Его создают пять мелких утечек, которых никто не видит, потому что их никто не измеряет.
1. Одна модель на всё
На этапе прототипа «на всякий случай» в код зашивают самую сильную модель — и она там остаётся. Дальше она сортирует письма, вытаскивает номера счетов и пишет саммари в одну строку. С этими задачами лёгкая модель справляется не хуже.
2. Контекст, который растёт с каждой репликой
История диалога и найденные документы отправляются заново на каждом шаге, поэтому длинные разговоры дорожают с каждой репликой. В замерах 4 000 голосовых сессий через OpenAI Realtime API типичная стоимость составила $0,05–0,08 в минуту, но рост контекста доводил отдельные сессии до $0,146 в минуту (HackerNoon).
3. Повторы и зациклившиеся агенты
Агент, который вызвал инструмент, неверно прочитал результат и пробует снова, может сделать сотни вызовов, прежде чем кто-то это заметит. Без лимита шагов и бюджета на запрос первым сигналом тревоги становится счёт.
4. Нет атрибуции затрат
Если все запросы идут через один ключ, вы знаете, сколько потрачено, но не знаете, какая функция, какой клиент или какой эксперимент это потратил. Посчитать цену ИИ-функции или абонентского обслуживания становится невозможно.
5. Оплата бесполезной работы
Часть расходов вообще не даёт результата. В исходящих телефонных кампаниях, например, ошибки распознавания автоответчика могут съедать 15–20% бюджета (МТС Exolve). Похожие потери прячутся в дублирующихся запросах, брошенных сессиях и тестовом трафике, который бьёт в продакшен-модели.
Хорошая новость: для всего этого не нужна большая платформа. Нужна одна точка, через которую проходит и где измеряется каждый запрос.
Маршрутизация моделей — главный рычаг
Основная экономия появляется именно здесь, потому что разница в цене между классами моделей велика. По официальному прайсу OpenAI полная realtime-модель для аудио стоит $32 за миллион входных токенов и $64 за миллион выходных, а версия mini — $10 и $20, то есть примерно треть (OpenAI). В некоторых прайсах разрыв между самой лёгкой и самой мощной версией и вовсе десятикратный (тарифы GigaChat).
По нашему собственному расчёту для диалога поддержки из десяти реплик примерно с 3 000 токенов найденного контекста на реплику, модель Pro-класса обходится за разговор примерно на порядок дороже лёгкой модели. Поэтому фиксированная цена за диалог, которую продают многие чат-бот-сервисы, остаётся прибыльной только при маршрутизации.
Пять схем маршрутизации
| Схема | Как работает | Кому подходит | На что обратить внимание |
|---|---|---|---|
| Статическая по задаче | У каждого типа задач своя модель: лёгкая для классификации, сильная для рассуждений | Большинству компаний; легко проверять | Пересматривать при каждой смене моделей |
| Каскад | Сначала лёгкая модель; при низкой уверенности или проваленной проверке — эскалация на сильную | Поддержке и извлечению данных с большим объёмом | Нужен надёжный сигнал уверенности |
| По тарифу клиента | Премиальные тарифы получают более сильные модели | SaaS-продуктам с тарифной сеткой | Держать на виду стоимость каждого клиента |
| По чувствительности данных | Персональные и конфиденциальные данные — только в модели, размещённые в ЕС или на своих серверах | Европейским компаниям, регулируемым отраслям | Надёжная классификация данных |
| По допустимой задержке | Телефонии и живому чату — быстрые модели, пакетным задачам — медленные и дешёвые | Голосовым агентам, интерфейсам реального времени | Быстрым моделям часто нужны более точные промпты |
Схема «по чувствительности данных» особенно важна для русскоязычных компаний с несколькими юрисдикциями. Если у вас бизнес и в ЕС, и, скажем, в Казахстане, правила для персональных данных могут различаться, и шлюз — самое надёжное место, чтобы автоматически отправлять каждый класс данных только туда, куда его разрешено отправлять.
Маршрутизируйте по фактам, а не по надежде
Дешёвая модель, которая даёт на 5% больше неверных ответов, может обойтись дороже, чем сэкономит, — через возвраты, эскалации и потерянное доверие. Правило простое: задача переходит на более дешёвую модель только после того, как та пройдёт тот же набор evals, что и текущая. Если такого набора ещё нет, начните с него — в нашем руководстве по оценке качества ИИ показано, как собрать его за дни, а не за месяцы.
Механизмы контроля затрат, которые реально работают
Маршрутизация решает, кто выполняет работу. Следующие механизмы решают, сколько работы разрешено.
- Виртуальные ключи с бюджетами. Отдельный ключ на каждое приложение, команду и — для SaaS — на каждого клиента. Мягкий лимит с предупреждениями на 50% и 80% и жёсткий лимит на 100% с заранее определённым поведением: переход на лёгкую модель, постановка запроса в очередь или передача человеку.
- Жёсткие потолки на запрос. Максимальный входной контекст, максимум выходных токенов, максимум шагов агента. Тогда зацикливание стоит центы, а не сотни евро.
- Гигиена контекста. Сжимайте длинную историю в краткое резюме, отправляйте меньше и короче фрагменты документов, вычищайте шаблонный текст из документов до индексации. Часто это экономит больше любой скидки.
- Кэширование. Точный кэш для повторяющихся запросов — вопросов о товарах, статусных сообщений. Кэширование промптов у провайдеров для длинных системных инструкций, которые при повторном использовании тарифицируются со скидкой. Семантический кэш — повторное использование ответов на «похожие» вопросы — только для неперсонального контента: почти совпадение может оказаться неверным совпадением.
- Пакетная обработка для всего, что может подождать. Ночная обработка документов, обогащение данных и отчёты идут через пакетные интерфейсы провайдеров, которые дешевле вызовов в реальном времени.
- Стоимость результата, а не токена. Важна цена решённого обращения, обработанного счёта или записи на приём. Модель вдвое дороже, но чаще решающая задачу с первой попытки, может оказаться дешевле.
Каков счёт на практике? Отраслевые разборы цен оценивают расходы на модели у типичного агента в рабочем режиме в $50–500 в месяц (Lets-Viz). Поэтому для многих компаний главная ценность шлюза — не «экономия 80%», а предсказуемость: никаких неожиданных счетов, никаких зациклившихся агентов и надёжные цифры для ценообразования и бюджета.
Кто платит за токены?
Если систему строит и обслуживает агентство, этот вопрос нужно закрепить в договоре. На рынке три модели: токены включены в стоимость с запасом 20–30%, токены перевыставляются с наценкой 15–25% или клиент платит провайдеру напрямую. Некоторые агентства добавляют ещё 15–20% надбавки за риск дрейфа моделей и скачков цен на токены (Digital Applied). Мы предпочитаем третью модель — ваши собственные аккаунты у провайдеров, наша конфигурация шлюза, полная прозрачность, — потому что она заодно сохраняет вашу независимость. Подробнее — в статье о том, как владеть своим ИИ и не попасть в зависимость от подрядчика.
Наблюдаемость: что логировать при каждом вызове
Маржа в ИИ тоньше, чем в классическом софте: по данным Bessemer, валовая маржа ИИ-компаний составляет 50–60% против 80–90% у SaaS (SaaS Mag). Инференс — это настоящая себестоимость, и к нему нужна та же дисциплина, что и к облачным расходам.
Разумный минимум для каждого запроса:
| Поле | Зачем оно нужно |
|---|---|
| Время, среда, приложение, функция | Атрибуция затрат и отладка |
| ID клиента или арендатора (псевдонимизированный), роль пользователя | Стоимость по клиентам, аудит доступа |
| Провайдер, модель и точная версия модели | Объясняет изменения поведения после обновлений |
| Версия шаблона промпта, настройки поиска | Связывает падение качества с конкретными изменениями |
| Входные, выходные и кэшированные токены; стоимость | Бюджеты, ценообразование, эффективность кэша |
| Время до первого токена, общая задержка | Пользовательский опыт, смена реплик в телефонном разговоре |
| Статус, тип ошибки, повторы, использованная резервная модель | Надёжность и сравнение провайдеров |
| Вызовы инструментов с аргументами и результатами | Отладка агентов и проверки безопасности |
| Оценка evals или отзыв пользователя, если есть | Динамика качества во времени |
Для агентов логируйте трассы, а не только отдельные вызовы: один запрос пользователя может породить десять вызовов модели и пять вызовов инструментов, и их нужно видеть как одно дерево. Langfuse или Helicone для трассировки, Sentry для ошибок и PostHog для продуктовой аналитики — распространённая связка в продакшен-пакетах ИИ (HouseofMVPs).
Задержке нужен отдельный дашборд. В отчёте LangChain State of Agent Engineering 2026 качество — барьер номер один на пути в продакшен (32%), а задержка — номер два (около 20%) (опрос LangChain). В телефонии планка жёсткая: люди делают между репликами паузу около 200 миллисекунд (PNAS), а конвейеры «распознавание речи — LLM — синтез речи» сейчас укладываются примерно в секунду (DevToolLab). Смотрите на 95-й перцентиль, а не на среднее.
Логи — это персональные данные
В промптах и ответах часто встречаются имена, адреса электронной почты, детали заказов или сведения о здоровье. По GDPR это значит: определённая цель, срок хранения, разграничение доступа и, в идеале, маскирование перед сохранением. Храните логи в ЕС, если ваши пользователи в ЕС, указывайте каждого провайдера моделей как субобработчика в договоре об обработке данных (DPA) и заранее решите, кто вправе читать исходные диалоги, — а потом зафиксируйте всё это в реестре операций обработки. Если вы работаете и за пределами ЕС, проверьте местные требования к хранению персональных данных: в ряде стран они строже, и это прямо влияет на то, где должен стоять шлюз и его логи.
Надёжность: резервные модели, тайм-ауты и мягкая деградация
У провайдеров бывают сбои, лимиты частоты и всплески задержки. Шлюз превращает их из инцидентов в незаметные события:
- Тайм-ауты под каждый сценарий. Реплика в телефонном разговоре не может ждать десять секунд, ночная пакетная задача — может.
- Повторы с нарастающей паузой для временных ошибок — но никогда бесконечные.
- Цепочка резервных вариантов. Та же модель в другом регионе или у другого провайдера, затем сопоставимая модель второго вендора и, наконец, мягкая деградация: вежливая передача человеку или обещание перезвонить.
- Предохранитель. Если провайдер падает раз за разом, трафик на несколько минут перестают туда отправлять, вместо того чтобы копить тайм-ауты.
Есть подвох: разные модели по-разному реагируют на один и тот же промпт. Резервная модель, которую никто не тестировал, — скрытый риск для качества. Прогоняйте свои evals на каждой модели цепочки и при необходимости держите отдельные версии промптов под каждую модель.
Построить, купить или развернуть у себя?
| Вариант | Кому подходит | Плюсы | Минусы |
|---|---|---|---|
| Прямые вызовы SDK без шлюза | Один прототип, одна модель | Ничего не нужно настраивать | Нет бюджетов и атрибуции, сложно сменить модель |
| Open-source-прокси на своём сервере (например, LiteLLM) | Компаниям в ЕС, контроль над данными, много моделей | Логи остаются у вас; нет платы за запрос; гибкость | Эксплуатация, обновления и масштабирование на вас |
| Облачный шлюз (например, Cloudflare AI Gateway, Portkey) | Быстрый старт, небольшие команды | Быстрая настройка, готовые дашборды | Данные проходят через ещё одного вендора; проверьте DPA и регион |
| Собственный тонкий слой | Особая логика маршрутизации или комплаенса | Ровно то, что нужно | Его легко недооценить; нужны тесты и ответственный |
Для большинства средних компаний в Европе мы приходим к open-source-прокси на собственном сервере в европейском дата-центре, инструменту трассировки рядом и правилам маршрутизации, которые хранятся в Git. Если какие-то данные вообще не должны покидать вашу сеть, тот же шлюз отправит такие запросы в модель на ваших серверах — подробнее в руководстве по частным и on-premise LLM.
План внедрения в шесть шагов
- Инвентаризация. Найдите все места, откуда вызываются модели: приложения, скрипты, автоматизации в n8n или Make, сторонние сервисы. Запишите провайдера, модель, владельца ключа и расходы за прошлый месяц.
- Единая точка входа. Переведите все вызовы на шлюз, смените старые ключи и уберите ключи провайдеров из кода и сервисов автоматизации.
- Метки на всём. Каждый запрос несёт приложение, функцию, клиента и среду. Без меток шаги 4–6 невозможны.
- Две недели базового замера. Затраты по функциям, стоимость результата, задержка по 95-му перцентилю, доля ошибок и переключений на резерв. Это ваша картина «до».
- Оптимизация через evals. Переносите задачи на лёгкие модели только там, где evals подтверждают равное качество; добавьте кэш и лимиты контекста; настройте бюджеты и оповещения.
- Эксплуатация. Ежемесячный отчёт о затратах и качестве, ежеквартальный пересмотр моделей, оповещения конкретному ответственному. Это основа сопровождения ИИ-систем после запуска.
Для небольшой или средней компании сфокусированная команда обычно проходит шаги 1–4 за одну-две недели. На шаге 5 появляется экономия, на шаге 6 она сохраняется.
Типичные ошибки
- Шлюз становится единой точкой отказа. Разворачивайте его с резервированием и мониторьте как любой другой критичный сервис.
- Логировать всё и навсегда. Полные промпты с персональными данными без политики хранения — готовая проблема с GDPR.
- Перевод на дешёвую модель без evals. Экономия в счёте, потери в доверии клиентов.
- Семантический кэш для персональных ответов. Статус заказа одного клиента, показанный другому, — это утечка данных.
- Бюджеты без ответственных. Оповещение, которое падает в общий почтовый ящик, — не оповещение.
- Забытые эмбеддинги, речь и изображения. Эти вызовы часто живут вне «LLM-бюджета» и тихо растут.
- Зависимость с чёрного хода. Храните правила маршрутизации и конфигурацию в собственном репозитории, чтобы сменить сам шлюз было так же просто, как модель.
Вывод
LLM-шлюз — не самая эффектная часть системы, но именно он отличает ИИ-эксперимент от ИИ, который эксплуатируется как полноценная система. Он даёт одно место, где вы выбираете модели, ограничиваете траты, переживаете сбои провайдеров и доказываете, сколько стоит каждая функция. Начните с инвентаризации и меток, две недели измеряйте, а затем пусть evals, а не интуиция, решают, где дешёвые модели справляются не хуже.
Если хотите, чтобы кто-то со стороны посмотрел на вашу текущую схему, наша команда Systems проектирует и сопровождает шлюзы, бюджеты и наблюдаемость для компаний в ЕС и США. Запишитесь на бесплатный 15-минутный аудит — покажем, куда уходят ваши токены и что исправить в первую очередь.