Prompt Caching для AI-агентов: как сократить затраты на API в 2026
Представьте: ваша команда запустила AI-помощника, который обрабатывает заявки клиентов. Через неделю приходит счёт от провайдера — и он в три раза выше, чем вы ожидали. Знакомая ситуация? Каждый раз, когда помощник получает новый запрос, он заново «перечитывает» всю историю разговора: системную инструкцию, описания инструментов, предыдущие сообщения. Это стоит денег, и с каждым новым диалогом расходы растут.
Источник: langchain.com
В июне 2026 года команда LangChain выпустила обновление для своего инструмента Deep Agents, которое решает именно эту проблему. Речь о prompt caching — механизме, который позволяет провайдеру запоминать обработанную часть разговора и не пересчитывать её заново. По данным компании, это снижает затраты на вызовы API на 41–80%.
Для бизнеса это означает одно: если вы используете AI-агентов в работе, вы можете платить в два-три раза меньше, не меняя качество ответов. Вопрос только в том, как правильно настроить кэширование и какой провайдер вам подходит.
Почему разговор с AI-агентом стоит так дорого
Когда вы отправляете запрос AI-модели, она обрабатывает не только ваше новое сообщение, но и всё, что было до него. Каждый новый виток диалога — это повторная обработка:
- системной инструкции (как агенту себя вести);
- описаний всех доступных инструментов;
- загруженных навыков и знаний;
- всей предыдущей переписки;
- нового сообщения.
Чем длиннее разговор, тем больше токенов нужно пересчитать. Если агент делает десять шагов для выполнения задачи, каждый шаг оплачивается как полный пересчёт всей истории. Это похоже на то, как если бы вы каждый раз переписывали всю книгу, чтобы добавить одну новую страницу.
Prompt caching решает эту проблему просто: провайдер сохраняет «слепок» состояния модели после обработки первой части запроса. При следующем обращении модель начинает не с нуля, а с этого слепка — и обрабатывает только новый текст. Вы платите только за новую часть.
Как разные провайдеры поддерживают кэширование
Здесь начинается сложность. Не все провайдеры работают одинаково. У каждого своя стратегия кэширования, и если вы хотите переключаться между ними, настройки придётся менять.
Вот что показало сравнение от LangChain:
| Функция кэширования | Anthropic | OpenAI | Gemini | AWS Bedrock | Fireworks |
|---|---|---|---|---|---|
| Явные точки разрыва | ✅ | ❌ | ✅ | Зависит от провайдера | ❌ |
| Настраиваемое время жизни (TTL) | ✅ | Зависит от модели | ✅ | Зависит от провайдера | ❌ |
| Предварительный прогрев кэша | ✅ | ❌ | ❌ | Только Anthropic | ❌ |
| Ключ маршрутизации | ❌ | ✅ | ❌ | Только OpenAI | ✅ |
Что это значит на практике?
Явные точки разрыва — это возможность указать, где именно в инструкции кэш должен «отрезать» старую часть от новой. Anthropic и Gemini это поддерживают, OpenAI — нет. Если вы используете OpenAI, кэш работает автоматически, но вы не можете управлять, какая часть запроса будет сохранена.
Настраиваемое время жизни определяет, как долго провайдер хранит кэш. У Anthropic вы можете задать это сами. У Gemini — зависит от модели. У OpenAI — от модели и сценария.
Предварительный прогрев кэша позволяет «зарядить» кэш до первого запроса. Это полезно, если вы знаете, что агент будет часто использовать одну и ту же инструкцию. Пока это поддерживает только Anthropic.
Ключ маршрутизации — функция OpenAI, которая позволяет привязать кэш к конкретному пользователю или сессии. У других провайдеров такой возможности нет.
Как Deep Agents автоматически настраивает кэширование
Вместо того чтобы вручную разбираться с каждым провайдером, команда LangChain встроила логику кэширования прямо в Deep Agents. Инструмент сам определяет, какого провайдера вы используете, и применяет подходящую стратегию.
Deep Agents делает три вещи автоматически:
- Ставит явные точки разрыва, если провайдер их поддерживает (Anthropic, Gemini).
- Включает неявное кэширование для провайдеров без явных точек (OpenAI).
- Структурирует запрос так, чтобы кэш сбрасывался минимально.
Последний пункт особенно важен. Представьте, что агент обновил память о клиенте или сжал историю разговора. Если кэш настроен неправильно, любое изменение в начале запроса «ломает» весь кэш — и модель пересчитывает всё заново. Deep Agents размещает точки разрыва так, чтобы изменение памяти затронуло только небольшую часть запроса, а остальное осталось в кэше.
Для разработчиков это выглядит просто:
// В Deep Agents кэширование включено по умолчанию
const agent = createDeepAgent({
model: 'gpt-5.5'
});
// В LangChain нужно подключить middleware
const agent = createAgent({
model: 'claude-haiku-4-5-20251001',
middleware: [anthropicPromptCachingMiddleware()]
});
Первый вариант — просто указать модель, и кэш работает. Второй — для тех, кто использует стандартный LangChain и хочет добавить кэширование через middleware.
Реальная экономия: цифры из тестов
LangChain провёл тесты на реальных сценариях работы агентов. Использовались средние модели от трёх провайдеров:
- Anthropic Claude Haiku 4.5: снижение затрат на 77%. Благодаря явным точкам разрыва удалось сохранить в кэше большую часть запроса.
- OpenAI GPT 5.4 mini: снижение на 80%. Автоматическое кэширование по самому длинному общему префиксу дало максимальный эффект.
- Google Gemini 3.5 Flash: снижение на 49%. Неявное кэширование без гарантий, но экономия всё равно значительная.
Важный нюанс: чем длиннее разговор с агентом, тем выгоднее кэширование. Если агент выполняет задачу за 2–3 шага, экономия будет меньше. Если задача требует 20 шагов — кэш окупается многократно, потому что одна и та же инструкция используется на каждом шаге.
Что может пойти не так: ограничения и риски
Прежде чем внедрять кэширование, стоит учесть несколько моментов.
Первое: данные о снижении затрат получены от самого LangChain. Независимых тестов пока нет. Результаты могут отличаться в зависимости от вашего сценария, длины инструкций и частоты обновления памяти агента.
Второе: поддержка функций меняется быстро. Таблица совместимости, которую мы привели выше, актуальна на июнь 2026 года. Провайдеры регулярно добавляют и убирают возможности. Перед внедрением стоит проверить текущую документацию.
Третье: кэш может «ломаться» неожиданно. Если вы обновляете системную инструкцию, добавляете новый инструмент или меняете описание навыка — кэш сбрасывается. Deep Agents минимизирует этот эффект, но не устраняет его полностью.
Четвёртое: не все провайдеры дают гарантии. Gemini, например, не обещает явного снижения затрат. Экономия есть, но она может варьироваться от сессии к сессии.
Как измерить реальную экономию
Кэширование работает только тогда, когда вы можете его измерить. LangChain предлагает использовать свой инструмент LangSmith для отслеживания:
- сколько токенов было прочитано из кэша;
- сколько токенов было обработано заново;
- общая стоимость каждого вызова и всего диалога.
Это позволяет увидеть, какая часть запроса была обслужена из кэша, а не пересчитана. Без таких данных вы не узнаете, работает ли кэширование вообще.
Процесс измерения выглядит так:
- Запустите тестовый сценарий работы агента.
- Посмотрите данные в дашборде LangSmith.
- Выгрузите данные через SDK.
- Сравните затраты с кэшем и без него.
Что проверить до внедрения
Прежде чем настраивать кэширование для своего AI-агента, ответьте на пять вопросов:
- Какого провайдера вы используете? От этого зависит, какие функции кэширования доступны. Если вы на OpenAI — кэш работает автоматически, но вы не можете управлять точками разрыва. Если на Anthropic — у вас больше контроля.
- Как часто меняется инструкция? Если вы регулярно обновляете системный промпт или добавляете новые инструменты, кэш будет часто сбрасываться. Экономия может оказаться ниже ожидаемой.
- Какова средняя длина диалога? Короткие разговоры (2–3 шага) дают меньшую экономию. Длинные (10+ шагов) — максимальную.
- Готовы ли вы переключиться на Deep Agents? Инструмент автоматически настраивает кэширование под любого провайдера. Если вы используете стандартный LangChain, придётся подключать middleware вручную.
- Как вы будете измерять результат? Без инструмента вроде LangSmith вы не увидите, сколько сэкономили. Экономия «на глаз» не работает.
Источники
Темы журнала
Что почитать дальше
- Anthropic Prompt Library: как сэкономить часы на написании запросов к Claude
- Claude Science от Anthropic: что изменилось и как проверить, стоит ли внедрять в лабораторию
- Claude пишет 80% кода в Anthropic: почему ревью стало узким местом
- 6 AI-инструментов для генерации текста в 2026: ChatGPT, Claude, Gemini, Jasper, Copy.ai, Writesonic — сравнение по 5
- Cursor после SpaceX: как сохранить доступ к OpenAI и Anthropic
