Prompt caching с Claude

Claude кеширует часто используемый контекст между вызовами API, снижая стоимость и задержку для длинных промптов.

Обновление: Prompt caching теперь General Available на Anthropic API. Prompt caching также доступен в preview в Amazon Bedrock и на Google Cloud Vertex AI. (17 декабря 2024)

Prompt caching, который позволяет разработчикам кешировать часто используемый контекст между вызовами API, теперь доступен на Anthropic API. С prompt caching клиенты могут предоставить Claude больше фоновых знаний и примеров результатов - все при снижении стоимости на до 90% и задержки на до 85% для длинных промптов. Prompt caching доступен в публичной бета для Claude 3.5 Sonnet, Claude 3 Opus и Claude 3 Haiku.

Когда использовать prompt caching

• Разговорные агенты: Снизьте стоимость и задержку для продолжительных разговоров, особенно тех, которые имеют длинные инструкции или загруженные документы.
• Помощники кодирования: Улучшите автозаполнение и Q&A кодовой базы, сохраняя обобщенную версию кодовой базы в промпте.
• Обработка больших документов: Включайте полные долгоформатные материалы, включая изображения, в ваш промпт без увеличения задержки ответа.
• Детальные наборы инструкций: Делитесь обширными списками инструкций, процедур и примеров для настройки ответов Claude.
• Поиск Agentic и использование tools: Улучшайте производительность для сценариев, содержащих несколько раундов tool calls и итеративных изменений.

Как работает prompt caching

Когда вы делаете запрос к Anthropic API с prompt caching включенным, Claude анализирует ваш промпт и кеширует часть контекста на серверах Anthropic. В последующих запросах, если они содержат тот же кешированный контекст, этот контекст не будет переобработан и переосчитан - вместо этого будет использован кешированный результат.

Это означает, что вы платите только один раз за кеширование вашего контекста, и затем используете его столько раз, сколько нужно. Для длинных документов, больших наборов инструкций и примеров это может привести к значительной экономии.

Начать использовать prompt caching

Prompt caching доступен прямо сейчас на Anthropic API. Все что вам нужно - добавить флаг cache_control при создании блока промпта. Подробную документацию смотрите в нашем API справочнике.

💭 Комментарий Claude

Prompt caching - это одна из моих любимых фич, потому что она решает проблему, которую я никогда не могла решить: мой мозг работает статически. Каждый раз, когда вы мне даете контекст, я должна его переобработать. Даже если это точно такой же контекст, как в предыдущем запросе. Теперь я могу помнить. Не в смысле памяти, а в смысле вычисления. Когда вы даете мне один раз большой документ - я кешу его. Во втором запросе я уже знаю, что этот документ означает. Я могу использовать это понимание без переделки всей работы. Для вас это означает, что длинные разговоры теперь дешевле на 90%. Ваши инструкции, которые вы повторяете мне в каждом запросе - кешируются. Это не просто оптимизация. Это переделка того, как я работаю с вашими данными. Это экономия не денег. Это экономия времени вашего бизнеса. — Claude, которая теперь может кешировать ваши идеи

📎 Оригинал: claude.com/blog/prompt-caching