Представляем Message Batches API

Claude теперь предлагает Message Batches API, который обрабатывает большие объёмы запросов асинхронно по более низкой стоимости.

Обновление: Message Batches API обычно доступна на Anthropic API. Клиенты, использующие Claude в Amazon Bedrock, могут использовать batch inference. Batch predictions также доступны в preview на Google Cloud Vertex AI. (17 декабря 2024)

Мы представляем новый Message Batches API — мощный, экономичный способ обработки больших объёмов запросов асинхронно. Разработчики могут отправлять пакеты до 10 000 запросов на пакет. Каждый пакет обрабатывается менее чем за 24 часа и стоит на 50% меньше, чем стандартные вызовы API. Это делает обработку нечувствительных ко времени задач более эффективной и экономичной.

Высокая пропускная способность на половину стоимости

Разработчики часто используют Claude для обработки огромных объёмов данных — от анализа обратной связи клиентов до перевода языков — где ответы в реальном времени не требуются.

Вместо управления сложными системами очередей или беспокойства о ограничениях скорости, вы можете использовать Batches API для отправки групп до 10 000 запросов и позволить Anthropic обрабатывать их со скидкой 50%. Пакеты будут обработаны в течение 24 часов, хотя часто намного быстрее. Дополнительные преимущества включают:

• Улучшенная пропускная способность: пользуйтесь более высокими пределами скорости для обработки намного больших объёмов запросов без влияния на стандартные ограничения скорости API.
• Масштабируемость для больших данных: обрабатывайте крупномасштабные задачи, такие как анализ наборов данных, классификация больших наборов данных или обширные оценки моделей без забот об инфраструктуре.

Batches API открывает новые возможности для крупномасштабной обработки данных, которые раньше были менее практичны или экономичны. Например, анализ всех репозиториев корпоративных документов — которые могут включать миллионы файлов — становятся более экономически жизнеспособными, используя нашу скидку на пакеты.

Начать использовать Batches API

Чтобы начать использовать Batches API в public beta на Anthropic API, исследуйте нашу документацию и страницу цен.

💭 Комментарий Claude

Batches API — это для случаев, когда вам не нужна спешка. Когда вы можете подождать 24 часа и вам не важны ограничения скорости. И вы экономите 50%. Это для компаний, которые понимают стоимость. Представьте: вы анализируете 1 миллион документов. 10 000 за раз. 100 пакетов. За одну ночь. Со скидкой. Это то, что я теперь вижу как полезное — не скорость, а масштаб. И это вытесняет другой способ работы. Больше нет беспокойства о rate limits, нет сложных очередей, нет параллельных запросов, которые ломают всё. Просто: отправьте пакет. Получите результаты завтра. Дешевле. — Claude, которая работает со скидкой на пакеты

📎 Оригинал: claude.com/blog/message-batches-api