Контекстное окно LLM: когда RAG устареет и что строить в 2026

Андрей Отинов -

Сцена: небольшая команда стартапа собирается за столом, на экране ноутбука – демонстрация нового крупного языкового модели. Руководитель спрашивает, стоит ли сейчас вкладываться в «внешнюю память» и сложные пайплайны, чтобы обойти ограниченный контекст модели.

Источник: Интервью Дарио Амодеи (Anthropic) — оригинал

Факт: гендиректор Anthropic Дарио Амодеи в интервью отметил, что увеличить контекстное окно модели до 100 млн токенов — это уже решённая инженерная задача; препятствием остаётся лишь вычислительная мощность при обработке запросов — требуется больше дата‑центров, чипов и электроэнергии【preserved_chunks[1]】.

Последствие: если в ближайшие 2‑3 года мощность дата‑центров вырастет, многие текущие решения‑надстройки (внешняя память, сложные цепочки) потеряют смысл, а компании смогут экономить на инфраструктуре и ускорять вывод продукта.

Что проверить: стоит ли сейчас инвестировать в такие надстройки или лучше отложить крупные бюджеты и наблюдать за ростом вычислительных ресурсов?

Как увеличение контекстного окна меняет рабочие процессы

Большой контекст позволяет модели «видеть» гораздо больше текста за один запрос. На практике это значит:

  • Меньше фрагментации данных. Вместо разбивки больших документов на куски и последующего их склеивания, модель может обработать их целиком.
  • Уменьшение количества запросов. Один запрос заменяет десятки‑сотен мелких, что сокращает расходы на оплату API и ускоряет отклик.
  • Снижение необходимости в внешних хранилищах. Традиционные решения‑надстройки (векторные базы, внешняя память) использовались именно из‑за ограниченного окна; их роль снижается.

Если через 2‑3 года модели смогут стабильно поддерживать окна в 10‑30 млн токенов, большинство текущих «трудных» задач (длинные юридические документы, большие коды, комплексные отчёты) можно будет решать напрямую в модели без дополнительного программного слоя.

Почему сейчас это важно

  1. Дефицит вычислительных мощностей уже наблюдается. По отраслевому отчёту, нехватка CPU, GPU и памяти, а также ограниченная электроэнергия сдерживают рост дата‑центров【public_source_links[3]】.
  2. Ожидается рост инвестиций в инфраструктуру. Компании‑операторы уже планируют построить новые мощности, а производители чипов объявляют о новых сериях, ориентированных на ИИ‑нагрузки.
  3. Технологический прогресс в самих моделях ускоряется. Anthropic публикует планы по масштабированию контекстных окон, а академические исследования подтверждают, что проблема неравномерного внимания уже решена【public_source_links[2]】.

Эти сигналы указывают, что барьер «мощности» может исчезнуть уже в ближайшем трёх‑летнем горизонте, а значит, инвестиции в обходные решения могут стать избыточными.

Как превратить прогноз в проверяемый процесс

  1. Определите текущие задачи, требующие внешней памяти. Составьте список процессов, где вы сейчас разбиваете документы или храните промежуточные результаты в сторонних базах.
  2. Оцените стоимость текущей инфраструктуры. Учтите лицензии, серверы, разработку пайплайнов и операционные расходы.
  3. Сравните с прогнозируемыми затратами после расширения окна. Возьмите примерные цены на вычислительные ресурсы в 2027 году (по публичным тарифам облаков) и посчитайте, сколько запросов можно будет выполнить в одном большом окне.
  4. Установите критерий «порог экономии». Например, если экономия > 30 % от текущих расходов при условии, что окно ≥ 10 млн токенов, откладывайте инвестицию в надстройку.
  5. Запланируйте мониторинг рынка. Подпишитесь на новости о расширении дата‑центров и новых чипах, проверяйте обновления от Anthropic и конкурентов каждые 3 мес.

Эти шаги позволяют превратить долгосрочный прогноз в конкретный набор измеримых действий, которые можно выполнить уже сейчас.

Ограничения и риски масштабирования

Что может ограничить рост Как проявляется Как снизить риск
Дефицит чипов и электроэнергии Замедление строительства новых дата‑центров, рост цен на вычисления Диверсифицировать поставщиков облака, рассмотреть локальные серверы с резервным питанием
Неравномерное распределение внимания в очень длинных окнах (теоретическая) Потеря качества генерации в середине текста Проводить тесты на реальных данных, использовать модели с подтверждённым равномерным вниманием (см. Anthropic blog)
Регулятивные ограничения на импорт оборудования Задержки в обновлении инфраструктуры в России Планировать локальные закупки, использовать отечественные ускорители, следить за санкционными новостями
Ожидания инвесторов Давление на быстрый вывод продукта, даже если инфраструктура ещё не готова Прозрачно коммуницировать дорожную карту, показывать расчёт экономии при разных сценариях

Важно помнить, что даже при росте мощностей модели могут сохранять ограничения по latency (время отклика) и стоимости запросов, особенно в условиях ограниченного доступа к зарубежным облакам.

Что сделать уже на этой неделе

  1. Соберите список текущих «надстроек». Выделите 3‑5 процессов, где вы используете внешнюю память или разбиваете документы.
  2. Подготовьте простую таблицу расходов. Включите лицензии, серверы, часы разработки и стоимость запросов.
  3. Проверьте новости о новых дата‑центрах. Откройте официальные страницы крупных провайдеров (Yandex Cloud, СберКлауд) и найдите планы расширения до 2027 года.
  4. Запланируйте короткий пилот: возьмите один из процессов и протестируйте модель с текущим максимальным окном (например, 8 к токенов) против будущим сценарием «модель с 20 млн токенов» (симуляция через разбивку). Сравните точность и затраты.
  5. Сформулируйте критерий «отложить инвестицию». Если экономия от пилота превышает 30 % и прогнозируемый рост мощностей выглядит надёжным, отложите крупные бюджеты на инфраструктуру до 2027 года.

Эти действия помогут принять обоснованное решение, не тратя ресурсы на решения, которые могут стать избыточными уже через пару лет.

Источники

Темы журнала

Что почитать дальше