MirrorCode: бенчмарк автономных ИИ-агентов, цена и сроки в 2026

Андрей Отинов -

Что реально даёт репозиторий MirrorCode команде

Epoch AI и METR опубликовали открытый набор MirrorCode — набор задач, в которых ИИ‑агенту нужно «с нуля» написать полнофункциональную программу без доступа к исходному коду и без подключения к интернету.

Источник: Epoch AI - MirrorCode

  • Типы проектов – утилиты для Linux, небольшие базы данных, графические движки, интерпретаторы. Каждый проект содержит от нескольких тысяч до более десяти тысяч строк кода и требует месяцев работы квалифицированного разработчика.
  • Методика измерения – вместо «сколько задач решено за минуту» оценивается, как долго агент может работать без перерыва, поддерживая стабильность и прогресс.
  • Публичные результаты – модель Opus 4.7 переписала утилиту gotree (≈ 16 000 строк) за 14 часов и $251. По оценке Epoch, тому же человеку потребовалось бы от 17 недель. Предыдущие модели прошли ≈ 70 % задач, а самая дорогая проба заняла 19 дней непрерывной работы и стоила $2 600.

Эти цифры показывают, что современный ИИ‑агент уже способен заменить длительные части разработки, но только при условии, что бизнес готов покрыть затраты на длительные вычислительные прогоны и управлять рисками автономного кода.

Как MirrorCode вписывается в обычный процесс разработки с ИИ

Что меняется Почему важно бизнесу Что проверить
Сокращение человеческих‑часов Автономный агент может выполнить задачи, растянутые на недели, за часы. Доступность вычислительных ресурсов (GPU‑кластеры, облако) и бюджет.
Прозрачность затрат Оценка стоимости прогона $2600 за 19 дней позволяет планировать бюджет. Точность оценок — сравнить цены разных провайдеров и учесть налог/РБ.
Отсутствие доступа к интернету Программный код генерируется в изолированной среде – меньше утечек данных. Политика безопасности: соответствует ли изоляция внутренним требованиям?
Управление качеством кода ИИ‑агент не гарантирует стиль или тестовое покрытие, как человек‑разработчик. Наличие автоматических линтеров, статического анализа и CI‑pipeline.
Время отклика продукта Если агент успешно завершает задачу, продукт выходит на рынок быстрее. Согласовать сроки: длительность прогона vs. рыночные сроки выпуска.

Таким образом, MirrorCode превращается в операционный индикатор: если модель проходит тест, её можно использовать в сценариях, где требуются длительные разработки без постоянного контроля человека (например, автоматическое прототипирование новых подсистем).

Как протестировать модель без превращения бенчмарка в «игрушку»

  1. Выбор репозитория – скачайте MirrorCode с GitHub (https://github.com/epoch-research/mirrorcode) и изучите набор задач.
  2. Создание изолированного окружения – настройте виртуальную машину без доступа к сети (Docker + --network=none). Это гарантирует, что модель действительно работает без внешних подсказок.
  3. Определите базовую метрику – время до первого коммита, общее время работы, потреблённый бюджет. Записывайте эти параметры в простой CSV‑файл.
  4. Запуск контрольного прогона – используйте модель, уже протестированную Epoch (например, Opus 4.7). Сравните полученные цифры с опубликованными (14 ч / $251).
  5. Анализ кода – после завершения прогонки проверьте, что полученный репозиторий собирается, проходит базовые unit‑тесты и не содержит очевидных уязвимостей.
  6. Отчёт о результате – оформите таблицу с «Факт» / «Ожидание» / «Отклонение». Если отклонения в пределах ±20 % и код компилируется, модель считается готовой к пилотному использованию.

Эти шаги позволяют оценить способности текущей модели без затрат на масштабный запуск всех задач MirrorCode.

Какие риски следует проверять перед внедрением

Риск Возможные последствия Как проверить / уменьшить риск
Недостаточная репродуцируемость Один прогон показывает хорошие результаты, а следующий – провал. Запустить минимум 3 повторных прогона разных задач.
Перерасход бюджета Стоимость $2600 за один запуск может быстро выйти за пределы. Сравнить цены на GPU‑инстансы в разных облаках, рассчитать CAPEX.
Отсутствие поддержки после релиза Модель может стать «застрявшей» без обновлений. Проверить наличие активного комьюнити / roadmap у разработчиков.
Не соответствие требованиям регулятора Автономный код может генерировать уязвимости или нарушать лицензии. Провести статический анализ кода, проверить лицензии используемых библиотек.
Сложность интеграции в существующий CI Потребуется менять пайплайны, что увеличит время внедрения. Протестировать интеграцию на небольшом «песочном» проекте.
Отсутствие доступа к интернету Некоторые задачи требуют внешних ресурсов (например, пакеты). Убедиться, что все зависимости заранее закешированы в образе.

Осознанный подход к этим рискам поможет избежать неприятных сюрпризов при масштабировании ИИ‑агентов.

Какое решение принимать уже на этой неделе

Чек‑лист для руководителя проекта (5‑минутный запуск)

  • [ ] Определить одну «длительную» задачу в текущем портфеле (например, построение прототипа аналитической подсистемы).
  • [ ] Проверить, есть ли у компании доступ к GPU‑ресурсам, достаточным для прогона ≈ $3000 в месяц.
  • [ ] Скачайте репозиторий MirrorCode и запустите контрольный пример Opus 4.7 на тестовой машине.
  • [ ] Сравните полученное время и стоимость с заявленными в публикации (14 ч / $251).
  • [ ] Если отклонения < 20 %, подготовьте запрос на бюджет для пилотного прогона выбранной задачи (указать ожидаемую длительность и стоимость).

Выполнив эти простые шаги, вы сможете быстро понять, стоит ли инвестировать в автономные ИИ‑агенты для вашего проекта, и какие ограничения следует учитывать заранее.

Источники

Что почитать дальше