Anthropic исследование Claude Code: 4% разницы — риск для production

В конце июня 2026 года Anthropic опубликовала результаты масштабного исследования: компания проанализировала около 400 000 реальных сессий Claude Code за полгода — с октября 2025 по апрель 2026 года, в которых участвовало примерно 235 000 человек. Главный вывод, который компания сделала из этих данных, звучит провокационно: успех работы с AI-агентами определяет не умение писать код, а понимание предметной области. У не-программистов подтверждённый успех составил 26% против 30% у разработчиков — разница всего в 4 процентных пункта. Для бизнеса это означает, что бухгалтер, разбирающийся в правилах сверки, может объяснить агенту задачу не хуже программиста. Но прежде чем перестраивать команды, стоит разобраться, что именно измеряло исследование и где его выводы расходятся с реальностью production-разработки.

Что показали 400 000 сессий: ключевые цифры исследования

Anthropic разделила пользователей не по должностям, а по тому, как человек ведёт диалог с агентом: насколько точно ставит задачу, что просит проверить, как исправляет ошибки. Разница между новичком и экспертом оказалась драматической.

Уровень Подтверждённый успех Вытащил зависшую сессию
Новичок 15% 4%
Эксперт ~30% 15%

Эксперт запускает в 2,4 раза больше действий агента на одну инструкцию — 12 против 5 — и получает в ответ примерно 3200 слов против 600 у новичка. Когда агент заходит в тупик, новичок бросает сессию в 19% случаев, эксперт — в 5–7%. Эксперт чинит, новичок сдаётся.

Второй важный слой — разделение труда. Человек принимает примерно 70% решений «что делать», агент — около 80% решений «как делать». Claude Code не стал автопилотом: стратегию задаёт человек, реализацию отдаёт модели. Это значит, что качество результата напрямую зависит от того, насколько точно сформулирована задача.

Третий вывод, который Anthropic вынесла на первый план: профессия почти не влияет на результат. Все десять крупнейших профессиональных групп уложились в коридор 7 процентных пунктов от инженеров, а менеджмент инженеров даже слегка обогнал разработчиков.

Почему выводы Anthropic стоит читать с осторожностью

Автор разбора на Habr, чья статья легла в основу этого материала, указывает на важное ограничение: Anthropic — производитель Claude, и их интерес понятен. Вывод «покупайте, у вас всё получится, даже если вы не разработчик» работает на расширение аудитории продукта. Методология исследования приличная и проверяемая, но интерпретация результатов требует корректировки.

Главная претензия: Anthropic измеряет краткосрочный результат. Эксперт-одиночка соберёт работающий прототип быстрее инженера — но не покроет тестами, не заложит масштабирование и безопасность. Продукт развалится при первой нагрузке. Исследование фиксирует успех на уровне «задача выполнена», но не оценивает, будет ли это решение работать в production, сколько будет стоить поддержка и что произойдёт при росте нагрузки.

Вторая проблема: исследование не различает «написать скрипт для сверки отчётов» и «разработать микросервисную архитектуру». Для первой задачи достаточно предметной экспертизы, для второй — нет. Anthropic объединила все типы задач в одну выборку, что даёт искажённую картину.

Как выглядит рабочая связка: эксперт + инженер + агент

Практический вывод из исследования не в том, что разработчики больше не нужны, а в том, что меняется структура команды. Рабочая связка, которую подтверждают данные, выглядит так: эксперт предметной области ставит задачу, агент пишет код, инженер собирает обвязку вокруг агента — тесты, безопасность, масштабирование, интеграцию.

Эксперт предметной области — это человек, который понимает, какой результат нужен. Он говорит агенту «что», а не «как». Инженер — это человек, который знает, как обернуть результат агента в production-код: написать тесты, настроить CI/CD, обеспечить безопасность, заложить масштабирование.

Обратная крайность — «вы программисты, вам виднее» в сочетании с комплексом Бога — ломает не меньше. Если инженер не понимает предметную область, он не сможет проверить, правильно ли агент решил задачу. Если эксперт не привлекает инженера, production-код развалится.

Практический чек-лист: как внедрить AI-агента в рабочий процесс

Прежде чем давать команде доступ к Claude Code или аналогичному инструменту, проверьте четыре вещи.

Чек-лист для руководителя:

  1. Определите тип задачи. Для прототипа, скрипта или разового отчёта достаточно эксперта предметной области. Для production-кода нужен инженер.
  2. Назначьте роли. Кто ставит задачу (эксперт), кто проверяет код (инженер), кто принимает результат (владелец продукта).
  3. Проверьте, умеет ли эксперт формулировать «что». Если человек не может описать задачу без привязки к конкретным инструментам, он не готов работать с агентом.
  4. Заложите бюджет на доработку. Прототип, собранный агентом, потребует переписывания для production. Это не ошибка, а нормальный этап.

Что может пойти не так: типовые ошибки и риски

Первая ошибка — жёсткие рамки. Автор разбора на Habr предупреждает: делегируйте агенту «что» и оставляйте ему свободу в «как». Особенно в дизайне. Зажмёте в жёсткие рамки — получите галлюцинации. Агент не человек, он не может сказать «это противоречие в требованиях». Он просто выполнит инструкцию буквально, даже если результат бессмысленный.

Вторая ошибка — путать прототип с продуктом. Эксперт-одиночка соберёт работающий прототип быстрее инженера. Но этот прототип не пройдёт нагрузочное тестирование, не будет безопасным и не масштабируется. Если вы запускаете такой прототип в production, вы получаете технический долг, который придётся выплачивать с процентами.

Третья ошибка — игнорировать контекст. Исследование Anthropic показывает, что эксперт в 2,4 раза эффективнее новичка. Но экспертность нарабатывается практикой. Если вы даёте агенту задачу в области, которую не понимаете, вы получаете результат новичка — 15% успеха.

Что делать на этой неделе

Возьмите одну задачу из текущего спринта, которая не требует production-качества: скрипт для обработки данных, прототип отчёта, генерацию документации. Дайте её эксперту предметной области без инженера. Замерьте время и качество. Потом дайте ту же задачу инженеру без эксперта. Сравните результаты.

Если разница в качестве меньше, чем вы ожидали, — исследование Anthropic работает для вашего случая. Если эксперт провалился на технических деталях — вам нужна связка, а не замена.

Второй шаг: научите команду формулировать «что» без «как». Это навык, который тренируется. Попросите каждого участника написать задачу для агента в три предложения: что нужно получить, какие данные есть, какой результат считается успешным. Проверьте, сможет ли другой человек выполнить эту задачу без уточнений.

Источники

Генерация изображения

  • Модель: flux-schnell
  • Провайдер: replicate