Почему AI-агенты дают неверные ответы: новый тест DiscoBench и как исправить ошибки уточнения

Андрей Отинов -

Представьте: менеджер просит AI-помощника найти «лучший смартфон для работы». Помощник уходит в глубину, перебирает десятки страниц, возвращает список моделей — и ни одна не подходит. Проблема не в том, что он плохо ищет. Он не спросил, что значит «лучший»: камера, батарея, цена или совместимость с корпоративным софтом.

Источник: the-decoder.com

Исследователи из Tencent Hunyuan и Университета Цинхуа выяснили: AI-агенты поиска редко ошибаются из-за самого поиска. Их главная слабость — неспособность заметить, что запрос неоднозначен, и задать уточняющий вопрос. Результаты нового теста DiscoBench показывают: даже лучшие модели правильно решают задачу от начала до конца менее чем в половине случаев. А повторные поиски часто дают результат хуже, чем простое угадывание.

Для бизнеса это означает, что внедрение AI-агента для сбора информации, анализа рынка или обработки запросов клиентов может давать стабильно неверные ответы — и причина будет не в объёме данных или скорости поиска, а в том, что программа не умеет останавливаться и уточнять.

Что именно показал тест DiscoBench

Исследователи собрали 211 задач с 463 точками неоднозначности в 11 областях: от видеоигр и спорта до науки и политики. Каждая задача разбита на контрольные точки. На каждой точке агент может сделать одно из трёх действий: продолжить поиск, задать уточняющий вопрос пользователю или дать ответ.

Тест проверяет, может ли программа самостоятельно заметить, что запрос допускает разные толкования, и задать целенаправленный вопрос, чтобы сузить область поиска. Если агент задаёт полезный вопрос, симулятор пользователя выдаёт подсказку, которая помогает найти верный ответ.

Предыдущие тесты вроде GAIA или BrowseComp исходили из того, что запрос пользователя полный и однозначный. В реальности запросы часто расплывчаты, неполны или содержат ошибку. В длинной цепочке рассуждений каждая неразрешённая неоднозначность накапливается и уводит агента в сторону.

Четыре типа неоднозначности, которые ломают поиск

Исследователи выделили четыре ситуации, когда AI-агент должен остановиться и уточнить, а не продолжать поиск:

  1. Описание подходит нескольким объектам. Например, «компания, выпустившая первый смартфон» — можно понять и как Apple, и как IBM (Simon Personal Communicator), и как HTC.
  2. Запрос относится к разным периодам или версиям. «Последний альбом группы» — какой именно считается последним, если группа распалась и воссоединилась?
  3. Допустимы разные критерии оценки. «Лучший фильм года» — по сборам, по оценкам критиков или по зрительскому рейтингу?
  4. Запрос содержит фактическую ошибку. Пользователь может быть уверен в неверном факте, и агент, не перепроверив, будет искать в неверном направлении.

В тесте DiscoBench большинство запросов составлены на китайском языке, чтобы отразить реальные паттерны поиска в китайском сегменте сети. Но сами типы неоднозначности универсальны для любого языка и рынка.

Даже лучшие модели ошибаются чаще, чем угадывают

Команда протестировала одиннадцать моделей, выпущенных за последние полгода, включая Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, DeepSeek V4 Pro и другие. Без явной подсказки о возможной неоднозначности лучший результат показала Doubao Seed 2.0 Pro — 43,1% полностью правильных ответов. Gemini 3.1 Pro — 40,8%, Claude Opus 4.7 — 39,8%. Более слабые модели, такие как MiniMax M2.7 и Qwen3.6 Max, справились лишь с 16,1% и 12,3% задач соответственно.

Важный вывод: больше поисковых запросов не ведёт к большей точности. Claude Opus 4.7 ищет часто, но всё равно уступает моделям, которые реже обращаются к поиску, но лучше задают уточняющие вопросы.

Ещё один показатель: разрыв между точностью на отдельных шагах и итоговым результатом. Claude Opus 4.7 правильно решает 57% контрольных точек по отдельности, но доходит до верного финального ответа только в 39,8% случаев. Отдельные шаги работают хорошо, но одна неразрешённая неоднозначность разрушает всю цепочку.

Простое предупреждение в инструкции не помогает

Исследователи проверили, что произойдёт, если в системной инструкции явно написать агенту: «следи за неоднозначностью и задавай уточняющий вопрос, если сомневаешься». Оказалось, что такое предупреждение почти не улучшает результат. Модели продолжают угадывать, а не уточнять.

Это означает, что проблема глубже, чем настройка промпта. Агенту не хватает не инструкции, а встроенного механизма распознавания неоднозначности и принятия решения: когда остановиться и спросить, а когда продолжать поиск.

Как проверить, справляется ли ваш AI-агент с неоднозначностью

Если вы используете AI-агента для сбора информации, анализа конкурентов, обработки запросов клиентов или подготовки отчётов, вот пять вопросов, которые стоит проверить на этой неделе:

Что проверить Как проверить На что обратить внимание
Замечает ли агент неоднозначность Дайте запрос с двумя возможными трактовками Спросит ли агент уточнение или сразу начнёт искать
Умеет ли задавать целенаправленные вопросы Посмотрите формулировку уточняющего вопроса Вопрос должен сужать область, а не быть общим «уточните запрос»
Не уходит ли в бесконечный поиск Дайте заведомо неполный запрос Агент должен остановиться и спросить, а не делать десятки поисковых запросов
Падает ли точность на длинных цепочках Дайте задачу из 3-5 шагов с неоднозначностью на первом шаге Ошибка на раннем шаге не должна разрушать весь ответ
Помогает ли предупреждение в инструкции Добавьте в системный промпт указание уточнять Проверьте, изменилось ли поведение на тестовых запросах

Где скрываются риски и ограничения

Метод уточняющих вопросов увеличивает время взаимодействия с пользователем. Если агент будет спрашивать уточнение на каждом шаге, пользователь бросит задачу. Нужен баланс: спрашивать только тогда, когда неоднозначность действительно ведёт к разным результатам.

Кроме того, тест DiscoBench — это лабораторное исследование, а не производственная система. В реальном бизнесе пользователи могут не знать, как ответить на уточняющий вопрос, или давать неверные уточнения. Агент должен уметь работать и с такими ситуациями.

Также стоит учитывать, что тест проводился на китайском языке и с использованием поискового движка Tavily. Результаты на других языках и с другими поисковыми системами могут отличаться.

Что можно сделать уже на этой неделе

  1. Соберите 10-20 реальных запросов от ваших пользователей или коллег, которые приводили к неверным ответам AI-агента.
  2. Проверьте каждый запрос на неоднозначность по четырём типам из теста: несколько объектов, разные периоды, разные критерии, фактическая ошибка.
  3. Добавьте в тестовый сценарий задачу, где первый шаг содержит неоднозначность, и посмотрите, дойдёт ли агент до верного ответа.
  4. Если агент не задаёт уточняющие вопросы — это не проблема промпта, а архитектурное ограничение текущей модели. Рассмотрите смену модели или добавление внешнего модуля проверки неоднозначности.
  5. Не увеличивайте количество поисковых запросов в надежде повысить точность. Как показал тест, это не работает и только растёт стоимость.

Главный вывод из исследования Tencent Hunyuan и Университета Цинхуа простой: AI-агент, который не умеет спрашивать, будет давать неверные ответы — и чем сложнее задача, тем выше вероятность ошибки. Прежде чем внедрять такого агента в бизнес-процесс, проверьте, умеет ли он останавливаться и задавать правильные вопросы.

Источники

Темы журнала

Что почитать дальше