Тестируем Google Search на ChatGPT‌‌

Новая поисковая система Google, работающая на основе искусственного интеллекта, больше похожа на искусственное вмешательство, чем на искусственный интеллект.‌‌‌‌В прошлые выходные я обратился к поисковой системе Google за помощью, чтобы выяснить, сколько марок нужно наклеить на 8-фунтовый лист письма.  Именно такой вопрос, я надеялся, что новая функция генеративного искусственного интеллекта Google Search, которую я тестировал в течение последнего месяца, решит гораздо быстрее, чем я с помощью собственного поиска.

Общайтесь с поисковым чат-ботом SGE на Google Search Labs

‌Неуклюжее название Search Generative Experience (сокращенно SGE) позволяет Google наполнить поисковую строку разговорной функциональностью, подобной ChatGPT.

Зарегистрироваться можно на сайте Google Search Labs. По словам компании, пользователи хотят общаться с поисковым чат-ботом, который был запущен для тестирования в мае, чтобы глубже изучать темы и задавать более сложные и интуитивно понятные вопросы, чем те, которые они набирают в скучном старом окне запроса.

Ответы, создаваемые искусственным интеллектом, призваны более четко организовать информацию, чем традиционная страница результатов поиска, например, объединить информацию с нескольких сайтов.

Большинство поисковых запросов в Интернете осуществляется через Google, который занимается разработкой технологий искусственного интеллекта дольше, чем большинство компаний, поэтому вполне справедливо ожидать от него первоклассных результатов.

‌‌Такова теория. На практике же оказалось, что новая функция пока что больше мешает, чем помогает. Она медленная, неэффективная, многословная и загроможденная - скорее искусственное вмешательство, чем интеллект.

‌‌Первое, что я заметил в концепции будущего поиска Google, - это ее медлительность.‌‌

Новая генерация от Google: сравнение с ChatGPT и Bing Chat

‌‌Когда вы получаете доступ к тесту Google, поисковая строка выглядит без изменений. Но в ответ на запрос типа "Сколько марок нужно для письма весом 8 унций" появляется новый раздел, занимающий значительную часть экрана и вытесняющий обычный список ссылок. В этой области большие языковые модели Google генебрируют несколько абзацев, аналогичных тем, что можно найти в ChatGPT или Bing Chat от Microsoft. Кнопки внизу ведут в интерфейс чат-бота, где можно задать уточняющие вопросы.

‌‌Первое, на что я обратил внимание при взгляде на будущее поиска от Google, - это его медлительность. В тестах, где я одной рукой управлял секундомером, а другой отправлял запрос, генератору текста Google иногда требовалось почти шесть секунд, чтобы выдать ответ. Нормой было более трех секунд, в то время как на появление обычных результатов Google уходило не более одной секунды.

Могло быть и хуже: я проводил свои тесты после того, как в прошлом месяце Google выпустила обновление, которое, по ее утверждению, удвоило скорость работы поискового бота. Тем не менее, к тому времени, когда генеративный ИИ заканчивает работу, я все равно нередко погружаюсь в чтение обычных результатов, а значит, игнорирую его запоздалые диссертации.

Кэти Эдвардс (Cathy Edwards), вице-президент Google Search, сообщила что оптимизация скорости работы ИИ, лежащего в основе этого инструмента, продолжается.

Отказ от ответственности Google: генеративный ИИ и изменчивость информации

‌‌Можно было бы извинить медлительность этой новой формы поиска, если бы результаты были достойными. Но точность поиска оставляет желать лучшего. В ответе Google на мой вопрос о марках, состоящем из пяти предложений, содержались явные ошибки умножения и вычитания, цены на марки были устаревшими на два года, а в предлагаемых последующих вопросах не учитывались такие важные для стоимости доставки параметры, как форма, размер и пункт назначения.

Отказ от ответственности, который Google выводит в верхней части каждого ответа, сгенерированного искусственным интеллектом, звучал очень правдиво: "Генеративный искусственный интеллект является экспериментальным. Качество информации может меняться".

В том же ответе новая поисковая функция Google предложила мне приобрести марки на сумму 2,47 или 4 доллара. Переход к онлайн-калькулятору Почтовой службы США дал официальный ответ: Мне нужно 3,03 доллара, или пять марок по 66 центов каждая с переплатой в 27 центов.

По словам Эдвардса из Google, мой скромный запрос расширил границы возможностей технологии. "Это определенно на границе", - говорит она.

‌‌К сожалению, отупение тоже ничем хорошим не закончилось. На запрос о цене почтовой марки Google ответил устаревшей цифрой. Лишь уточнив, что мне нужна цена по состоянию на текущий месяц, система корректно отразила повышение стоимости на 3 цента в этом месяце.

Справедливости ради следует отметить, что ранние версии ChatGPT тоже не справились бы с этим запросом, поскольку их обучающие данные обрываются в 2021 году, но ChatGPT не позиционируется как замена поисковой системы.

Почему новый поисковый опыт Google вызывает сомнения

‌‌Новый поисковый опыт Google кажется настолько ненадежным, что мне лучше просто просмотреть стандартные результаты, чтобы провести собственное исследование.

Запрос о видеоиграх по "Звездным войнам", разработанных компанией Electronic Arts, выдал точный список, за исключением включения одной игры от конкурента EA - компании Ubisoft. По иронии судьбы, в генеративном описании игры, полученном с помощью ИИ, было указано, что она была создана компанией Ubisoft, что демонстрирует, как большие языковые модели могут противоречить сами себе.

Google принял некоторые защитные меры

Новый поисковый опыт не отображает некоторые медицинские и финансовые запросы, для которых Google установила более высокую планку точности. Кроме того, почти всегда на видном месте отображаются ссылки на соответствующие ресурсы в Интернете, чтобы помочь пользователям подтвердить результаты работы искусственного интеллекта. Результаты по таким запросам, как "Написать стихотворение", снабжены предупреждением "Вы можете увидеть неточный творческий контент". При этом система искусственного интеллекта, как правило, не пытается показаться слишком милой или взять на себя роль персонажа. "Мы не думаем, что люди хотят разговаривать с Google", - говорит Эдвардс, проводя контраст с Bing Chat, который, как известно, использует речь от первого лица или смайлики.

‌‌Временами новое видение Google в области поиска может показаться скорее шагом назад, чем прыжком в будущее. Сгенерированные ответы могут дублировать другие функции на странице результатов, такие как "featured snippets", позволяющие получить четкий и понятный ответ с веб-сайта, или "knowledge boxes", предоставляющие обзор темы в виде абзаца из Википедии. Когда генеративный ИИ с запозданием выдает такие результаты, его версия, как правило, оказывается наиболее многословной и сложной для понимания.

Что ждать от Google: изменения, которые могут удивить

‌‌В ходе нашего 30-минутного обсуждения моего опыта работы с новой функцией, Эдвардс не менее восьми раз упомянул о том, что она еще находится на ранней стадии разработки и ей еще предстоит устранить множество недостатков.

"Я не думаю, что вы услышите от меня, что мы уже сделали это", - говорит она. "Мы находимся в начале 10-летнего пути преобразований". Она также говорит, что отзывы на сегодняшний день были "очень положительными", но, возможно, самое главное - она утверждает, что то, что Google в конечном итоге запустит для всех пользователей, "может выглядеть совсем иначе, чем сейчас".

‌‌Было бы неплохо, если бы сервис был более быстрым, менее перегруженным контентом и позволял доставлять корреспонденцию без риска возврата за недоплаченную почтовую марку.

‌‌Путешествие во времени

‌‌Стремление Google остроумно отвечать на вопросы пользователей прямыми ответами началось несколько лет назад.

Ещё в 2016 году Кейд Метц написал о том, как Google собрала около 100 докторов лингвистических наук, свободно владеющих двумя десятками языков, для того чтобы сжать текст и аннотировать предложения, чтобы помочь обучить системы искусственного интеллекта понимать, как работает человеческий язык. В Google ожидали, что команда и технология будут расти в течение многих лет.

Глубокое обучение и понимание языка: алгоритмы сжатия предложений

Эти "алгоритмы сжатия предложений" только что появились в настольном воплощении поисковой системы. Они решают задачу, довольно простую для человека, но традиционно сложную для машин. Они показывают, как глубокое обучение развивает искусство понимания естественного языка - способность понимать и реагировать на естественную человеческую речь. "Для этого необходимо использовать нейронные сети - по крайней мере, это единственный способ, который мы нашли", - говорит менеджер по исследовательским продуктам Google Дэвид Орр о работе компании по сжатию предложений.

‌‌Google обучает эти нейронные сети, используя данные, собранные вручную огромной командой лингвистов, получивших степень доктора философии, которую компания называет "Пигмалион".

По сути, машины Google учатся извлекать релевантные ответы из длинных строк текста, наблюдая за тем, как это делает человек - снова и снова. Эти кропотливые усилия демонстрируют как возможности, так и ограничения глубокого обучения. Чтобы обучить подобные искусственно созданные интеллектуальные системы, необходимо большое количество данных, просеянных человеческим интеллектом. Такие данные не так-то просто и не так-то дешево получить. И потребность в них в ближайшее время не исчезнет.

‌‌Но всего год спустя исследователи Google разработали новый подход к обучению искусственного интеллекта, который сделал ненужной большую часть подготовки и позволил создать большие языковые модели, которые легли в основу таких сервисов, как ChatGPT и новый Google Search.

Оглядываясь назад, я бы не отказался от четких фрагментов ответов Google Search прошлых лет.

‌ По материалам https://www.wired.com