Битва машин: матч чатботов обещает захватывающие эмоции

Код продаж 30 янв. 2024 г.

Новый онлайн-инструмент оценивает чатботов, сталкивая их друг с другом в состязаниях "голова к голове".

Что нового

Chatbot Arena позволяет пользователям одновременно запрашивать две большие языковые модели и определять ту, которая дает лучшие ответы. В результате получается таблица лидеров, в которую входят как модели с открытым исходным кодом, так и собственные модели.

Как это работает

Когда пользователь вводит подсказку, две отдельные модели генерируют свои ответы бок о бок. Пользователь может выбрать победителя, объявить ничью, решить, что оба ответа были плохими, или продолжить оценку, введя новую подсказку.

Chatbot Arena предлагает два режима: битва и бок о бок. В режиме битвы участвуют как открытые, так и запатентованные модели, но идентифицируются они только после выбора победителя. Режим "Бок о бок" позволяет пользователям выбирать из списка 16 моделей с открытым исходным кодом.
Система объединяет эти соревнования и ранжирует модели в соответствии с метрикой, известной как Elo, которая оценивает конкурентов относительно друг друга. У Elo нет максимального или минимального балла. Модель, набравшая на 100 очков больше, чем соперник, выиграет 64 процента матчей с ним, а модель, набравшая на 200 очков больше, выиграет 76 процентов матчей.
Кто впереди? По состоянию на 19 июля 2023 года GPT-4 от OpenAI возглавляет таблицу лидеров. Две версии Claude от Anthropic занимают второе и третье места. GPT-3.5-turbo занимает четвертое место, за ним следуют две версии Vicuna (LLaMA, отлаженная на общих разговорах ChatGPT).

Почему это важно

Обычные языковые бенчмарки оценивают производительность моделей количественно. Chatbot Arena дает качественную оценку, реализованную таким образом, что можно ранжировать любое количество моделей относительно друг друга.

Мы думаем

В боксерском поединке между GPT-4 и старинным ELIZA 1960-х годов мы бы поставили на ELIZA. В конце концов, в ней использовались перфокарты.

Источник: https://www.deeplearning.ai/the-batch/issue-206/

Откройте силу нейросетей для создания неповторимых объявлений!
Перейдите по ссылке, и выбрав Генератора объявлений, скажите или напишите название своего продукта или услуги.
Удивите конкурентов и привлеките внимание как никогда ранее!

Теги

🚀 БЕЗ РЕГИСТРАЦИИ: Перейдите в Телеграм и погрузитесь в мир AI без лишних формальностей. Экономьте свое время на то, что действительно важно для вас!

📍 ДОСТУП В РОССИИ: Наш сервис работает в России без ограничений. Наслаждайтесь надежностью и комфортом "Белоснежка | ChatGPT для всех" уже сегодня.

🎙 УДОБНЫЙ ГОЛОСОВОЙ ВВОД: Оперативность и удобство — вот наши приоритеты. Говорите, и Белоснежка выполнит всё за вас!

👥 СПЕЦИАЛЬНО НАСТРОЕННЫЕ ПОМОЩНИКИ: Наши AI-помощники готовы к работе! Они помогут вам сосредоточиться и достичь новых высот в любой задаче.

🤖 ПРОДВИНУТЫЙ AI: Используйте нашу индивидуально настроенную платформу ChatGPT и откройте для себя всё многообразие искусственного интеллекта!

Не упустите шанс — присоединяйтесь к "Белоснежка | ChatGPT для всех" прямо сейчас и откройте для себя новые горизонты возможностей!

Все представленные на сайте материалы предназначены исключительно для образовательных целей и не предназначены для медицинских консультаций, диагностики или лечения. Администрация сайта, редакторы и авторы статей не несут ответственности за любые последствия и убытки, которые могут возникнуть при использовании материалов сайта.