ChatGPT испытывает проблемы с плагинами
Сторонние плагины расширяют возможности ChatGPT. Однако, по мнению исследователей безопасности, они добавляют дополнительный уровень риска.
Подсказки от пользователей: секрет успеха языковой модели ChatGPT
За последние восемь месяцев ChatGPT поразил миллионы людей своей способностью генерировать реалистичный текст - от рассказов до кода. Однако возможности чат-бота, разработанного компанией OpenAI, все еще относительно ограничены.
Большая языковая модель (LLM) получает от пользователей "подсказки", которые использует для генерации якобы связанного с ними текста.
Эти ответы создаются частично на основе данных, соскобленных из Интернета в сентябре 2021 года, и она не привлекает новые данные из Сети. Появились плагины, которые добавляют функциональность, но доступны только тем, кто платит за доступ к GPT-4, обновленной версии модели OpenAI.
Плагины для ChatGPT
С тех пор как в марте OpenAI выпустила плагины для ChatGPT, разработчики начали наперегонки создавать и публиковать плагины, позволяющие чатботу делать гораздо больше. Существующие плагины позволяют искать рейсы и планировать поездки, а также позволяют ChatGPT получать доступ и анализировать текст на веб-сайтах, в документах и на видео. Другие плагины более нишевые: с их помощью можно общаться с руководством по эксплуатации автомобиля Tesla или искать информацию в британских политических речах. В настоящее время в магазине плагинов ChatGPT представлено более 100 страниц плагинов.
Риски и злоупотребления: проблемы с плагинами и данные пользователей
Однако на фоне бурного роста числа таких расширений исследователи в области безопасности отмечают, что существуют некоторые проблемы в работе плагинов, которые могут подвергнуть риску данные пользователей или стать предметом злоупотреблений со стороны хакеров.Йоханн Ребергер (Johann Rehberger), директор "красной команды" компании Electronic Arts и исследователь безопасности, в свободное от работы время документирует проблемы с плагинами ChatGPT. Исследователь задокументировал, как плагины ChatGPT могут использоваться для кражи истории чатов, получения личной информации и удаленного выполнения кода на компьютере. В основном его внимание было сосредоточено на плагинах, использующих OAuth - веб-стандарт, позволяющий обмениваться данными между учетными записями в Интернете. По словам Ребергера, он общался в частном порядке с полудюжиной разработчиков плагинов, чтобы поднять проблемы, и несколько раз обращался в OpenAI."ChatGPT не может доверять плагину", - говорит Ребергер. "Он принципиально не может доверять тому, что приходит от плагина, поскольку это может быть что угодно". Вредоносный сайт или документ может с помощью плагина попытаться провести атаку с использованием инъекции подсказок против большой языковой модели (LLM). Или же он может вставить вредоносную полезную нагрузку, говорит Ребергер."Потенциально вы даете ему ключи от королевства - доступ к вашим базам данных и другим системам".
СТИВ УИЛСОН, ДИРЕКТОР ПО ПРОДУКЦИИ КОМПАНИИ CONTRAST SECURITYПо словам исследователя, данные также могут быть похищены с помощью подделки запросов к подключаемым модулям. На сайте может быть размещен запрос, который заставляет ChatGPT открыть другой плагин и выполнить дополнительные действия, что он и продемонстрировал на примере своей разработки. Исследователи называют это "цепочкой", когда один плагин вызывает другой для работы. По словам Ребергера, "реальных границ безопасности" внутри подключаемых модулей ChatGPT не существует. "Не очень хорошо определено, что такое безопасность и доверие, каковы реальные обязанности каждой из заинтересованных сторон".
Доверьте плагину: предупреждение системы ChatGPT о передаче данных
С момента запуска в марте плагины ChatGPT находились в стадии бета-тестирования - по сути, это была ранняя экспериментальная версия. При использовании плагинов в ChatGPT система предупреждает, что перед использованием плагина необходимо доверять ему, и что для работы плагина ChatGPT может потребоваться передать плагину ваши разговоры и другие данные.
Нико Феликс (Niko Felix), представитель OpenAI, заявил, что компания работает над улучшением ChatGPT, чтобы защитить ее от "эксплойтов", которые могут привести к злоупотреблению ее системой. В настоящее время компания проверяет плагины, прежде чем включить их в свой магазин. В июне в своем блоге компания сообщила, что ей известны исследования, показывающие, как "недоверенные данные из выходных данных инструмента могут побудить модель к выполнению непредусмотренных действий". И что она призывает разработчиков заставлять людей нажимать кнопки подтверждения перед тем, как ChatGPT выполнит действия, имеющие "реальное воздействие", например, отправку электронного письма."Хотя плагины ChatGPT разрабатываются вне OpenAI, мы стремимся предоставить библиотеку сторонних плагинов, которым наши пользователи могут доверять", - говорит Феликс, добавляя, что он "изучает" способы сделать плагины более безопасными для людей, использующих их. "Например, упростить процесс подтверждения, если пользователь намерен, чтобы его плагин выполнял значительные действия". OpenAI уже удалил как минимум один плагин, который создавал записи на странице разработчика на GitHub, не спрашивая разрешения пользователей, за нарушение политики, требующей подтверждения перед выполнением действий.В отличие от магазинов приложений Apple и Google, библиотека плагинов ChatGPT в настоящее время не содержит списка разработчиков, создающих плагин, и не предоставляет информации о том, как они могут использовать собранные плагином данные. В соответствии с рекомендациями OpenAI, разработчики плагинов должны следовать рекомендациям по содержанию и предоставлять файл манифеста, содержащий, помимо прочего, контактную информацию о создателях плагина. При поиске и включении плагина в ChatGPT отображается только его название, краткое описание и логотип. (Более подробную информацию можно найти на сайте неаффилированной сторонней компании).
Опасности подключения: риски и последствия для LLM и генеративного ИИ
Когда в марте OpenAI запустил подключаемые модули, исследователи предупреждали о потенциальных рисках безопасности и последствиях подключения GPT-4 к Интернету. Однако проблемы с подключаемыми модулями не ограничиваются OpenAI и ChatGPT. Аналогичные риски существуют для любых LLM или систем генеративного ИИ, подключенных к Интернету. Не исключено, что плагины будут играть большую роль в том, как люди будут использовать LLM в будущем. Компания Microsoft, которая вкладывает значительные средства в OpenAI, заявила, что будет использовать те же стандарты для создания плагинов, что и ChatGPT. "Я думаю, что в конечном итоге будет создана невероятно богатая экосистема подключаемых модулей", - заявил в мае главный технический директор Microsoft Кевин Скотт.Чанг Кавагучи, вице-президент Microsoft по безопасности искусственного интеллекта, говорит, что компания использует "итеративный" подход к запуску поддержки плагинов в своем инструменте помощника AI Copilot. "Мы расширим существующие процессы публикации, проверки, сертификации, развертывания и управления интеграцией продуктов с подключаемыми модулями, чтобы гарантировать клиентам Microsoft Copilots полный контроль над подключаемыми модулями, данными, к которым они могут получить доступ, и людьми, уполномоченными их устанавливать", - сказал Кавагучи, добавив, что компания будет документировать рекомендации по безопасности и работать с внешними исследователями над найденными проблемами.Многие вопросы, связанные с подключаемыми модулями и LLM в целом, касаются доверия. Речь идет о том, могут ли люди доверять свои частные и корпоративные данные таким системам, а также о том, предусмотрены ли средства контроля и меры, гарантирующие, что переданные данные не могут быть использованы или получены ненадлежащим образом."Потенциально вы даете ему ключи от королевства - доступ к вашим базам данных и другим системам", - говорит Стив Уилсон, директор по продуктам компании Contrast Security и руководитель проекта, в котором подробно рассматриваются риски безопасности при использовании LLM. По словам Уилсона, координатора проекта, около 450 экспертов в области безопасности и искусственного интеллекта собрались вместе, чтобы составить список из 10 основных угроз безопасности, связанных с LLM, в рамках проекта Open Worldwide Application Security Project (OWASP).По его словам, эта работа проводится в связи с тем, что разработчики спешат создать приложения и сервисы на базе LLM. Однако на данный момент нет достаточного количества инструкций по обеспечению безопасности создаваемых ими приложений. В качестве основной угрозы указаны атаки типа prompt injection (когда вредоносные данные пытаются взять под контроль систему искусственного интеллекта), а также отравление данных и уязвимости в цепочках поставок.
Шесть возможных способов атаки на плагины LLM
В списке также выделяются плагины как угроза безопасности. Исследователи OWASP перечисляют шесть возможных способов атаки на плагины LLM. Это и использование вредоносных URL-адресов через плагины, и SQL-атаки, и разрешение плагинам выполнять действия без проверки. Группа указывает на множество шагов, которые должны предпринять разработчики, чтобы избежать рисков, включая обеспечение надлежащей аутентификации и предотвращение "вызова чувствительных подключаемых модулей после любого другого подключаемого модуля".По словам Уилсона, в целом он советует всем, кто использует публичные LLM, быть "очень осторожными" с информацией, которую они в них размещают. "Вы не всегда уверены в том, как она будет использована, сохранена и, возможно, размножена в других местах", - говорит Уилсон. "Эти плагины, безусловно, добавляют еще один уровень опасности. Искусство обеспечения безопасности этих вещей почти не изучено, и поэтому пока не существует возможности обеспечить их реальную защиту".
По материалам https://www.wired.com