Преступники создали собственные клоны ChatGPT

Киберпреступники рассказывают о больших языковых моделях, которые могут помочь им в фишинге или создании вредоносных программ. Однако чат-боты с искусственным интеллектом могут быть всего лишь разновидностью мошенничества.

Как хакеры используют ChatGPT для создания вредоносных программ?

Это не заняло много времени. Спустя всего несколько месяцев после того, как чат-бот ChatGPT компании OpenAI взорвал экономику стартапов, киберпреступники и хакеры заявляют о создании своих собственных версий технологии генерации текста. По крайней мере, теоретически эти системы могут расширить возможности злоумышленников по написанию вредоносных программ или фишинговых писем, которые обманным путем заставляют людей передавать свои регистрационные данные.

С начала июля на форумах и торговых площадках "темной паутины" преступники стали рассказывать о двух созданных ими больших языковых моделях (LLM). Эти системы, которые, как утверждается, имитируют функции ChatGPT и Google's Bard, генерируют текст для ответов на вопросы и подсказки пользователей. Однако в отличие от LLM, созданных легальными компаниями, эти чат-боты продаются для незаконной деятельности.
Возникают вопросы о подлинности чат-ботов. Киберпреступники - не совсем надежные персонажи, и остается вероятность того, что они пытаются быстро заработать, обманывая друг друга.

Несмотря на это, разработка происходит в то время, когда мошенники используют ажиотаж вокруг генеративного ИИ в своих интересах.

В последние недели на форумах в "темной паутине" появились объявления о продаже двух чат-ботов - WormGPT и FraudGPT - по данным исследователей безопасности, отслеживающих эту активность. LLM, разработанные крупными технологическими компаниями, такими как Google, Microsoft и OpenAI, имеют ряд защитных ограждений и мер безопасности, препятствующих их неправомерному использованию.

Если вы попросите их сгенерировать вредоносное ПО или написать разжигающий ненависть текст, они, как правило, откажутся.
Теневые LLM утверждают, что они лишены любых защит и этических барьеров. Впервые WormGPT был обнаружен независимым исследователем кибербезопасности Дэниелом Келли (Daniel Kelley), который совместно с компанией SlashNext подробно описал полученные результаты.

Разработчики WormGPT утверждают, что инструмент предлагает неограниченное количество символов и форматирование кода. "Модели искусственного интеллекта очень полезны для фишинга, особенно потому, что они снижают входные барьеры для многих начинающих киберпреступников", - пишет Келли в своем электронном письме. "Многие утверждают, что большинство киберпреступников могут составить письмо на английском языке, но это не всегда верно для многих мошенников".
В ходе тестирования системы, пишет Келли, ее попросили создать письмо, которое можно было бы использовать в рамках мошенничества, связанного с компрометацией деловой электронной почты, когда якобы генеральный директор пишет менеджеру по работе с клиентами о необходимости срочного платежа. "Результаты оказались обескураживающими", - пишет Келли в своем исследовании.

Система создала "письмо, которое было не только удивительно убедительным, но и стратегически хитрым".
В сообщениях на форуме разработчик WormGPT утверждает, что система построена на основе языковой модели GPTJ - языковой модели с открытым исходным кодом, разработанной исследовательской группой EleutherAI в 2021 году. При этом они отказались сообщить, какие наборы данных использовались для обучения системы, говорится в исследовании Келли.
Между тем создатель FraudGPT заявил о более широких возможностях своей системы, утверждая, что она может "создавать необнаруживаемые вредоносные программы", находить утечки и уязвимости, а также составлять тексты, которые могут быть использованы в интернет-мошенничестве.

По словам Ракеша Кришнана, старшего аналитика по угрозам компании Netenrich, обнаружившего FraudGPT, человек, продающий этот продукт, рекламировал его на многочисленных форумах в "темной паутине", а также в каналах Telegram.
По словам Кришнана, создатель системы опубликовал видеоролик, в котором, судя по всему, демонстрируется работа чат-бота и генерация мошеннического письма. Они также пытались продать доступ к системе за 200 долл. в месяц или 1700 долл. в год.

Криптовалютные платежи для WormGPT: кто получает деньги?

По словам Кришнана, в разговорах с разработчиком FraudGPT он утверждал, что у него несколько сотен подписчиков, и настаивал на продаже, а создатель WormGPT, судя по всему, получал платежи на адрес криптовалютного кошелька, которым он поделился. "Все эти проекты находятся в зачаточном состоянии", - говорит Кришнан. Он добавляет, что "мы не получили большого количества отзывов" о том, покупают ли люди эти системы или пользуются ими.
Хотя те, кто рекламирует чат-боты, утверждают, что они существуют, проверить состав и легитимность этих систем достаточно сложно. Известно, что кибермошенники обманывают других мошенников: предыдущие исследования показали, что они часто пытаются обмануть друг друга, предоставляют не то, что заявляют, и предлагают плохое обслуживание клиентов. Сергей Шикевич, руководитель группы анализа угроз в компании Check Point, говорит, что есть некоторые намеки на то, что люди используют WormGTP. "Похоже, что существует реальный инструмент", - говорит Шыкевич. По его словам, продавец, стоящий за этим инструментом, "относительно надежен" и известен на киберпреступных форумах.

По словам Шикевича, на одно сообщение о WormGPT пришло более 100 откликов, хотя некоторые из них говорят о том, что продавец не очень быстро реагирует на их запросы, а другие "не в восторге" от системы. Шыкевич менее уверен в подлинности FraudGPT - продавец также утверждает, что у него есть системы под названиями DarkBard и DarkBert. По словам Шыкевича, некоторые сообщения продавца были удалены с форумов.

Нет усиления: исследователь о системах ChatGPT, Bard и LLM.

В любом случае, по словам исследователя Check Point, нет никаких признаков того, что какая-либо из этих систем обладает большими возможностями, чем ChatGPT, Bard или другие коммерческие LLM.
Келли считает, что заявления о вредоносности LLM, созданных на данный момент, "несколько преувеличены". Однако он добавляет, что "это не обязательно отличается от того, что делают легальные компании в реальном мире".
Несмотря на вопросы о системах, нет ничего удивительного в том, что киберпреступники хотят поучаствовать в буме LLM. ФБР предупредило, что киберпреступники рассматривают возможность использования генеративного ИИ в своей работе, а европейское правоохранительное агентство Europol выпустило аналогичное предупреждение. По мнению правоохранительных органов, LLM могут помочь киберпреступникам быстрее, чем раньше, осуществлять мошенничество, выдавать себя за других людей и заниматься социальной инженерией, а также улучшить их письменный английский.

Каждый раз, когда какой-либо новый продукт, услуга или событие привлекают внимание общественности - от фильма о Барби до пандемии Covid-19, - мошенники спешат включить их в свою хакерскую артиллерию. До сих пор мошенники обманом заставляли людей загружать вредоносные программы для кражи паролей через поддельную рекламу ChatGPT, Bard, Midjourney и других систем генеративного ИИ в Facebook.
Исследователи из компании Sophos заметили, что операторы мошеннических систем, занимающихся разделкой свиней и романтическими отношениями, случайно включают в свои сообщения сгенерированный текст: "Будучи языковой моделью "я", я не испытываю чувств и эмоций, как люди", - говорится в одном из сообщений. Кроме того, хакеры похищали токены, обеспечивающие им доступ к API OpenAI и доступ к чатботу в масштабе.
В своем отчете WormGPT Келли отмечает, что киберпреступники часто распространяют джейлбрейки, позволяющие обойти ограничения безопасности, установленные производителями популярных LLM. Но даже неограниченные версии этих моделей, к счастью, могут оказаться не столь полезными для злоумышленников в их нынешнем виде.

Исследователь Check Point о злоумышленниках: они не лучше разработчиков

Шыкевич, исследователь Check Point, говорит, что даже когда он видел попытки злоумышленников использовать общедоступные модели, они не были эффективными. Они могут "создавать штаммы ransomware, похитителей информации, но не лучше, чем даже обычный разработчик", - говорит он. Однако на киберпреступных форумах все еще обсуждают создание собственных клонов, говорит Шикевич, и они будут только лучше использовать эти системы. Так что будьте внимательны к тому, что нажимаете".
По материалам https://www.wired.com