Возвращение Сэма Альтмана вызывало новые опасения об "Апокалипсисе искусственного интеллекта"

Пять дней хаоса в OpenAI выявили слабости в саморегулировании компании. Это беспокоит людей, верящих, что искусственный интеллект представляет собой угрозу для существования, а также сторонников регулирования искусственного интеллекта.

Новый и старый босс

Новый босс OpenAI - тот же, что и старый босс. Но компания, а также индустрия искусственного интеллекта, могут быть глубоко изменены прошедшими пятью днями этой высокоставленной саги. Сэм Альтман, генеральный директор, сооснователь и символ OpenAI, был удален с должности руководителя правления в пятницу. Ко вторнику вечером, после массовой протестной акции большинства сотрудников стартапа, Альтман вернулся, а большая часть существующего правления ушла. Однако это правление, которое в основном независимо от операций OpenAI и связано с миссией "для блага человечества", было важным элементом уникальности компании.

Когда Альтман путешествовал по миру в 2023 году, предупреждая СМИ и правительства об экзистенциальной опасности технологии, которую сам создавал, он изображал необычную структуру OpenAI - некоммерческую организацию с внутренним коммерческим подразделением - как преграду против безответственного развития мощного искусственного интеллекта. Что бы ни сделал Альтман с миллиардами от Microsoft, правление могло бы контролировать его и других руководителей компании. Если бы он начал действовать опасно или против интересов человечества, по мнению правления, они могли бы его исключить. "Правление может уволить меня, я считаю это важным", - сказал Альтман Bloomberg в июне.

- говорит Тоби Орд, старший научный сотрудник философии Оксфордского университета и выдающийся голос среди тех, кто предупреждает о том, что искусственный интеллект может представлять угрозу для существования человечества.

Хаотичная перестановка руководства в OpenAI закончилась реорганизацией правления, состоящего из представителей эстеблишмента в сфере технологий и бывшего министра финансов США Ларри Саммерса. Из правления были удалены две директорши, связанные с движением "эффективного альтруизма". Это усилило существующие разногласия относительно того, как будущее искусственного интеллекта должно быть управляемо. Результат воспринимается по-разному теми, кто боится, что искусственный интеллект уничтожит человечество; трансгуманистами, которые считают, что технология ускорит утопическое будущее; теми, кто верит в свободный рыночный капитализм; и сторонниками строгого регулирования для ограничения технологических гигантов, которым нельзя доверять в балансировке потенциального вреда от мощной разрушительной технологии и желания заработать деньги.

"В некотором смысле это был предрешенный конфликт, который заранее намечен"

- говорит Орд, которому также приписывают соучреждение движения "эффективного альтруизма", часть которого стала одержимой более мрачной стороной спектра риска искусственного интеллекта. "Если некоммерческое правление OpenAI фактически было бессильным влиять на его поведение, то я думаю, что обнаружение этого бессилия, вероятно, было хорошим знаком".

Пробел в управлении

Причина, по которой совет директоров OpenAI решил противостоять Альтману, остаётся загадкой. В своём заявлении о его уходе с поста генерального директора, было сказано, что он "не всегда был честен в своих коммуникациях с советом директоров, что затруднило его возможность осуществлять свои обязанности". Внутренняя записка OpenAI позже уточнила, что отстранение Альтмана "не было вызвано нарушениями". Эммет Шир, второй из двух временных генеральных директоров, управляющих компанией с пятницы вечером до среды утром, написал после принятия своей роли, что он спросил, почему Альтман был уволен.

"Совет директоров не удалил Сэма из-за какого-либо конкретного разногласия в области безопасности", - написал он. "Их мотивация была совершенно иной".

Он обещал провести расследование причин увольнения Альтмана.

Вакуум, оставил место для слухов, что Альтман уделял слишком много времени побочным проектам или был слишком покорным по отношению к Microsoft. Также существует теория заговора, что OpenAI создал искусственный общий интеллект (AGI), и совет директоров нажал выключатель по совету главного ученого, соучредителя и члена совета директоров Ильи Суцкевера.

Шрайер, который занимал место в нескольких советах директоров технологических компаний, говорит, что эта неудача вызвана не только очевидным напряжением между некоммерческой миссией совета директоров и коммерческими желаниями руководителей и инвесторов, связанных с коммерческим подразделением OpenAI. Это также связано с быстрым ростом компании по объему и влиянию, отражающим растущее влияние отрасли искусственного интеллекта.

Несмотря на высшую власть совета директоров на бумаге, сложность и масштаб операций OpenAI "явно превзошли" возможность директоров контролировать компанию, говорит Шрайер. Он считает это тревожным, учитывая реальную и немедленную необходимость контроля над рисками технологии искусственного интеллекта.

Предприятия, подобные OpenAI, "определенно не являются научными проектами. Они уже не только компании по разработке программного обеспечения", - говорит он. "Это глобальные предприятия, которые оказывают значительное влияние на то, как мы думаем, как голосуем, как ведем наши компании, как взаимодействуем друг с другом. И, таким образом, вам нужен зрелый и надежный механизм управления".

Тестовый случай

Регуляторы по всему миру будут внимательно следить за тем, что произойдет дальше в OpenAI. В то время, когда Альтман вел переговоры о возвращении в компанию во вторник, Федеральная торговая комиссия США проголосовала за предоставление сотрудникам регулятора полномочий для расследования компаний, продающих услуги на основе искусственного интеллекта, позволяя им законно требовать предоставления документов, показаний и других доказательств.

Драма в зале заседаний компании развернулась в ключевой момент переговоров по историческому акту Европейского союза о искусственном интеллекте - законодательному акту, который может задать тон для регулирования по всему миру. Подавленные предыдущими неудачами в смягчении социальных последствий платформ технической реализации, ЕС все больше и больше принимает более решительный подход к регулированию Big Tech. Однако представители ЕС и государств-членов не согласны в том, стоит ли строго регулировать компании, занимающиеся искусственным интеллектом, или допустить определенную степень саморегулирования.

Одним из основных препятствий в переговорах ЕС является вопрос о том, должны ли создатели так называемых базовых моделей, таких как GPT-4 от OpenAI, подлежать регулированию, или законодательство должно сосредоточиться на приложениях, которые создаются с использованием базовых моделей.

Аргумент в пользу выделения базовых моделей заключается в том, что они, будучи системами искусственного интеллекта с различными возможностями, будут использоваться во множестве различных приложений, так же как GPT-4 обеспечивает функционирование чат-бота ChatGPT OpenAI.

На этой неделе Франция, Германия и Италия заявили, что поддерживают "обязательное саморегулирование через кодексы поведения" для базовых моделей, согласно совместному документу, о котором впервые сообщило агентство Reuters - фактически предлагая доверять OpenAI и другим компаниям в контроле за своей собственной технологией. Франция и Германия являются домом для двух ведущих производителей базовых моделей в Европе - Mistral и Aleph Alpha.

Однако сторонникам более строгого регулирования искусственного интеллекта события последних нескольких дней показывают, что саморегулирование недостаточно для защиты общества. "То, что произошло с этой драмой вокруг Сэма Альтмана, показывает нам, что мы не можем полагаться на видение генеральных директоров или представителей этих компаний, а вместо этого нам нужно иметь регулирование", - говорит Брандо Бенифей, один из двух законодателей Европейского парламента, ведущих переговоры о новых правилах. "Эти события показывают нам, что в управлении этими предприятиями есть ненадежность и непредсказуемость".

Громкий провал системы управления OpenAI, вероятно, усилит требования к более сильному общественному контролю. "Только правительства могут сказать нет инвесторам", - говорит Николя Моэс, директор Европейского агентства по регулированию искусственного интеллекта при Обществе будущего, брюссельском институте.

Румман Чоудхури, основатель некоммерческой организации Humane Intelligence и бывший руководитель этической команды искусственного интеллекта считает, что кризис и переосмысление OpenAI должны послужить звонком на пробуждение. События демонстрируют, что идея этического капитализма - корпоративные структуры, объединяющие некоммерческие и коммерческие организации, - не будет работать; нужно действие правительства. "В некотором смысле, я радо, что это произошло", - сказал Чоудхури об уходе и возвращении Альтмана.

Петли рока

Среди тех, кто более пессимистично относится к рискам искусственного интеллекта, драма с Альтманом вызвала смешанные реакции. Привлекая существенные риски к международным дискуссиям с позиции главы многомиллиардного технологического гиганта, CEO OpenAI вывел на передний план относительно редкие идеи, популярные среди определенной части эффективных альтруистов. Однако люди из сообщества, первоначально вынашивавшего эти представления, не были слепы к несоответствию позиции Альтмана, даже когда он улучшал их жизнь.

Стратегия Альтмана, заключающаяся в привлечении миллиардов долларов и партнерстве с технологическим гигантом для разработки все более продвинутого искусственного интеллекта, признавая при этом, что он не полностью понимает, куда это может привести, трудно согласовать с его заявленными опасениями о масштабных катастрофах. Три независимых члена совета директоров, которые, как сообщается, приняли решение об удалении Альтмана, имели связи с эффективными альтруистами (EA), и их осуждение некоторыми сторонниками Альтмана, включая влиятельных деятелей в Силиконовой Долине, вызывает недоверие даже у членов сообщества EA, которые ранее выражали свою поддержку Альтману.

Большинство из тех, кто более озабочен непосредственными рисками, связанными с доступным и мощным искусственным интеллектом, чем с научно-фантастическими сценариями, недовольны появлением Альтмана в роли общественного лица думеризма в области искусственного интеллекта.

Альтман неоднократно просил правительства регулировать его и его компанию ради блага человечества: "Мой самый страшный страх заключается в том, что мы – отрасль, технология, индустрия – причиним значительный вред миру", – заявил Альтман на слушаниях в Конгрессе в мае, говоря, что он хотел бы сотрудничать с правительствами, чтобы предотвратить это.

"Я считаю, что идея говорить: 'Пожалуйста, регулируйте нас, потому что если вы не будете это делать, мы уничтожим мир и человечество', - это полная ерунда", - говорит Раид Гани, выдающийся профессор Карнеги-Меллонского университета, занимающийся исследованиями в области искусственного интеллекта и публичной политики. "Я считаю, что это полностью отвлекает от реальных рисков, которые возникают сейчас вокруг угрозы потери рабочих мест, дискриминации, прозрачности и ответственности".

В то время как Альтман в конечном итоге был восстановлен, OpenAI и другие ведущие стартапы по искусственному интеллекту выглядят немного иначе, когда пыль осела после пятидневной драмы. Создатели ChatGPT и их конкуренты, работающие над чат-ботами или генераторами изображений, чувствуют себя менее как утопические проекты, стремящиеся к лучшему будущему, а скорее как обычные предприятия, в первую очередь мотивированные получением прибыли для своих инвесторов. Оказалось, что искусственный интеллект очень похож на другие сферы бизнеса и технологий, область, где все происходит в гравитационном поле крупных технологических компаний, которые обладают вычислительной мощностью, капиталом и долей на рынке, позволяющими доминировать.

OpenAI описала новый состав совета директоров, объявленный вчера, как временный и ожидается, что в него будут добавлены еще имена к текущему списку, состоящему только из мужчин. Окончательный состав совета, надзирающего Альтмана, вероятно, будет больше ориентирован на технологии и меньше на "гибель", и аналитики предсказывают, что совет и сама компания будут теснее связаны с Microsoft, которая обещала вложить 13 миллиардов долларов в OpenAI. Исполнительный директор Microsoft Сатья Наделла выразил свое разочарование в интервью СМИ в понедельник о том, что совет может удивить его.

"Я буду очень, очень ясен: мы больше никогда не попадем в ситуацию, когда нас удивят подобным образом", - сказал он в совместной передаче подкастов Pivot и Kara Swisher. "Это покончено".

Хотя Альтман описывает свое восстановление как возвращение к прежнему бизнесу, OpenAI теперь ожидается выступать более прямо в роли аватара Microsoft в его борьбе с Google и другими гигантами.

WIRED