Всё о DeepMind

Код машин 17 июля 2021 г.

DeepMind Technologies Limited, или DeepMind, — британская компания, занимающаяся искусственным интеллектом. Основана в 2010 году в Лондоне под названием DeepMind Technologies. В 2014 году была приобретена Google.

Компания получила известность благодаря разработке компьютерной системы AlphaGo, победившей профессионального игрока в го^[2]. DeepMind создала нейронную сеть, способную научиться играть в видеоигры на уровне человека^[3]. В 2020 году компания разработала программу AlphaFold2, позволяющую решать одну из фундаментальных проблем биологической науки по построению 3-мерных моделей белков^[4].

В 2010 году Демис Хассабис, Шейн Легг, Мустафа Сулейман основали стартап DeepMind Technologies^[5]. До того Хассабис и Легг уже были знакомы по Университетскому Колледжу Лондона, где работали в подразделении вычислительной нейробиологии Gatsby (Gatsby Computational Neuroscience Unit, www.gatsby.ucl.ac.uk)^[6].

В компанию вложились большие венчурные фонды Horizons Ventures, Founders Fund^[7], а также предприниматели Скотт Банистер^[8] и Илон Маск^[9]. Ян Таллинн был одним из ранних инвесторов и советников компании^[10].

В 2014 DeepMind получила награду «Компания года» от Компьютерной лаборатории Кембриджского университета^[11].

26 января 2014 года Google объявил о приобретении DeepMind Technologies^[12]. По разным сообщениям сумма сделки составила от 400 до 650 миллионов долларов^{[13][14][15][16]}. Сообщается, что сделка состоялась после того, как Facebook прекратил переговоры о покупке DeepMind Technologies в 2013 году^[17]. Одним из условий сделки DeepMind с Google было создание последней коллегии по этическим проблемам искусственного интеллекта^[18].

После покупки Google компания стала называться Google DeepMind.

В начале сентября 2016 года компания перешла в родительскую компанию Google — Alphabet, а из её названия исчезло упоминание Google, теперь она известна как DeepMind Technologies Limited или же DeepMind. Также веб-сайт компании сменил дизайн.

Направление исследований

Цель компании — «решить проблему интеллекта»^[19]. Для этого они используют «лучшие технологии, начиная от машинного обучения и заканчивая системной психофизиологией, чтобы создать в итоге обучающиеся алгоритмы общего назначения»^[19]. Также они работают над формализацией интеллекта^[20] для того, чтобы не только реализовать его в машинах, но и чтобы понять, как работает мозг человека. По словам Демиса Хассабиса^[21]:

... попытка извлечь сущность интеллекта в виде алгоритмической конструкции может оказаться наилучшим способом понять самые глубокие тайны нашего ума.

Решение проблемы интеллекта DeepMind видит в создании универсальных самообучающихся интеллектуальных агентов, которые были бы способны автономно обучаться на необработанных входных данных и были бы пригодны для решения любых задач в отличие от «ограниченных ИИ», таких как Deep Blue или IBM Watson, решающих только одну предопределённую задачу. В качестве основного подхода к построению интеллектуальных агентов выбрано обучение с подкреплением^[22].

В настоящий момент компания занимается исследованиями в области компьютерных систем, которые умеют играть в различные игры — от стратегических игр вроде го до компьютерных аркад. Шейн Легг утверждает, что искусственный интеллект сможет достичь уровня человека, «когда машина научится играть в широкий класс игр, используя только входной и выходной сигналы потока восприятия, и переносить понимание из игры в игру...»^[23]. Демис Хассабис объясняет фокус на играх, а не на более традиционной робототехнике, тем, что «роботы — дорогие, медленные и часто ломаются... исследователь отвлекается на починку механических деталей робота...»^[22]. Сообщается, что Google купил компанию именно после публикации исследования об ИИ, успешно играющего в семь различных Atari-игр (Pong, Breakout, Space Invaders, Seaquest, Beamrider, Enduro, Q*bert)^[3].

В начале 2018 года исследователи из DeepMind обучили одну из своих систем играть в компьютерную игру Quake III Arena. Через некоторое время, потраченное на тренировки, по уровню игры эта система сначала догнала, а затем и перегнала людей, являющихся сильными игроками^[24][25].

Нейронная машина Тьюринга

В 2014 году DeepMind опубликовал архитектуру гибридной нейронной сети, состоящую из рекуррентной нейросети и внешней памяти^[26][27]. Нейросеть использует внешнюю память для записи и последующего чтения информации так же, как это делает машина Тьюринга, по этой причине архитектуре дали название «Нейронная машина Тьюринга» (Neural Turing Machine). По замыслу исследователей Нейронная машина Тьюринга имитирует кратковременную память человека и позволяет понять принципы её работы. В экспериментах нейросеть успешно обучалась простым алгоритмам: копирование, сортировка, ассоциативная память.

Глубинное обучение с подкреплением в видеоиграх

DeepMind представил систему ИИ, которая способна обучиться играть в классические игры 70-80-х гг. для игровой консоли Atari 2600^{[28][29][30][31][32]}. В исследовании ИИ обучался игре в 49 видеоигр. В результате был достигнут уровень игры сравнимый с уровнем человека, а в 22 играх система смогла превзойти человека. ИИ DeepMind не запрограммирован жестко под конкретную игру. В начале обучения система ничего не знает о правилах игры и учится играть самостоятельно, используя на входе только пиксельное изображение игры и информацию об очках, получаемых в ходе игры.

В основе ИИ лежит подход, который DeepMind называет глубинным обучением с подкреплением, или deep Q-network (DQN)^[28][30]. Это вариация обучения с подкреплением без модели с применением Q-обучения, в котором функция полезности моделируется с помощью глубинной нейронной сети. В качестве архитектуры нейросети выбрана свёрточная нейронная сеть, в настоящее время эта архитектура эффективно применяется для распознавания изображений.

В планах DeepMind научить ИИ, построенного на тех же принципах, играть в более сложные 3D игры 90-ых, такие как Doom и гоночные симуляторы^[22]. В феврале 2016 были представлены первые результаты обучения ИИ 3D играм^[33][34]. ИИ смог обучиться управлению машиной в 3D гоночном симуляторе TORCS^[35], поиску выхода и призов в Doom-подобном 3D лабиринте Labyrinth ^[36], выполнению простых задач (локомоция, поддержание равновесия, манипуляция предметами) в физическом симуляторе MuJoCo (www.mujoco.org)^[37]. Как и прежде на вход ИИ подавалось только пиксельное изображение «мира». Архитектура нейросети была расширена добавлением LSTM, разновидности рекуррентной нейронной сети.

AlphaStar Основная статья: AlphaStar (искусственный интеллект)

На ежегодном фестивале Blizzcon 2016 компания Blizzard, которая является инициатором данного мероприятия, объявила о своем сотрудничестве с компанией DeepMind. Затем об этом событии была опубликована статья на официальных блогах обеих компаний^[38][39]. Целью данного сотрудничества является внедрение и обучение ИИ в игре Starcraft II. По мнению разработчиков игры — Starcraft II является идеальной средой для обучения искусственного интеллекта, поскольку сложные правила игры достаточно отражают сложность и многогранность реального мира. К тому же, само коммьюнити считало эту игру самой большой проблемой для ИИ, сумевшего победить человека в игре в го, шахматы и покер^[40].

StarCraft II — идеальная среда, которая позволит вывести исследования, связанные с созданием искусственного интеллекта, на новый уровень. Сложные правила игры в достаточной мере отражают многогранность и хаотичность реального мира. Сначала вы учитесь добывать ресурсы, затем возводить простые строения, исследовать карту и искать противника. Стоит производить больше боевых единиц или лучше будет укрепить оборонительный рубеж? Будете вы совершать атаки на раннем этапе или сосредоточитесь на развитии?

В данный момент ведется работа над «Starcraft 2 API», которая позволяет ИИ полностью взаимодействовать с интерфейсом игры, принять участие в разработке может любой желающий, для таковых были опубликованы технические задачи^[41], которые планируется реализовать в первом квартале 2017 года. Сам ИИ будет обучаться, просматривая повторы других игроков, которые принимали участие в рейтинговых играх.

На турнире 19 декабря 2018 года между AlphaStar и двумя профессиональными игроками, входящими в сотню сильнейших TLO и MaNa, AlphaStar выиграла со счётом 10:0. При этом MaNa удалось победить в одной внезачётной игре^[42][43][44]

24 января 2019 года была представлена программа AlphaStar, специализирующаяся на игре StarCraft II в жанре стратегии в реальном времени. AlphaStar сначала учило программу на записях игр людей, затем включило в «лигу AlphaStar», где ИИ играл не только против себя, но и «эксплуататорских» агентов, которые являлись версиями ИИ, специально нацеленными на слабые места AlphaStar и представлявших каждую из трёх рас^[40]. Обучение гарантировало, что AlphaStar станет грозным противником всех трёх рас и каждой игровой стратегии. На момент презентации у AlphaStar были знания, эквивалентные 200 годам игрового времени.^[45]. При этом разработчики пытались ограничить возможности ИИ, например ограничив число действий в минуту приравняв его к усредненному числу действий хорошего игрока (что не мешает программе показывать невозможные для людей результаты), из-за чего программа была вынуждена учиться выигрывать долгосрочной стратегией^[40]. Скорость реакции около 3 кадров от появления противника в зоне видимости до ответной реакции. Уменьшило размер зоны зрения ИИ до зоны зрения игрока.

К концу октября 2019 года ИИ стал гроссмейстером игры, сумев обойти 99,8 % зарегистрированных в Starcraft II игроков-людей. На это достижение AlphaStar понадобилось 44 дня тренировок.^[40].

Игра в го Основная статья: AlphaGo

В октябре 2015 программа для игры в го AlphaGo^[46], разработанная DeepMind, победила чемпиона Европы по го Фань Хуэя (2-ой дан) со счётом 5—0^[2]. О новости было объявлено только 27 января 2016 года одновременно с публикацией статьи в журнале Nature^[2].

Это первый в истории случай, когда ИИ выиграл в го у профессионала^[47], до AlphaGo все известные ИИ играли в го только на любительском уровне. Го считается игрой, в которую компьютеру выиграть достаточно тяжело (в сравнении с аналогичными играми, например, c шахматами) в виду большого количества вариантов ходов, из-за этого традиционный для ИИ метод перебора ходов практически неприменим^[2][48]. В марте 2016 года программа выиграла матч у одного из сильнейших гоистов мира Ли Седоля со счетом 4-1.

Кульминацией работы DeepMind стал 2016 год, когда компания выпустила программу AlphaGo, которая использовала обучение с подкреплением наряду с другими методами, для игры в го. Ко всеобщему удивлению, в пятиматчевом поединке в Сеуле программа обыграла чемпиона мира. За победой машины наблюдали 280 млн зрителей: это событие произошло на десятилетие раньше, чем предсказывали эксперты. В следующем году улучшенная версия AlphaGo победила китайского чемпиона по го.

Как и Deep Blue в 1997 году, AlphaGo изменила восприятие того, в чём состоит превосходство человека. Чемпионы по настольным играм, одни из самых блестящих умов на планете, больше не считались вершиной интеллекта. Почти через 20 лет после разговора с японским мастером Фудзувареа Хассабис исполнил своё обещание. Позже он сказал, что во время матча чуть не расплакался. По традиции, ученик го благодарит учителя, одолев его в матче. Хассабис отблагодарил Мэтьюза, одолев игру целиком.

Другие направления

Публикации DeepMind затрагивают следующие темы^[49]: понимание естественного языка машинами^[50], генерация изображений по шаблону с помощью нейронных сетей^[51], распознавание речи, алгоритмы обучения нейронных сетей.

DeepMind Health

DeepMind Health — подразделение DeepMind, работающее в области искусственного интеллекта в медицине^[52][53][54]. О его открытии было объявлено 24 февраля 2016 года на веб-сайте компании. Подразделение возглавляет Мустафа Сулейман.

В своей работе DeepMind Health будет сотрудничать с Национальной службой здравоохранения Великобритании. DeepMind Health планирует предоставлять врачам техническую экспертизу для разработки и совершенствования технологий по уходу за пациентами. Особое внимание будет уделяться безопасности данных пациентов и конфиденциальности. Деятельность подразделения будет проверяться советом из независимых экспертов, в число которых входит Ричард Хортон (англ.)русск., редактор авторитетного журнала по медицине The Lancet.

В настоящее время DeepMind Health работает над созданием электронных инструментов, упрощающих работу врача. Было представлено приложение для смартфона, позволяющее более точно диагностировать острую почечную недостаточность. Также DeepMind купил медицинское приложение, таск-менеджер для врачей. Команда врачей из Имперского колледжа Лондона, создавшая его, присоединяется к DeepMind Health. Сумма сделки не разглашается.

В декабре 2020 года команда DeepMind объявила о решении фундаментальной научной проблемы предсказания структуры белка. Программа, разработанная компанией и основанная на нейросетях, смогла предсказывать структуру белка с 90% точностью (что лучше современных методов сканирования). Это позволяет строить 3-мерные модели белков по кодирующей геномной последовательности, что имеет большое значение для разработки новых лекарств и понимания процессов биохимии в целом.^[55]

Сотрудничество с университетами

В 2014 году DeepMind начинает сотрудничество с Оксфордским университетом^[56][57]. DeepMind нанимает две передовые команды из Оксфорда, работающих в области искусственного интеллекта. Это команда ведущих экспертов мира по применению глубинного обучения в области понимания естественного языка машинами: профессора Нандо Де Фрейтас и Фил Блансом, доктора Эдвард Грефенстетт и Карл Мориц. И команда одних из ведущих экспертов мира в области машинного зрения: доктора Карэн Симоньян и Макс Яденберг, профессор Эндрю Зиссерман. В рамках сотрудничества факультет компьютерных наук и факультет инженерных наук получат существенное финансирование от Google. Также DeepMind планирует программу студенческих стажировок, чтение лекций и проведение семинаров для студентов.

С DeepMind работают учёные и из других университетов. Дэвид Сильвер, соавтор статьи о AlphaGo^[58] и еще многих публикаций DeepMind об обучении с подкреплением, читает лекции в Университетском Колледже Лондона^[59]. Некоторые публикации DeepMind написаны в соавторстве с учёными из следующих организаций^[49]: Торонтский университет, Монреальский университет, Австралийский национальный университет, Амстердамский университет, Калифорнийский университет в Беркли, INRIA.