Уолтер Питтс. Walter Pitts

Уолтер Питтс — человек, заложивший фундаментальные основы компьютерной нейролингвистики. Увы, предательство своего первого верного друга, математики, он не стерпел.

Научно-популярный журнал Nautilus опубликовал пронзительный материал об учёном-самоучке, широко известном в узких кругах интересующихся искусственным интеллектом.

Подробную биографию Питтса редакция журнала восстановила по личным письмам Питтса, сохранившимся в архиве Американского философского общества.

ДЕТСТВО ИЗГОЯ

Уолтер Питтс с детства был изгоем среди ровесников; добавьте к этому непростую семью во главе с отцом-котельщиком, нередко пускавшим в ход кулаки, и криминогенную обстановку Детройта. От жестоких насмешек соседских детишек Уолтер прятался в местной библиотеке. Там он и изучил основы греческого, латыни, логики и математики. Здесь, в спокойной сени полок с книгами, ему было гораздо комфортней, чем дома, где отец призывал Уолтера бросить школу и устроиться на работу.

Бездомный гений и алкоголик, Уолтер Питтс. Источник: nautilus

В один из таких вечеров в библиотеке Питтс наткнулся на трёхтомник «Начала математики» (Бертран Рассел и Альфред Уайтхед, 1910-1913 гг.). Это фундаментальный труд по логике и философии математики, являющийся одним из самых влиятельных в истории. Три дня Питтс безотрывно поглощал 2 000 страниц этой научной работы, и в конце концов обнаружил несколько ошибок. Решив, что Бертрану Расселу необходимо о них узнать, мальчик написал математику подробное письмо с их указанием. Рассел не только ответил на сообщение мальчика, но и пригласил Питтса стать студентом магистратуры Кэмбриджского университета. Питтс, может быть, и согласился бы, да не мог — ему было лишь 12 лет на тот момент.

Но три года спустя, когда Рассел должен был нанести визит в Университет Чикаго, Питтс сбежал из дома и направился в Иллинойс. Больше он свою семью никогда не видел.

ПЕРЕСЕЧЕНИЕ ДВУХ СУДЕБ

В 1923 году, год спустя после рождения Питтса, Уоррен МакКаллок как раз грыз гранит «Начал математики». На этом сходство между Питтсом и Уорреном заканчивается. МакКаллоку на тот момент исполнилось 25 лет, он был выходцем из образованной семьи юристов, врачей и инженеров и получил прекрасное образование — изучал математику в колледже Хэйверфорд в Пенсильвании, а затем философию и психологию в Йельском Университете. В 1923 году Уоррен готовился получить докторскую степень в области нейрофизиологии, в душе оставаясь философом. В то время пышным цветом распустилась теория психоанализа, но Уоррен не был её сторонником. Он был уверен, что все потайные уголки и загадки нашего сознания в основе своей имеют чисто механические связи между нейронами в мозге.

Невзирая на то, что судьбы МакКаллока и Питтса шли настолько разными путями, в итоге им было предначертано стать верными друзьями и коллегами до конца жизни. Вместе эти два человека создадут первую механистическую теорию сознания, первые математические модели нейрона, разработают компьютерную логику и станут основоположниками теории искусственного интеллекта. И всё же это история не только о плодотворном научном сотрудничестве. Это история о дружбе, хрупкости разума и беспомощности великой математической логики в нашем несовершенном жестоком мире.

Уоррен МакКаллок. Источник: nesfa.org

Странно выглядел этот альянс — МакКаллок и Питтс. МакКаллоку на момент знакомства с Питтсом было 42 года: уверенный в себе сероглазый бородач и полуночник, любитель покурить трубку, насладиться поэзией, философией и стаканом виски. Питтс — скромный невысокий восемнадцатилетний паренёк с высоким лбом, добавлявшим ему возраста, в очках, с пухлыми губами на квадратном лице. Познакомил их студент медицинского факультета Джером Леттвин. При первом же разговоре эти двое выяснили, что у них есть общий кумир: Готфрид Лейбниц. Их обоих восхищала попытка философа XVII века создать азбуку человеческих мыслей, каждая буква которой соответствовала бы какой-либо концепции, что позволило бы оперировать ими так же, как числами.

МакКаллок в том разговоре рассказал Питтсу, что он пытался создать модель человеческого мозга, используя формальную логику Лейбница. Он был вдохновлён идеями «Начал математики», в которой вся математика сводилась к логике с помощью некоторого набора аксиом. Между аксиомами существовали отношения фундаментальных логических операций — конъюнкции («и»), дизъюнкции («или») или отрицания («не»). С помощью этих простейших операций создатели «Начал» и доказывали наиболее сложные теоремы современной математики.

МакКаллок же, читая этот труд, думал о нейронах. Он знал, что нейрон в мозге активируется только тогда, когда от близлежащих нейронов в синапс поступит достаточное количество сигналов. МакКаллок предположил, что нейроны действуют по бинарной схеме — они находятся либо во включенном состоянии, либо в выключенном. В этом смысле сигнал нейрона является аксиомой, а нейроны работают как логическая воронка — вбирая в себя несколько сигналов, а выпуская лишь один.

Схематическое изображение линейной воронки. Источник: wwwold.ecep.utep.edu

А потом вышло свежее исследование молодого британского математика Алана Тьюринга, которое доказывало, что машина способна произвести любые математические вычисления, и МакКаллок убедился в том, что наш мозг работает почти как машина Тьюринга, то есть использует логику нейросетей для произведения вычислений. Он полагал, что нейроны связаны друг с другом по законам формальной логики, и с помощью этих связей выстраиваются сложнейшие мыслительные цепочки.

Питтс сразу понял замысел МакКаллока и точно знал, какие математические инструменты использовать для доказательства этой гипотезы. В воодушевлении МакКаллок предложил юноше жить в своём загородном доме под Чикаго вместе со своей семьёй. Это была типичная обитель творческой интеллигенции, где вечерами собирались представители разных её слоёв, обсуждали вопросы психологии, спорили о политике, читали стихи и слушали музыку на фонографе. А поздно ночью, когда жена и дети МакКаллока уже мирно спали, двое учёных, опустошая очередную бутылку виски, пытались создать компьютеризированную модель нейрона.

До знакомства с Питтсом МакКаллок никак не мог выбраться из исследовательского тупика: выходной сигнал последнего нейрона в цепи вполне мог становиться входным сигналом первого — нейронам ничто не мешало зацикливаться. У МакКаллока не было ни малейшего понятия. как смоделировать такую ситуацию математически. С точки зрения логики цикл имеет все признаки парадокса: следствие становится причиной и наоборот. МакКаллок каждой нейронной связи присваивал временную отметку: первый нейрон в цепочке активировался во время t, следующий — в t+1 и так далее. Но когда цепочка замыкалась, логика ломалась.

ЭТО МОЖЕТ БЫТЬ ИНТЕРЕСНО:

Образование в семье Набоковых

Питтс знал, как решить эту проблему. Он использовал модулярную арифметику, где значения в системе чисел повторяются после достижения определённого фиксированного модуля (так происходит с обозначением часов в сутках, например). Питтс показал своему другу, что в его вычислениях понятия «до» и «после» потеряли всякий смысл, поэтому временное значение стоит вовсе убрать из уравнения. Если вы видите молнию в небе, ваше зрение посылает сигнал в головной мозг, в нейронную цепь. Вы можете восстановить путь сигнала, начиная с любого нейрона в цепи, и определить длительность вспышки молнии. Это не работает, если нейронная цепь зациклена. В таком случае информация, в которой зашифрована вспышка молнии, просто бесконечно ходит по кругу. Она никак не связана с временным периодом, в который произошла эта вспышка. Эта информация становится «идеей в безвременье». Иными словами, памятью.

Отрывок из работы МакКаллока-Питтса «Логическое исчисление идей, относящихся к нервной активности». Источник: cse.buffalo.edu

Вычисления Питтса помогли друзьям получить механистическую модель мышления — первый аргумент в пользу того, что человеческий мозг является по сути процессором, обрабатывающим информацию. Объединяя простые бинарные нейроны в цепочки и циклы, учёные показали, что мозг может произвести любую возможную логическую операцию и произвести любые вычисления, доступные гипотетической машине Тьюринга.

Это помогло понять, каким образом мозг осуществляет вычленение информации и строит из полученных элементов иерархические структуры — иными словами, каким образом происходит мышление.

Свои наблюдения МакКаллок и Питтс опубликовали в работе «Логическое исчисление идей, относящихся к нервной активности», (русский перевод) опубликованной в 1943 г. Созданная ими модель работы мозга была слишком упрощена, чтобы быть биологически точной, но она блестяще доказывала основные принципы. По их догадке, мышление человека не может описываться мистическими обоснованиями Фрейда. Вот что сказал МакКаллок своим студентам факультета философии:

Впервые в истории науки мы наконец знаем, как мы получаем знания.

Отношения с МакКаллоком стали для Питтса тем многим, чего ему не хватало в детстве — принятие интересов, дружба, интеллектуальное партнёрство. МакКаллок стал для Питтса отцом.

ВЕЛИКИЕ АМБИЦИИ

Вскоре Питтс познакомился с одним из ведущих интеллектуалов XX века, великим математиком и философом, основателем кибернетики Норбертом Винером. Встретились они в кабинете Винера в Массачусетском технологическом институте. Сами того не замечая, Винер и Питтс в ходе первой встречи убористо исписали две огромных учебных доски, висящих в кабинете — настолько они увлеклись сложным доказательством одной математической проблемы.Винер предложил Питтсу получить докторскую степень по математике в МТИ. Это было против всех правил, поскольку Питтс не получил высшего образования.

Но уже в 1943 г. Питтс стал студентом МТИ, где приступил к учёбе под наставничеством одного из самых влиятельных учёных мира.

Винер хотел, чтобы Питтс продолжил работу над созданием более реалистичной модели мозга. В продолжении таких исследований он видел будущую возможность использования нейросетей в робототехнике и будущем свершении киберреволюции. Он понимал, что для создания реалистичной модели мозга, состоящего из сотни миллиардов нейронов, необходимо иметь под рукой достаточный объём статистических данных. А уж в статистическом анализе и теории вероятностей Винер был силён как никто другой.

Норберт Винер в аудитории Массачусетского технологического института. Источник: norberwiener.umd.edu

ЧИТАЙТЕ ТАКЖЕ:

Сказ о том, как наш философ нашего писателя из гимназии выгнал

Питтс начал свою работу с того, что понял один простой принцип: несмотря на то, что в генах человека зашифрована информация об основных свойствах нервной деятельности, они не могут предопределять развитие огромного количества синаптических связей в головном мозге. Поэтому возможно было начать с изучения случайно выбранных нейронных цепочек, в которых, скорее всего, и будет содержаться необходимая информация. С помощью статистической механики и процесса случайной модификации количества нейронных связей он собирался смоделировать процесс структурирования информации в мозге. Создание такой рабочей модели откроет путь к обучению машин.

В письме своему другу МакКаллоку в 1943 г. Питтс пишет:

[моя работа с Винером] станет первым компетентным обоснованием статистической механики в самом общем смысле и возможным её применением в выведении психологических принципов поведения человека из нейрофизиологических законов микромира... Разве не здорово?

Вскоре Питтс на конференции в Принстоне познакомился с легендарным Джоном фон Нейманом. Так постепенно сложилась первая научная группа кибернетиков: Винер, Питтс, МакКаллок, Леттвин (помните, тот студент, который познакомил МакКаллока с Питтсом?) и фон Нейман. И именно самоучка Питтс, некогда сбежавший из дома, был головным центром группы. Ни одна статья не публиковалась без согласия и правок Питтса. Леттвин вспоминает:

Он, без сомнений, был нашим гением. Он прекрасно разбирался в химии, физике, истории, ботанике... Его ответ на любой вопрос можно было записывать и выпускать в качестве учебника. В его восприятии мир представлялся чрезвычайно сложной и замысловатой структурой.

В 1945 г. фон Нейман начал работу над первым проектом отчёта о EDVAC, где было опубликовано описание логического устройства вычислительной машины с хранимой в памяти программой — та концепция, которая впоследствии стала известна как «архитектура фон Неймана».

EDVAC —это потомок культовой ЭВМ ЭНИАК, несовершенство которой быстро стало очевидным. ЭНИАК скорее вёл себя как гигантский электронный калькулятор, а не как компьютер. Для того, чтобы внести изменения в программу расчётов, необходим был утомительный процесс перекоммутации и длительная работа нескольких операторов по замене и сортировке перфокарт, а также по замене перегоревших ламп. После каждого перепрограммирования ЭНИАК как будто становился новым компьютером, и всю работу необходимо было начинать заново. Фон Нейман предположил, что избавление от необходимости перекоммутировать машину при перепрограммировании может значительно ускорить процесс обработки данных. Если бы компьютер мог запомнить свою конфигурацию, дело пошло бы гораздо быстрее. В этом и была идея EDVAC.

Джон фон Нейман рядом с компьютером IAS, прибл. 1950 г. Справа — обложка проекта отчёта по EDVAC. Источник: cacm.acm.org

В разработку проекта EDVAC фон Нейманом легли принципы работы нейросетей Питтса и МакКаллока. Только вместо нейронов использовались вакуумные трубки, игравшие роль логической воронки. В роли памяти компьютера выступали как раз циклы Питтса.

На Второй Конференции по кибернетике Питтс объявил, что он собирается написать докторскую диссертацию на основе построения трёхмерной модели нейросетей. Это стало одной из самых амбициозных математических задумок столетия. Но те, кто когда-либо работал с Питтсом, не сомневались, что он справится.

РЕЗКОЕ ПАДЕНИЕ

Всё это время Питтс уже не жил в доме МакКаллока. Он квартировался на Бэйкон стрит в Бостоне вместе с другими студентами. И МакКаллок, и Питтс ощущали острую нехватку друг друга. Несмотря на научно-исследовательские успехи, Питтс пишет МакКаллоку:

Каждую неделю я испытываю острую тоску по нашим вечерам и ночным разговорам.

У Питтса в жизни был только один дом — дом МакКаллока. Без него он так и не научился чувствовать себя счастливым. МакКаллок испытывал примерно те же чувства без своего молодого друга и соратника.

В 1952 г. МакКаллоку предложили работу над новым проектом в Массачусетском технологическом институте, и он не раздумывая согласился променять свой уютный дом на обтрёпанную квартирку в Кембридже — ведь это означало совместную работу с Питтсом. Исследования проекта проводились на стыке теории информации, нейрофизиологии, статистической механики и компьютерных технологий — и с их помощью предполагалось понять, как в мозге человека зарождается мысль. Теперь Винер, Леттвин, МакКаллок и Питтс работали вместе в штаб-квартире на Вассар Стрит, 20.

Норберт Винер с супругой и незнакомцем. Источник: dl.tufts.edu

А потом разразился семейный скандал, связанный с супругой Винера. Маргарет Винер отличалась консервативными нравами, в отличие от супруги МакКаллока, которая с удовольствием принимала гостей в своём доме под Чикаго. Маргарет не переносила семьи МакКаллок, и известие о его переезде в Кембридж заставило её пойти на решительные меры. Она сообщила своему супругу, что несколько гостей МакКалока соблазнили их дочь Барбару, пока она гостила в их доме. Винер пришёл в ярость и порвал все связи с Питтсом и Леттвином:

Прошу сообщить [Питтсу и Леттвину], что я не желаю более иметь дела с вашими проектами. Пусть остаются вашей головной болью.

Для Питтса эта новость символизировала начало конца. Винер, который стал для него одним из первых наставников, изгнал его из своей жизни, не вступая в объяснения. Это стало не только большой эмоциональной потерей в жизни Питтса. Всё было гораздо хуже: это ещё раз подкосило такую хрупкую логику жестокого внешнего мира.

А потом произошла история с лягушками. В одном из подвалов лабораторий МТИ содержалась целая колония подопытных лягушек. В то время биологи полагали, что глаз работает подобно фотографической плёнке, регистрируя световые точки и планомерно посылая их к мозгу, где они и обрабатывались. Леттвин решил проверить эту гипотезу, вскрывая черепа лягушек и подсоединяя электроды к тканям зрительного нерва.

Питтс и Леттвин с подопытной участницей эксперимента. 1959 г. Источник: nautilus

В компании с Питтсом, МакКаллоком и чилийским биологом Гумберто Матурана он подвергал лягушек различным опытам: зажигал и затенял свет, показывал цветные фотографии, запускал искусственных мух и регистрировал все сигналы, посылаемые от зрительного нерва лягушек в мозг. Ко всеобщему удивлению, глаз регистрировал вовсе не всё, что попадало в поле зрения, а фильтровал и анализировал информацию по контрасту, кривым и движению. В ставшей классической работе 1959 г. «Что говорит глаз лягушки мозгу лягушки» эта группа учёных напишет:

Глаз говорит с мозгом на языке, который уже обладает чертами высокой организации и интерпретации.

Это полностью сокрушило до этого стойкую картину мира Питтса. Вместо логичной чётко структурированной вычислительной работы головного мозга, понейронно обрабатывающего сигналы по законам формальной логики, получилось, что часть работы по интерпретации информации отдана хаотично организованной работе зрения. Как выяснилось, логика в нашем восприятии и обработке информации занимала отнюдь не центральное место.

Осознание этого факта привело Питтса к глубокой многолетней депрессии. Сам он писал о своих чувствах:

[моё состояние] разделят, пожалуй, все люди с избыточно развитой логикой, работающие в сфере прикладной математики. Этот пессимизм порождён собственной неспособностью более верить в принципы индукции или в принципы единства природы. Если никто не может доказать вероятную возможность того, что солнце завтра взойдёт, как же можно верить в то, что оно взойдёт?

Питтс ушёл в серьёзный хронический алкоголизм, отвернулся от друзей. Он отказался от получения докторской степени и сжёг свою диссертацию — уничтожил своими руками всё, над чем работал долгие годы, оставив своих коллег и последователей без ценнейшей научной информации.

Он всё ещё числился сотрудником МТИ, но в стенах университета его видели всё реже.Питтс так и остался двенадцатилетним мальчиком-изгоем. Только теперь он находил успокоение не в библиотеке, а в бутылке с алкоголем.

Вера в универсальность законов логики не позволила Питтсу создать практически применимую модель головного мозга, поэтому его работы остались в тени дальнейшего развития истории нейронауки. Питтс настолько полагался на незыблемость математических концепций, что не видел ограничений, которые они накладывают на реальный мир. Природа зачастую логике предпочитает непредсказуемость, и Питтс чувствовал себя обманутым. На этот раз его предали не близкие люди, а его главная жизненная опора — математика.

В 1969 году Питтс скончался в одиночестве от цирроза печени. Четыре месяца спустя ушёл из жизни и его главный друг, МакКаллок — как будто существование одного без другого представлялось этой хаотичной планете нелогичным.