Читать бесплатно онлайн книгу Если кто-то его создаст — все погибнут
Элиезер Юдковский, Нейт Соарес
Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех
Всем людям,
умершим в ходе долгой истории нашего вида,
всем, кто еще жив,
и всем детям,
которые когда-нибудь могут появиться
Eliezer Yudkowsky and Nate Soares
If Anyone Builds It, Everyone Dies
Why Superhuman AI Would Kill Us All
Перевод с английского Евгения Поникарова
© 2025 by Eliezer Yudkowsky and Nate Soares
© Е. Поникаров, перевод на русский язык, 2026
© А. Бондаренко, художественное оформление, макет, 2026
© ООО “Издательство Аст”, 2026
Издательство CORPUS ®
Введение
Сложные прогнозы и простые прогнозы
“Снижение риска вымирания человечества из-за искусственного интеллекта должно стать глобальным приоритетом – наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба”.
В начале 2023 года сотни ученых, работающих в сфере искусственного интеллекта, подписали открытое письмо, содержавшее одну эту фразу. Среди тех, кто поставил подпись, были весьма титулованные специалисты в этой области, в частности нобелевский лауреат Джеффри Хинтон и Йошуа Бенджио, получившие премию Тьюринга за создание глубокого обучения.
Мы, Элиезер Юдковский и Нейт Соарес, также подписали это письмо, хотя и сочли его формулировку слишком сдержанной.
Ни нас, ни других подписантов не беспокоят ИИ-модели образца 2023 года. Нас не беспокоят и те модели, что существуют на момент написания этих строк – в начале 2025 года. Современные ИИ-модели все еще кажутся поверхностными в каком-то глубинном смысле, который сложно описать. У них есть ограничения: например, неспособность формировать новые долговременные воспоминания. Эти недостатки пока что не позволяют им проводить серьезные научные исследования или заменять людей на рабочих местах в сколько-нибудь значимом количестве[1].
Наше беспокойство вызывает то, что появится дальше: машинный интеллект, который будет по-настоящему разумным – разумнее любого человека и даже всего человечества в целом. Нас тревожит ИИ, который превзойдет человеческую способность мыслить, обобщать опыт, решать научные задачи, изобретать новые технологии, планировать, вырабатывать стратегии, просчитывать ходы и совершенствовать себя. Когда он превзойдет человека почти во всех интеллектуальных задачах, такой ИИ можно будет назвать искусственным сверхинтеллектом.
Пока еще ИИ-модели не достигли этого уровня. Но сегодня они умнее, чем в 2023 году, и значительно умнее, чем в 2019-м. Исследования в области искусственного интеллекта приводили к одному скачку за другим: в 2012, 2016, 2020, 2022 и 2024 годах[2]. Мы не знаем, выдохнется ли этот прогресс, взяв паузу на какое-то время, пока не появятся новые методы и технологии. Мы не знаем, сколько таких скачков отделяет нас от момента, когда ИИ станет угрозой уровня вымирания, о которой предупреждали авторы открытого письма. Однако история раз за разом показывает: исследователи в области ИИ изобретают новые методы и преодолевают старые препятствия. Зачастую прогресс идет удивительно быстрыми темпами. В 2015 году большинство специалистов по компьютерным наукам сказали бы вам, что собеседник уровня ChatGPT появится только лет через тридцать или даже пятьдесят.
Мы не знаем, когда появится искусственный сверхинтеллект, но согласны, что эта проблема должна иметь глобальный приоритет. Более того, мы считаем, что вышеуказанное открытое письмо сильно недооценивает серьезность проблемы.
Нас пригласили подписать то письмо из одной фразы, поскольку мы руководим Институтом исследований машинного интеллекта (MIRI). Эта некоммерческая организация работает над вопросами, связанными с машинным сверхинтеллектом, с 2001 года, то есть она начала задаваться этими вопросами задолго до того, как они стали широко обсуждаться и привлекать финансирование. Если говорить упрощенно: среди тех немногих, кто следит за этой темой десятилетиями, принято считать, что именно MIRI работает над ней дольше всех. Один из нас, Юдковский, – основатель MIRI; другой, Соарес, – его нынешний президент.
MIRI – первая организованная группа, которая заявила: “В какой-то момент появится искусственный сверхинтеллект, и это событие представляется чрезвычайно важным. Возможно, будет технически сложно направить работу сверхинтеллекта в такое русло, чтобы он помогал человечеству, а не вредил ему. Не лучше ли приступить к решению этой задачи прямо сейчас, а не ждать, пока ситуация превратится в масштабный кризис?”
Но начинали мы не с этого. В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна.
Первые два десятилетия своего существования MIRI был институтом технических исследований, практически не участвовавшим в политике. Организация в основном проводила семинары для заинтересованных ученых и давала пристанище нескольким многообещающим исследователям. Мы пытались разработать математический аппарат для понимания и формирования сверхчеловеческого машинного интеллекта, а также для предсказания, что может пойти не так.
Деятельность MIRI имела и непрямые последствия, к которым мы теперь относимся неоднозначно или с сожалением. На одной из организованных нами конференций мы познакомили Демиса Хассабиса и Шейна Легга, основателей компании, которая сейчас называется Google DeepMind, с первым их крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковский “привил многим из нас интерес к ОИИ[3]” и “сыграл ключевую роль в решении запустить OpenAI”[4].
История MIRI сложна, но наши взаимоотношения со всей этой сферой можно описать так: за несколько лет до появления нынешних ИИ-компаний любой, кто хотел, невзирая на риск вымирания, создавать по-настоящему умную модель ИИ, должен был сперва отмахнуться от наших предупреждений.
Позже, когда сфера ИИ начала набирать обороты, мы с тревогой наблюдали, как некоторые люди, основывающие новые компании, заговорили об искусственном сверхинтеллекте как об источнике огромной чудесной силы. Силы, которую они, как им казалось, сумеют контролировать. По мнению многих из них, главная опасность заключалась в том, что искусственный сверхинтеллект может “оказаться” не у тех людей. Они рассуждали о необходимости выиграть “гонку вооружений в области ИИ”. А вот о том, что искусственный сверхинтеллект “окажется” у самого же искусственного сверхинтеллекта – то есть единственным победителем в гонке вооружений в области ИИ будет сам искусственный сверхинтеллект, – основатели компаний не говорили.
Мы видели, что возможности ИИ росли крайне быстро.
Мы видели, что та область исследований, где работали мы сами, – ставящая своей целью понять ИИ и, возможно, не дать ситуации пойти по плохому сценарию – развивалась намного, намного медленнее.
Безоглядное рвение ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта – их стремление создать его как можно быстрее, опередив конкурентов, – стало выглядеть для нас как гонка по нисходящей. Индустрия неслась под откос: ситуация могла бы войти в учебники в качестве примера, как не надо вести разработки (правда, написать такой анализ было бы уже некому).
Мы уже не верили, что человечество сумеет найти выход из катастрофической ситуации с помощью инженерных решений и исследований. Не в таких условиях. Не к нужному сроку.
Мы сочли наши предыдущие усилия провальными, свернули бóльшую часть исследований MIRI и направили ресурсы института на донесение одной-единственной мысли – предупреждения, лежащего в основе этой книги:
Если какая-либо компания или группа на планете создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, и основываясь на понимании ИИ, даже отдаленно похожем на нынешнее, то погибнут все люди на всей Земле.
Это не гипербола. Мы не преувеличиваем ради эффекта. Мы считаем, что это самая прямая экстраполяция современных знаний, данных и институционального поведения в области искусственного интеллекта.
В этой книге мы излагаем наши доводы в надежде сплотить достаточное число как лиц, принимающих важные решения, так и обычных людей – чтобы они отнеслись к ИИ серьезно. Исход по умолчанию летален, однако ситуация пока еще не безнадежна: машинного сверхинтеллекта пока не существует, и его создание все еще можно предотвратить.
Как можно быть в чем-то уверенным, когда дело касается искусственного интеллекта? Известный афоризм гласит: “Предсказывать очень трудно, особенно будущее”. Бóльшая часть того, что мы хотели бы знать о будущем, на самом деле не поддается прогнозированию. Например, мы не можем назвать вам выигрышные номера лотереи на следующей неделе. Все наборы чисел выглядят одинаково вероятными.
Но некоторые факты о будущем действительно предсказуемы. Предположим, завтра вы купите лотерейный билет. Мы не знаем, какими изощренными теориями или уловками вы воспользуетесь при выборе чисел, и не знаем, какие номера выпадут. Но вся эта неопределенность сводится к весьма надежному прогнозу: скорее всего, вы не выиграете. Аналогично, если бросить кубик льда в стакан с горячей водой, невозможно предсказать, где окажется каждая конкретная молекула десять минут спустя. Однако вся эта неопределенность складывается в прогноз, близкий к достоверному: кубик льда растает. По такому принципу работает существенная часть физики: мы знаем, куда ведут почти все пути, даже если не можем просчитать, какой именно путь будет выбран.
Одни аспекты будущего возможно предсказать, имея нужные знания и прикладывая усилия; другие же предсказать почти невозможно. Компетентная футурология строится на понимании этой разницы.
История учит нас, что относительно легко прогнозировать будущее следующим образом: вы осознаете, что нечто выглядит теоретически возможным в соответствии с законами физики, и предсказываете, что со временем кто-нибудь это сделает. Полеты аппаратов тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, – все это было предсказано заранее, и на то имелись разумные причины, несмотря на возражения скептиков, которые с умным видом изрекали, что раз этого еще не произошло, то, вероятно, не произойдет никогда. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, они калечились и терпели неудачи, их высмеивали современники – однако это не остановило братьев Райт, которые поняли, как нужно летать.
Но куда более сложная задача – предсказать, когда именно появится та или иная технология. Люди могут утверждать, что до появления технологии осталось года два, тогда как на самом деле – все пятьдесят, или заявляют про пятьдесят лет, когда на самом деле – всего два года, причем они сами же эту технологию и создадут. “Человек не будет летать еще тысячу лет”, – бросил Уилбур Райт Орвиллу в 1901 году, когда братьев измучили неудачи при испытаниях безмоторного планера. Два года спустя, в 1903-м, аэроплан братьев Райт поднялся в воздух.
Успешное прогнозирование заключается не в том, чтобы проявить достаточно ума и предсказать те детали, которые обычно предсказанию не поддаются. И не в том, чтобы придумать полную историю того, что произойдет в будущем, а затем чудесным образом оказаться правым. Дело в поиске тех аспектов будущего, прогнозировать которые просто, если смотреть под правильным углом.
Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем отношении к искусственному интеллекту. Мы не знаем, какие заголовки об ИИ появятся через два года или десять лет, и даже не знаем, есть ли у нас в запасе эти десять лет. Мы не претендуем на звание настолько умных, что якобы можем предсказывать по-настоящему труднопредсказуемые вещи. Нам просто кажется, что один конкретный аспект будущего – что произойдет со всеми людьми и всем, что им дорого, если сверхинтеллект будет создан в ближайшее время, – cпрогнозировать вполне легко, если воспользоваться имеющимися знаниями и аккуратными рассуждениями.
На первый взгляд гибель человечества из-за сверхчеловеческого ИИ не выглядит логичным прогнозом. Но как раз для этого и написана наша книга. Точно так же как арифметика нужна, чтобы рассчитать шансы на победу в лотерее, а термодинамика – чтобы объяснить, почему ледяной кубик предсказуемо растает, необходима определенная подготовка, чтобы понять, почему искусственный интеллект несет угрозу неизбежного вымирания человечества. И стоит заложить такой фундамент, как прогноз исхода нынешней траектории становится удручающе, до ужаса очевидным.
Даже перед лицом сверхчеловеческого машинного интеллекта может возникнуть соблазн поверить, будто мир останется таким же, каким он был в последние десятилетия нашей относительно короткой жизни. Нам трудно осознать, что всего несколько столетий назад цивилизация кардинально отличалась от нынешней. Несколько тысячелетий назад цивилизация только зарождалась. Несколько миллионов лет назад не существовало людей. Миллиард лет назад только появлялись специализированные клетки.
Историческая перспектива помогает нам осознать то, что трудно увидеть из-за короткой продолжительности нашей жизни: природа допускает потрясения. Природа допускает бедствия. Природа допускает, что мир никогда не будет прежним.
Некогда – 2,5 миллиарда лет назад – произошло событие, которое биологи называют кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света для извлечения ценного углерода из воздуха. В качестве отходов жизнедеятельности эти организмы выделяли химически активное вещество, ядовитое для большинства существовавших тогда форм жизни: сейчас мы называем его “кислород”. Это вещество постепенно накапливалось в атмосфере. Основная часть живых существ, включая и большинство бактерий, выделявших этот самый кислород, не сумели справиться с его химической активностью и погибли. Лишь немногие удачливые линии клеток приспособились и со временем эволюционировали в организмы, использующие кислород как топливо. Но к прежней норме возврата не было. Мир уже никогда не был прежним.
Некогда континенты были бесплодными камнями. Затем, по эволюционным меркам – в мгновение ока, они покрылись ковром растительности. И вскоре в лесах забурлила жизнь. Мир уже не был прежним.
Некогда люди одомашнили пшеницу и ячмень. Спустя ничтожный с эволюционной точки зрения миг они начали строить цивилизации. Мир уже не был прежним.
Некогда – в 1930-е годы – появились тревожные признаки того, что над некоторыми семьями в Германии нависла опасность. Немногие уехали заблаговременно, большинство осталось. Затем нацистское правительство лишило их гражданства и паспортов, сильно затруднив отъезд. Через несколько лет немецких евреев, цыган и других людей начали хватать и отправлять в лагеря смерти. Воспоминания выживших свидетельствуют, что многие семьи остались не потому, что не видели тревожных знаков, а потому, что верили: жизнь вернется к норме прежде, чем все зайдет слишком далеко1.
Некогда человечество стояло на пороге создания искусственного сверхинтеллекта…
Нормальность всегда заканчивается. Это не значит, что ей на смену неизбежно придет что-то худшее. Иногда – да, иногда – нет, и порой это зависит от наших действий. Однако надежды, что ничто слишком плохое просто не может случиться, как правило, не помогают.
Люди обладают способностью управлять будущим с помощью своего интеллекта. Но эта способность работает, только если мы ее используем – если делаем то, что должны, тогда, когда это нужно. В противном случае интеллект не имеет силы. Он или работает, изменяя наши действия, или не работает вовсе.
Грядущие годы станут для всего человечества испытанием не на жизнь, а на смерть. Своей книгой мы надеемся вдохновить отдельных людей и целые страны достойно ответить на этот вызов.
В следующих главах мы изложим научные основания нашего беспокойства, обсудим порочные стимулы, движущие современной индустрией ИИ, и объясним, почему ситуация еще плачевнее, чем кажется. Мы в доступной форме покажем недостатки современного машинного обучения и объясним, почему нынешние методы ведут к созданию искусственного интеллекта, уничтожающего мир, а не улучшающего его.
В части I мы излагаем суть проблемы, отвечая на ряд вопросов. Что такое интеллект? Как создают современные ИИ-модели и почему их так трудно понять? Могут ли они иметь желания? Появятся ли эти желания? Если да, то чего ИИ-модели захотят и почему они захотят нас убить? Как они нас убьют? В итоге мы прогнозируем появление ИИ-моделей, не испытывающих к нам ненависти, но обладающих странными и чуждыми предпочтениями, следовать которым они будут до вымирания человечества.
В части II мы собираем воедино все эти аспекты и рассказываем историю о модели ИИ, которая уничтожает мир, очень похожий на наш. Эта история – не предсказание, поскольку точный путь, по которому пойдет будущее, спрогнозировать сложно. Единственная часть этой истории, которая служит предсказанием, – ее финал, и это предсказание сбудется, если мы позволим подобной истории начаться.
В части III мы оцениваем сложность вызова, стоящего перед человечеством, и рассматриваем принимаемые сейчас меры. Насколько хорошо компании, занимающиеся ИИ, справляются с этой проблемой? Почему мир уделяет проблеме так мало внимания? Что наше общество может сделать по-другому, если достаточное количество людей решит не умирать? Что потребуется, чтобы Земля не создала машинный сверхинтеллект?
На сайте IfAnyoneBuildsIt.com подготовлено онлайн-дополнение к этой книге. В конце каждой главы вы найдете URL-адрес дополнительных материалов к ней. Это выглядит так:
IfAnyoneBuildsIt.com/intro
У людей есть самые разные, зачастую противоположные представления об искусственном интеллекте, и за эти годы мы услышали множество вопросов и возражений, проистекающих из широкого спектра предположений и точек зрения. В дополнительные материалы мы включили оговорки, тонкости и часто задаваемые вопросы, а также основные теоретические положения и развернутые аргументы, которые сделали бы эту книгу в несколько раз толще и гораздо менее доступной для понимания. Если после прочтения какой-либо главы у вас возникнут возражения, мы призываем вас перейти к онлайн-материалам.
Многие главы начинаются с притч – историй, которые, мы надеемся, помогут донести определенные мысли в более простой форме. А еще они привносят немного несерьезности в эту тяжелую тему. Тут мы следуем очень старой традиции – возможно, более древней, чем человеческий вид в его нынешней форме, – традиции смеяться в лицо смерти.
Признаться, в этой книге мало хороших новостей. Но мы и не утверждаем, что вы обречены. Искусственного сверхинтеллекта пока не существует. Человечество все еще может принять решение не создавать его.
В 1950-х годах многие ожидали, что между ведущими мировыми державами начнется ядерная война. С учетом предыдущей истории человеческих конфликтов причин для пессимизма хватало. Тем не менее ядерной войны до сих пор не случилось. И не потому, что ядерные бомбы оказались чистой научной фантастикой и не воплотились в реальность, а потому, что люди целенаправленно выстраивали устойчивые системы, призванные не допускать ядерных войн. Человечество пошло на это, поскольку мировые лидеры понимали: в случае ядерной войны плохо придется и им самим, и народам их стран.
Плохо придется им и в том случае, если кто-либо где-либо на планете создаст машинный сверхинтеллект. Никому не хочется умирать вместе со своей семьей и друзьями, со своей страной и ее детьми.
Остановить продолжающуюся эскалацию ИИ-технологий, взять под контроль аппаратное обеспечение, используемое для создания все более мощных моделей искусственного интеллекта, – непростая задача для современного мира. Но чтобы остановить дальнейшее наращивание возможностей ИИ, потребуется гораздо меньше усилий, чем, скажем, для победы во Второй мировой войне. Для пробуждения воли к жизни достаточно, чтобы некоторые страны, их руководители и избиратели, осознали, что люди стоят у края пропасти – возможно, на ничтожном расстоянии, пусть даже его трудно оценить.
Задача не из легких, но мы еще не погибли. Достоинство человека и достоинство всего человечества обязывают нас бороться.
Пока есть жизнь, есть и надежда.
Если это правда, то произошло это вопреки мнению Юдковского: он считал, что OpenAI – ужасная идея.
Термин ОИИ (общий искусственный интеллект) предназначен для того, чтобы отличать ИИ, который интуитивно кажется “действительно умным”, от узкоспециализированных ИИ-моделей прошлого. В нашей книге мы избегаем этого термина, поскольку специалисты расходятся во мнениях, что же именно он подразумевает в свете появления ИИ-моделей, подобных ChatGPT.
В 2012 году нейронная сеть AlexNet начала справляться с проблемой распознавания изображений. В 2016-м программа AlphaGo победила лучшего игрока в го. В 2020-м появилась (чисто предиктивная) языковая модель GPT-3. В 2022-м появился (широко используемый) чат-бот ChatGPT. В 2024-м рассуждающие модели начали хорошо писать код и гораздо лучше решать математические задачи и визуальные головоломки.
Авторы благоразумно указали, что пишут эти строки в начале 2025 года. Сегодня, буквально через год, оба процесса уже вовсю начинают происходить, хотя проблема долгосрочной памяти у языковых моделей еще не вполне решена. (Прим. науч. ред.)
Часть I
Нечеловеческий разум
Глава 1
Особая сила человечества
Представьте себе, – хотя, конечно, ничего подобного никогда не происходило, ибо это всего лишь притча, – что биологическая жизнь на Земле стала результатом игры богов. Что был бог-тигр, создавший тигров, бог-секвойя, создавший секвойи, и боги разных видов рыб и бактерий. Вообразите, что боги-игроки соперничали друг с другом, добиваясь доминирования своих видов, пока эти формы жизни пресмыкались внизу.
Представьте, что примерно два миллиона лет назад некий непримечательный бог-гоминид окинул взглядом огромное – во всю планету – игровое поле.
– Мне понадобится еще несколько ходов, – сказал он, – но, думаю, результат игры предрешен.
Воцарилось недоуменное молчание: боги в замешательстве разглядывали игровое поле, пытаясь понять, что они упустили.
Бог-скорпион спросил:
– Как это? У твоих гоминидов нет ни брони, ни когтей, ни яда.
– У них есть мозг, – ответил бог-гоминид.
– Я нашлю на них болезнь, и они умрут, – фыркнул бог-оспа1.
– Это ненадолго, – парировал бог-гоминид. – Тебе быстро придет конец, Оспа, – как только их мозг научится с тобой бороться.
– У них даже не самый большой мозг! – воскликнул бог-кит.
– Дело не только в размере, – пояснил бог-гоминид. – Важна еще и конструкция их мозга. Дайте им два миллиона лет, и они ступят на луну своей планеты.
– Что-то я не вижу, где в метаболизме этого существа производится ракетное топливо, – сказал бог-секвойя. – Нельзя силой мысли выйти на орбиту. В какой-то момент твоему виду нужно развить метаболизм, который будет очищать ракетное топливо. Самим организмам придется стать довольно крупными, в идеале – высокими и узкими, с твердой внешней оболочкой, чтобы не раздуться и не умереть в космическом вакууме. Как бы усердно ни умел думать твой вид, он останется прикованным к земле, просто усердно думающим.
– Некоторые из нас играют в эту игру уже миллиарды лет, – вступил в разговор бог-бактерия, покосившись на бога-гоминида. – И до сих пор мозг не давал такие уж большие преимущества.
– И тем не менее, – ответствовал бог-гоминид.
А вот как на самом деле развивалась история нашего вида. Люди обзавелись мозгом – необычайно большим для животного такого размера. Они укротили огонь, занялись сельским хозяйством и научились плавить железо. Через поразительно короткое по меркам биологической эволюции время люди высадились на Луну, хотя наш метаболизм не умеет очищать ракетное топливо, а наша кожа не приспособлена к космическому вакууму.
Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры возводят плотины. Человек смотрит на плотину бобра и выясняет, как она устроена. Мы освоили строительство плотин, хотя эти знания не были заложены в наших генах. Теперь мы перекрываем реки плотинами, как бобры, строим себе дома, как пчелы, плетем сети из нитей, как пауки. Кроме того, мы создаем электростанции и космические ракеты, чего не делает ни один другой вид.
Люди умеют делать то, чего никогда не делали их предки и чего не могут делать другие животные, благодаря качеству, которое иногда называют “интеллектом”. Бóльшая часть наших способностей не запрограммирована в наших генах – просто мы наблюдали, пробовали, запоминали, обобщали и в итоге добивались результата.
Способность к обучению присуща не только людям. Мозг мыши может научиться ориентироваться в лабиринте. Но мы способны делать больше и на более высоком уровне. Можем изучать химические процессы и находить более дешевые удобрения. Можем ставить сложные эксперименты, постигать законы физики и изобретать спутники. Можем даже сажать мышей в лабиринты и изучать, как они обучаются.
Человеческий мозг способен прокладывать более разнообразные пути через более широкий срез реальности, нежели мозг любого другого животного. В этом и заключается наша особая сила.
Как работает эта особая сила? Что именно она делает и каким образом?
На наш взгляд[5], интеллект сводится к двум фундаментальным типам работы: по прогнозированию мира и по управлению им.
“Прогнозирование” – это угадывание того, что вы увидите (или что услышите, или к чему прикоснетесь), еще до самого момента восприятия. По дороге в аэропорт ваш мозг успешно справляется с задачей прогнозирования всякий раз, когда вы предугадываете, что сигнал светофора станет желтым или что водитель впереди нажмет на тормоз.
“Управление” – это поиск действий, которые приводят вас к определенному выбранному результату. По дороге в аэропорт ваш мозг успешно справляется с задачей управления, когда находит последовательность уличных поворотов, ведущую в аэропорт, и правильные нервные сигналы для сокращения мышц, чтобы вы поворачивали руль.
Большинство последовательностей нервных импульсов, которые ваш мозг может послать к пальцам, не приведут к правильному повороту руля. Подавляющее большинство возможных последовательностей нервных импульсов вызовет беспорядочные судорожные движения – со стороны это будет выглядеть припадком. И тем не менее ваш мозг регулярно умудряется подбирать именно те конфигурации нервных импульсов, которые управляют автомобилем или удерживают вас в вертикальном положении, за счет того, что выуживает правильные варианты из бесчисленного множества неправильных. По дороге в аэропорт ваш мозг не просто вычисляет конкретную последовательность поворотов, ведущую к месту назначения, – он выбирает одну комбинацию нервных импульсов из несметного количества возможных, чтобы ваши мышцы сокращались именно так, как нужно для правильных поворотов руля.
Прогнозирование и управление тесно переплетены. Управление автомобилем на пути в аэропорт может включать прогнозирование того, какие маршруты ведут к нужной улице[6]. А чтобы спрогнозировать, какие маршруты ведут к нужной улице, возможно, потребуется управление пальцами – посмотреть карту на телефоне.
И все же между прогнозированием и управлением есть фундаментальная разница, и она, как выяснится ниже, имеет огромное значение. Успех в прогнозировании легко определить. Если человек ожидает увидеть впереди улицу перед аэропортом, а вместо этого видит какую-то другую, его прогноз был неверным.
А вот чтобы судить об успешности управления, необходимо иметь представление, куда этот человек планировал попасть.
Машина водителя оказалась у супермаркета. Отличная новость, если он хотел купить продукты. Но неудача, если он пытался добраться до отделения неотложной помощи в больнице.
По мере того как два жителя одного города становятся умнее, можно ожидать, что они будут все чаще сходиться в вопросах прогнозирования: например, в вопросе о том, наблюдаются ли обычно пробки на главной улице в пять часов вечера по будням. Однако нет оснований ожидать, что они направятся в одни и те же места: один может предпочесть пойти в парк, а другой – в театр.
Иными словами, разумные существа могут направляться к разным целям, и это не свидетельствует о недостатке их интеллекта.
Прогнозирование и управление присущи не только биологическому разуму, на это способны и машины. Однако на данный момент люди все еще остаются лучшими на планете в…
А в чем именно? Мы проигрываем машине в шахматы. Не только мы пользуемся языком. Не только мы способны читать медицинскую карту или диагностировать опухоль.
Люди по-прежнему чемпионы в чем-то более глубоком, хотя описать эту особенность теперь сложнее, чем когда-либо раньше.
У людей, как нам кажется, по-прежнему сохраняется преимущество в том, что можно назвать “универсальностью”. Что это означает? Мы бы сказали так: интеллект тем универсальнее, чем шире тот спектр областей, где он способен прогнозировать и управлять. Люди не обязательно лучшие во всем – пожалуй, мозгу осьминога лучше дается управление восемью щупальцами. Но в более широком смысле очевидно, что люди – более универсальные мыслители, нежели осьминоги. У нас больше областей, где мы можем успешно прогнозировать и управлять.
Некоторые модели ИИ уже умнее человека в определенных сферах. В 1997 году суперкомпьютер Deep Blue, созданный компанией IBM, впервые обыграл чемпиона мира по шахматам. Deep Blue был весьма искусен в прогнозировании и управлении, когда дело касалось шахмат. Но он не сумел бы спрогнозировать, как попасть в продуктовый магазин и купить молоко, не говоря уже о том, чтобы добраться туда на автомобиле. Человеческий разум может быть более или менее сведущим в различных областях прогнозирования и управления.
Современные модели ИИ гораздо более универсальны в своих способностях. Вы можете спросить модель OpenAI под названием “o1”, какой окажется температура Земли, если излучение Солнца сместится в инфракрасный диапазон, и она найдет ответ, проведя физические расчеты. Затем вы можете спросить, сумеет ли человечество выращивать пищу в этом новом мире, и она ответит, опираясь на свои знания по биологии растений. Модель o1 не переключается “под капотом” между двумя разными базами данных, она просто знает и физику, и биологию.
Модель o1 знает, что снаружи существует целый мир, и способна рассуждать о нем. Компьютер Deep Blue об этом понятия не имел. На то, чтобы искусственный интеллект достиг такого уровня, ушли десятилетия.
И все же способность o1 к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов. Люди по-прежнему на высоте, когда речь идет о технологиях и науке; серьезные прорывы совершают исследователи-люди, а не ИИ-модели (пока). Более того, по-прежнему кажется – по крайней мере, авторам этой книги, – что модель o1 по уровню разумности уступает даже тем людям, которые не совершают великих научных открытий. Все труднее четко сформулировать, чего же именно ей не хватает, но все же нас не покидает ощущение, что o1 в каком-то важном смысле “поверхностна” по сравнению с двенадцатилетним ребенком[7], пусть даже она знает и помнит больше, чем любой человек.
Но так будет не всегда. Трудно предсказать, как быстро будет развиваться ИИ и по какому именно пути он пойдет, однако конечный результат предсказать легко, поскольку технологически машины обладают массой преимуществ перед биологическим мозгом. Вот некоторые из них.
Колоссальная скорость. Транзисторы (базовые кирпичики всех компьютеров) могут включаться и выключаться миллиарды раз в секунду, тогда как даже очень быстрые нейроны срабатывают всего сто раз за секунду. Это означает, что, даже если бы для выполнения работы одного нейронного импульса требовалась тысяча операций транзисторов и даже если бы искусственный интеллект был ограничен современным аппаратным обеспечением, мышление человеческого уровня можно было бы смоделировать на машине в десять тысяч раз более быстрым, не говоря уже о том, как мог бы работать ИИ с усовершенствованными алгоритмами и улучшенным оборудованием. Разуму, прогнозирующему и управляющему миром как минимум в десять тысяч раз быстрее любого человека, люди покажутся не более чем статуями, настолько медлительными, что произносят по слову в час2.
Возможность копирования. В современном мире требуется двадцать лет, а то и больше, чтобы вырастить одного нового человека и передать ему крохотную долю всех человеческих знаний. Но все равно мы не можем в полном объеме передавать успешные навыки мышления от одного человеческого разума другому – гений Альберта Эйнштейна умер вместе с ним. Искусственный интеллект в итоге будет существовать в ином мире, где гениальность можно будет воспроизводить по требованию.
Более быстрое совершенствование. Увеличение размера человеческого мозга сталкивается с естественным ограничением: большие головы младенцев не могут пройти через женский таз3. Совершенствование графических процессоров (специализированных компьютерных чипов, обеспечивающих высокую эффективность современных ИИ-моделей) и работающих на них алгоритмов происходит намного, намного, намного быстрее, чем человеческий вид способен эволюционировать в сторону расширения таза.
Больший объем памяти. Человеческий мозг насчитывает около ста миллиардов нейронов и ста триллионов синапсов (мест контакта между нейронами). По объему хранилища это превосходит большинство ноутбуков. Однако на момент написания этой книги дата-центр может хранить четыреста квадриллионов байт, доступных с задержкой не более пяти миллисекунд, что в тысячу с лишним раз превышает объем памяти человеческого мозга. Кроме того, современные модели ИИ обучаются на значительной части всей совокупности человеческих знаний и удерживают в памяти существенную их долю – такое достижение не под силу ни одному человеку.
Мышление более высокого качества. Когда дело касается мышления, качество бьет количество. Человек-шахматист обыграет любое число обученных обезьян, играющих совместно. Однако человеческий мозг – это вовсе не вершина качества мышления. Существует множество документально засвидетельствованных случаев, когда человеческий разум попадает в ловушки систематических ошибок. (Например, предвзятость подтверждения: склонность искать аргументы против тезисов, которые вам не нравятся, а не против тех, что нравятся. Представьте себе модель ИИ, лишенную этого недостатка.) И хотя в нашем мозгу сто миллиардов нейронов, большинство людей с трудом перемножают в уме трехзначные числа, а это значит, что мы используем свои нейроны совсем не так эффективно, как могли бы. Как человеческие нейроны вряд ли представляют собой предел возможной скорости вычислений, так и человеческие модели мышления вряд ли представляют собой предельные возможности интеллектуальных алгоритмов.
Возможность экспериментировать над собой и переписывать себя. Модели ИИ смогут создавать копии самих себя, проводить над ними эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. Им гораздо проще подключить к себе новые вычислительные модули, нежели людям – подключить компьютеры к биологическим нейронам. ИИ-модели смогут конструировать немного отличающиеся версии самих себя, чтобы проверять, какие варианты будут работать лучше. ИИ сможет совершенствоваться гораздо быстрее, чем люди.
Разумы, мыслящие со сверхчеловеческим качеством и со скоростью, в десять тысяч раз превышающей нашу, не стареющие и не умирающие, создающие копии своих самых успешных вариантов, отточенные миллиардами испытаний до нечеловеческих способов мышления, работающие без устали, умеющие обобщать точнее на основании меньшего количества данных и способные направить всю эту мощь интеллекта на анализ, понимание и в конечном счете на самосовершенствование, – такие разумы превзошли бы наши.
Гипотетический машинный интеллект, которому удастся превзойти человеческие возможности во всех практически важных областях нашей деятельности, называли по-разному. Мы будем использовать термин “сверхинтеллект” (superintelligence), подразумевая разум, который намного способнее человеческого в решении почти любого типа задач управления и прогнозирования, по крайней мере тех задач, где возможно существенное улучшение по сравнению с человеческими показателями[8].
Известные нам законы физики теоретически позволяют машинам обогнать биологический мозг в прогнозировании и управлении. На практике искусственный интеллект еще не достиг этого уровня, но сколько времени пройдет, прежде чем он реализует все перечисленные нами преимущества?
Мы не знаем. Пути предсказать труднее, нежели конечные точки. Но ИИ-модели не останутся глупыми навсегда.
В 2021 году мировая общественность увидела результаты прорыва в алгоритмах, лежащих в основе того, что сейчас называют “генеративным”, или “порождающим”, искусством. У тех первых ИИ-моделей имелись свои ограничения: им плохо удавались пальцы, и люди получались с невозможными, жуткими руками. Некоторые поспешили заявить: “Посмотрите, как плохо ИИ рисует! Иллюстраторам нечего бояться за свои рабочие места”. Другие же подумали: “Но ведь пять лет назад ИИ-модели не могли рисовать даже так. Что же будет, если они станут лучше?” И они стали лучше.
Сегодняшние ИИ-модели отлично рисуют руки. Те корявые пальцы, созданные их ранними итерациями, стали худшим, что выдавало порождающее искусство.
Если смотреть на современные модели под правильным углом, можно увидеть поверхностность их интеллекта… и то, что более поверхностным ИИ уже никогда не будет.
Кроме того, путь к катастрофе может оказаться короче и быстрее, нежели путь прямой разработки сверхинтеллекта людьми. Ведь этот путь может проходить через модель ИИ, которая достаточно умна, чтобы внести существенный вклад в создание еще более умной версии.
В таком сценарии можно и, по сути, нужно ожидать запуска цикла положительной обратной связи, называемого “интеллектуальным взрывом”: модель ИИ создает более умную модель, которая придумывает, как создать еще более умную модель, и так далее.
