В сущности, главный тезис этой книги несложен: создание машин, которые мыслят быстрее и лучше людей, ударит по миру сильнее, чем что-либо прежде. Создание сверхинтеллектуальных машин относится к числу проектов, где легко сделать все неправильно. Похоже, что с нынешним подходом корпораций и законодателей к этому вопросу ничего хорошего не выйдет. Человечеству нужно отступить. Мы не можем рассчитать, когда именно наступит катастрофа, но это не означает, что она далеко.
Из названия ясно, что это алармистский научпоп-манифест. Авторы - руководители Института исследований машинного интеллекта (MIRI), которые занимаются вопросами изучения ИИ с начала двухтысячных и за это время они прошли стадии от идеалистического восхищения через скепсис к апокалиптическим пророчествам. И им нельзя не поверить.
Первая часть книги посвящена тому, что такое ИИ, истории его создания, технологиям создания ("выращивания", как пишут авторы) и принципам работы. На этой части я был очень внимателен, ведь есть шанс наконец разобраться. Пробираясь сквозь "вероятностные предположения", "веса" и "градиентные спуски" я понял, что теперь понимаю еще меньше. Ну и ладно.
Используя малопонятные научные термины, эксперты спорят, погибнут ли все на Земле быстро (наша точка зрения), или же нас оцифруют и станут держать в качестве питомцев для ИИ-моделей, которые будут проявлять о нас пусть и мизерную, но ненулевую заботу.
Затем авторы описывают причины, почему ИИ захочет от нас избавиться: мы одновременно представляем потенциальную угрозу, глупы и неэффективны. Так что шансов нет.
Представьте, что все конкурирующие ИИ-компании карабкаются по лестнице в полной темноте. На каждой ступеньке, кроме самой верхней, они получают в пять раз больше денег, чем на предыдущей: 10 миллиардов долларов, 50 миллиардов, 250 миллиардов, 1,25 триллиона. Но как только кто-то добирается до самой верхней ступеньки, лестница взрывается и уничтожает всех. Причем никто не знает, где лестница заканчивается.
...
Очевидно одно: если люди продолжат карабкаться по этой лестнице, то в какой-то момент человечество погибнет. Вопрос, когда именно, сложнее. Но если мы не перестанем подниматься в условиях такой неопределенности, наша гибель предсказуема.
И описывают возможный сценарий возникновения AGI (Artificial General Intelligence, искусственный общий интеллект) и одного из тысячи способов, как он все возьмет в свои цифровые руки. Спасение есть, но оно утопично: человечество должно объединиться, перестать вкладывать миллиарды долларов в разработку все более совершенных моделей ИИ, контролировать микрочипы. Централизовано по всему миру. Скорее ИИ нас уничтожит, чем такое произойдет
Особенно приятно, что именно 3 сентября 2026 года OpenAI представили GPT‑6 Astra (https://openai.com/index/gpt-6-astra/), которая, вроде как, может считаться AGI. Поэтому воспользуемся самым понятным советом из книги, который принадлежит ученому и богослову Клайву Стейплзу Льюису:
Если атомная бомба и уничтожит нас, пусть она застанет нас за достойными и человечными делами: молитвой, трудом, учением, чтением, слушанием музыки, купанием детей, игрой в теннис, беседой с друзьями за кружкой пива и партией в дартс, а не в виде кучки перепуганных овец, помышляющих лишь о бомбах.
А книжку обязательно прочитайте и посоветуйте всем, кто работает с ИИ
