ЭКЗИСТЕНЦИАЛЬНЫЕ РИСКИ И ГЛОБАЛЬНОЕ УПРАВЛЕНИЕ: интервью с инвестором и филантропом Яаном Таллинном (Часть I)
Фото: Анника Мецла
Яан Таллинн, сооснователь и соразработчик Skype и Kazaa, выбрал целью своей филантропической деятельности предупреждение и минимизацию экзистенциальных рисков для человечества.
Яан выступил соучредителем Центра по изучению экзистенциальных рисков в Кембридже и Института будущего жизни, кроме того, он финансово поддерживает другие организации, занимающиеся исследованиями в данной области.
Яан является активным бизнес-ангелом и партнером в инвестиционной компании Ambient Sound Investments, принимал участие в работе экспертной группы высокого уровня по искусственному интеллекту в Европейской комиссии и был директор-инвестором в ИИ-компании DeepMind, получившей известность благодаря разработке компьютерной системы AlphaZero, показавшей уникальные результаты в игре в шахматы и го.
Елена Бойцун, импакт-инвестор и основатель коммуникационной группы «Технологии и общество», провела с Яаном Таллинном разговор о современном состоянии вопросов разработки искусственного интеллекта и систем глобального управления.
Елена Бойцун: Яан, вы уже более десяти лет работаете над вопросами, связанными с экзистенциальными рисками, и выбрали эту тему ключевой для своей филантропической деятельности. Вы говорите, что ваша главная цель — снизить для человечества экзистенциальные риски, вызванные развитием технологий. Какой смысл вы вкладываете в это понятие?
Яан Таллинн: Существует широкое и сложное определение экзистенциального риска как катастрофического уменьшения максимального потенциала человечества. Например, можно представить, что когда-нибудь в будущем человечество будет жить на разных планетах в космосе, вообразите, что триллионы людей по всей вселенной живут счастливо и занимаются вещами, которые им интересны.
И затем однажды, в какой-то год, скажем — 2040-й, внезапно происходит что-то такое, из-за чего такая перспектива становится невозможной (предположим, какая-либо катастрофа). Согласно сложному определению, экзистенциальный риск — это риск, подобный такой катастрофе. Более простое определение — это просто риск того, что все умрут.
Е.Б.: Такие риски, безусловно, касаются всех.
Я.Т.: Экзистенциальные риски делятся на две категории. Одна из них — это природные риски. Например, мы знаем, что каждые 10 миллионов лет или около того появляется астероид достаточно большого размера и наносит удар по планете. Динозавры обнаружили, каково это, на собственном горьком опыте.
Поэтому, очень вероятно, что если мы подождем еще около 10 миллионов, 20 миллионов, 30 миллионов лет, то снова появится астероид, достаточно большой для того, чтобы уничтожить и человечество. Кроме того, время от времени возникает риск пробуждения супервулканов.
Может произойти достаточно сильное извержение, которое радикально изменит окружающую среду таким образом, что фактически может привести к вымиранию человечества как вида. Это типичные природные риски.
Вторая категория — технологические риски. Если мы хотим предсказать будущее планеты, самый важный фактор для этого — понимать, какие у нас будут технологии. Технологии — это то, что в некотором роде формирует будущее. В новой форме будущего могут быть элементы, которые действительно очень вредны для человеческого выживания.
Еще один способ взглянуть на этот вопрос — осознать, что размер планеты не увеличивается. В то же время эффективный радиус действия каждой новой технологии в среднем растет. Убить всех людей каменными топорами намного сложнее, чем уничтожить с помощью ядерного оружия или чего-то подобного, что еще даже не изобретено, но уже зарождается, например в рамках синтетической биологии.
Таким образом, конечно, есть большие риски того, что, продолжая непрерывно развивать технологии, мы входим в состояние, в котором мир становится все более хрупким, когда появляется все больше и больше вещей, которые все меньшее количество людей могут сделать случайно или намеренно, чтобы полностью разрушить будущее человечества как вида.
Е.Б.: К природным рискам вы относите такие, которые человечество не может предотвратить?
Я.Т.: В действительности мы можем сделать и делаем много, чтобы их минимизировать. Например, уже давно проводится мониторинг ситуации с астероидами. «Положительная» часть в понимании природных рисков заключается в том, что мы уже примерно знаем, насколько они разрушительны, и ожидаем, что ситуация критически не ухудшится в следующем столетии. В то же время технологические риски будут усугубляться год от года.
Е.Б.: То есть природные риски не вызываются деятельностью людей. По крайней мере, насколько мы можем это понять. Тогда как технологический прогресс точно развивается благодаря действиям людей.
Я.Т.: Именно так, мы можем уменьшить природные риски, но технологические риски мы одновременно можем как уменьшить, так и предупредить. Похоже, что они могут иметь очень большой радиус воздействия.
Е.Б.: Из всех рискованных технологий, которые человечество может создать, вы выделяете искусственный интеллект (ИИ) и считаете, что необходимо концентрироваться на предотвращении именно рисков, связанных с внедрением ИИ?
Я.Т.: Да, и для этого есть несколько причин. Во-первых, искусственный интеллект — это метатехнология, которая потенциально способна изобретать, разрабатывать и применять технологии самостоятельно.
Мы все больше и больше собираемся делегировать технологическое развитие искусственному интеллекту, вместе с тем у нас есть некоторые опасения и беспокойство по отношению к развитию технологий, поэтому мы должны перенести и показать это беспокойство ИИ. Сам ИИ не будет иметь никаких опасений или ограничений.
В частности, я думаю, что по умолчанию ИИ не будет понимать важность характеристик, связанных с окружающей средой, в то время как нам, людям, биологически необходим очень узкий диапазон параметров, чтобы остаться в живых. Роботам это не нужно, не нужно заботиться об окружающей среде для них, поэтому мы и отправляем их в космос в радиоактивные районы.
Так что, да, ИИ — это мощная технология с очень большим радиусом действия. Какие бы вопросы по поводу технологий мы, люди, ни поднимали, мы можем либо постараться решить их с помощью ИИ, либо, по крайней мере, удостовериться, что то технологическое развитие, которое будет осуществлять ИИ самостоятельно, продолжит принимать во внимание наши проблемы, опасения и ограничения.
Е.Б.: Когда вы говорите про ИИ в этом контексте, вы подразумеваете общий искусственный интеллект (AGI, Artificial General Intelligence)?
Я.Т.: Общий искусственный интеллект — это именно тот термин, который указывает на суть проблемы: люди сейчас контролируют ИИ потому, что он на данный момент ограничен и сконцентрирован. Так, например, если вы играете в шахматы против компьютерной программы, вас, на самом деле, не беспокоит, что ИИ может убить вас во время партии, хотя в целом ему было бы полезно устранить вас физически, чтобы у него не было оппонента и он выиграл.
В зависимости от запрограммированной функции значимости, такое действие может быть оценено им положительно, но ИИ не знает о такой возможности. Это не общий искусственный интеллект в том смысле, что он не может оторваться от шахматной доски и посмотреть на весь мир.
Таким образом, вызывает опасения тезис, что как только появится ИИ, который будет достаточно общим (а ИИ становятся все более общими), мы не будем способны его контролировать. В настоящий момент все инструменты, которые мы используем для контроля ИИ, основаны на том, что ИИ не знает о существовании контрольных механизмов. Вот почему общий искусственный интеллект — потенциально опасная вещь, во всяком случае, до тех пор, пока нет понимания, как его контролировать.
В дополнение, возможны крупные проблемы, вызванные ИИ, который еще не будет общим. Мой друг и коллега Эндрю Критч из Беркли вместе с Дэвидом Крюгером из Монреаля провели подробное исследование под названием Arches — AI Research Considerations for Human Existential Safety, в котором они рассматривают важные вопросы для экзистенциальной безопасности человека.
В своей работе они определяют термин Prepotent AI — «предварительный ИИ», который может быть общим, а может и не быть, но при этом он должен отвечать двум следующим критериям. Первый критерий состоит в том, что как только такая ИИ-технология будет применена, степень ее прямого воздействия на окружающую среду будет как минимум такой же, как воздействие людей.
Суть второго критерия заключается в том, что это ИИ, который мы, если уже инициировали, не сможем выключить. При этом не важно, по каким причинам мы не сможем этого сделать. Возможно, потому, что сложно выключить ОИИ, который знает о существовании механизма его выключения.
Однако причина также может быть и более приземленной: например, очень сложно отключить весь интернет, или это будет какая-нибудь системная, экономическая причина, по которой люди не захотят отключать этот предварительный ИИ. Это означает логически, что, когда у нас появится предварительный ИИ, мы окажем огромное воздействие на окружающую среду, которое может в итоге убить нас самих.
Е.Б.: Интересный пример об игре в шахматы с компьютерной программой. Я много лет посвятила игре в шахматы и знаю, что в профессиональной шахматной среде было много дискуссий о том, что компьютеры «убивают» игру, особенно с появлением программы AlphaZero. Но шахматисты не подозревали, что риски могли бы быть гораздо значительнее.
Я.Т.: Действительно, интересная вещь в AlphaZero — это окончание Zero, ноль. Это означает, что AlphaZero не использовала для обучения никакой информации, которую бы произвела человеческая цивилизация. Если задуматься, такая программа — это инопланетянин. Когда вы играете в шахматы, го или сёги против AlphaZero, вы играете против сущности, которая никогда не взаимодействовала с человеческой цивилизацией, и это потрясающе.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.