ЭКЗИСТЕНЦИАЛЬНЫЕ РИСКИ И ГЛОБАЛЬНОЕ УПРАВЛЕНИЕ: интервью с инвестором и филантропом Яаном Таллинном
Источник фото: estonia.ee
Яан Таллинн, сооснователь и соразработчик Skype и Kazaa, выбрал целью своей филантропической деятельности предупреждение и минимизацию экзистенциальных рисков для человечества.
Яан выступил соучредителем Центра по изучению экзистенциальных рисков в Кембридже и Института будущего жизни, кроме того, он финансово поддерживает другие организации, занимающиеся исследованиями в данной области.
Яан является активным бизнес-ангелом и партнером в инвестиционной компании Ambient Sound Investments, принимал участие в работе экспертной группы высокого уровня по искусственному интеллекту в Европейской комиссии и был директор-инвестором в ИИ-компании DeepMind, получившей известность благодаря разработке компьютерной системы AlphaZero, показавшей уникальные результаты в игре в шахматы и го.
Елена Бойцун, импакт-инвестор и основатель коммуникационной группы «Технологии и общество», провела с Яаном Таллинном разговор о современном состоянии вопросов разработки искусственного интеллекта и систем глобального управления.
Елена Бойцун: Яан, вы уже более десяти лет работаете над вопросами, связанными с экзистенциальными рисками, и выбрали эту тему ключевой для своей филантропической деятельности. Вы говорите, что ваша главная цель — снизить для человечества экзистенциальные риски, вызванные развитием технологий. Какой смысл вы вкладываете в это понятие?
Яан Таллинн: Существует широкое и сложное определение экзистенциального риска как катастрофического уменьшения максимального потенциала человечества. Например, можно представить, что когда-нибудь в будущем человечество будет жить на разных планетах в космосе, вообразите, что триллионы людей по всей вселенной живут счастливо и занимаются вещами, которые им интересны.
И затем однажды, в какой-то год, скажем — 2040-й, внезапно происходит что-то такое, из-за чего такая перспектива становится невозможной (предположим, какая-либо катастрофа). Согласно сложному определению, экзистенциальный риск — это риск, подобный такой катастрофе. Более простое определение — это просто риск того, что все умрут.
Е.Б.: Такие риски, безусловно, касаются всех.
Я.Т.: Экзистенциальные риски делятся на две категории. Одна из них — это природные риски. Например, мы знаем, что каждые 10 миллионов лет или около того появляется астероид достаточно большого размера и наносит удар по планете. Динозавры обнаружили, каково это, на собственном горьком опыте.
Поэтому, очень вероятно, что если мы подождем еще около 10 миллионов, 20 миллионов, 30 миллионов лет, то снова появится астероид, достаточно большой для того, чтобы уничтожить и человечество. Кроме того, время от времени возникает риск пробуждения супервулканов.
Может произойти достаточно сильное извержение, которое радикально изменит окружающую среду таким образом, что фактически может привести к вымиранию человечества как вида. Это типичные природные риски.
Вторая категория — технологические риски. Если мы хотим предсказать будущее планеты, самый важный фактор для этого — понимать, какие у нас будут технологии. Технологии — это то, что в некотором роде формирует будущее. В новой форме будущего могут быть элементы, которые действительно очень вредны для человеческого выживания.
Еще один способ взглянуть на этот вопрос — осознать, что размер планеты не увеличивается. В то же время эффективный радиус действия каждой новой технологии в среднем растет. Убить всех людей каменными топорами намного сложнее, чем уничтожить с помощью ядерного оружия или чего-то подобного, что еще даже не изобретено, но уже зарождается, например в рамках синтетической биологии.
Таким образом, конечно, есть большие риски того, что, продолжая непрерывно развивать технологии, мы входим в состояние, в котором мир становится все более хрупким, когда появляется все больше и больше вещей, которые все меньшее количество людей могут сделать случайно или намеренно, чтобы полностью разрушить будущее человечества как вида.
Е.Б.: К природным рискам вы относите такие, которые человечество не может предотвратить?
Я.Т.: В действительности мы можем сделать и делаем много, чтобы их минимизировать. Например, уже давно проводится мониторинг ситуации с астероидами. «Положительная» часть в понимании природных рисков заключается в том, что мы уже примерно знаем, насколько они разрушительны, и ожидаем, что ситуация критически не ухудшится в следующем столетии. В то же время технологические риски будут усугубляться год от года.
Е.Б.: То есть природные риски не вызываются деятельностью людей. По крайней мере, насколько мы можем это понять. Тогда как технологический прогресс точно развивается благодаря действиям людей.
Я.Т.: Именно так, мы можем уменьшить природные риски, но технологические риски мы одновременно можем как уменьшить, так и предупредить. Похоже, что они могут иметь очень большой радиус воздействия.
Е.Б.: Из всех рискованных технологий, которые человечество может создать, вы выделяете искусственный интеллект (ИИ) и считаете, что необходимо концентрироваться на предотвращении именно рисков, связанных с внедрением ИИ?
Я.Т.: Да, и для этого есть несколько причин. Во-первых, искусственный интеллект — это метатехнология, которая потенциально способна изобретать, разрабатывать и применять технологии самостоятельно.
Мы все больше и больше собираемся делегировать технологическое развитие искусственному интеллекту, вместе с тем у нас есть некоторые опасения и беспокойство по отношению к развитию технологий, поэтому мы должны перенести и показать это беспокойство ИИ. Сам ИИ не будет иметь никаких опасений или ограничений.
В частности, я думаю, что по умолчанию ИИ не будет понимать важность характеристик, связанных с окружающей средой, в то время как нам, людям, биологически необходим очень узкий диапазон параметров, чтобы остаться в живых. Роботам это ни нужно, ни нужно заботиться об окружающей среде для них, поэтому мы и отправляем их в космос в радиоактивные районы.
Так что, да, ИИ — это мощная технология с очень большим радиусом действия. Какие бы вопросы по поводу технологий мы, люди, ни поднимали, мы можем либо постараться решить их с помощью ИИ, либо, по крайней мере, удостовериться, что-то технологическое развитие, которое будет осуществлять ИИ самостоятельно, продолжит принимать во внимание наши проблемы, опасения и ограничения.
Е.Б.: Когда вы говорите про ИИ в этом контексте, вы подразумеваете общий искусственный интеллект (AGI, Artificial General Intelligence)?
Я.Т.: Общий искусственный интеллект — это именно тот термин, который указывает на суть проблемы: люди сейчас контролируют ИИ потому, что он на данный момент ограничен и сконцентрирован. Так, например, если вы играете в шахматы против компьютерной программы, вас, на самом деле, не беспокоит, что ИИ может убить вас во время партии, хотя в целом ему было бы полезно устранить вас физически, чтобы у него не было оппонента и он выиграл.
В зависимости от запрограммированной функции значимости, такое действие может быть оценено им положительно, но ИИ не знает о такой возможности. Это не общий искусственный интеллект в том смысле, что он не может оторваться от шахматной доски и посмотреть на весь мир.
Таким образом, вызывает опасения тезис, что как только появится ИИ, который будет достаточно общим (а ИИ становятся все более общими), мы не будем способны его контролировать. В настоящий момент все инструменты, которые мы используем для контроля ИИ, основаны на том, что ИИ не знает о существовании контрольных механизмов. Вот почему общий искусственный интеллект — потенциально опасная вещь, во всяком случае, до тех пор, пока нет понимания, как его контролировать.
В дополнение, возможны крупные проблемы, вызванные ИИ, который еще не будет общим. Мой друг и коллега Эндрю Критч из Беркли вместе с Дэвидом Крюгером из Монреаля провели подробное исследование под названием Arches — AI Research Considerations for Human Existential Safety, в котором они рассматривают важные вопросы для экзистенциальной безопасности человека.
В своей работе они определяют термин Prepotent AI — «предварительный ИИ», который может быть общим, а может и не быть, но при этом он должен отвечать двум следующим критериям. Первый критерий состоит в том, что как только такая ИИ-технология будет применена, степень ее прямого воздействия на окружающую среду будет как минимум такой же, как воздействие людей.
Суть второго критерия заключается в том, что это ИИ, который мы, если уже инициировали, не сможем выключить. При этом не важно, по каким причинам мы не сможем этого сделать. Возможно, потому, что сложно выключить ОИИ, который знает о существовании механизма его выключения.
Однако причина также может быть и более приземленной: например, очень сложно отключить весь интернет, или это будет какая-нибудь системная, экономическая причина, по которой люди не захотят отключать этот предварительный ИИ. Это означает логически, что, когда у нас появится предварительный ИИ, мы окажем огромное воздействие на окружающую среду, которое может в итоге убить нас самих.
Е.Б.: Интересный пример об игре в шахматы с компьютерной программой. Я много лет посвятила игре в шахматы и знаю, что в профессиональной шахматной среде было много дискуссий о том, что компьютеры «убивают» игру, особенно с появлением программы AlphaZero. Но шахматисты не подозревали, что риски могли бы быть гораздо значительнее.
Я.Т.: Действительно, интересная вещь в AlphaZero — это окончание Zero, ноль. Это означает, что AlphaZero не использовала для обучения никакой информации, которую бы произвела человеческая цивилизация. Если задуматься, такая программа — это инопланетянин. Когда вы играете в шахматы, го или сёги против AlphaZero, вы играете против сущности, которая никогда не взаимодействовала с человеческой цивилизацией, и это потрясающе.
Е.Б.: Вы упомянули очень интересный термин — предварительный ИИ. В настоящее время под ИИ в основном понимают далеко не общий искусственный интеллект. Современные системы — это алгоритмы принятия ограниченных решений на основе базы данных, машинное обучение. В них нет универсальности.
Я.Т.: Мне нравится один важный эвристический прием, который я предлагаю использовать людям. Каждый раз, когда вы видите термин ИИ, просто мысленно замените его на «делегирование машинам принятия человеческих решений», и тогда как потенциальные возможности, так и риски сразу же станут намного яснее.
Е.Б.: Вам нравится в целом применение термина искусственный интеллект?
Я.Т.: Это удобное сокращение. В сообществе рационалистов (Rationality Community), в которое я вхожу, есть такое упражнение для ума, которое называется «табу на слово». Очень часто люди имеют немного разные определения для слов, и вам кажется, что вы говорите одно, а собеседник слышит совсем другое.
В ситуациях, при которых этот факт может нарушить коммуникацию, полезно применять подход, когда вы намеренно заявляете, что мы больше не используем этот термин. Всякий раз, когда у вас возникает искушение произнести конкретное слово, необходимо остановиться и поискать какое-нибудь другое объяснение. В контексте ИИ довольно часто бывает полезно просто не использовать термин ИИ, потому что люди понимают под этим разные вещи.
Е.Б.: Почему вы концентрируете свое внимание на рисках, а не на идеальных возможностях ИИ? Насколько я понимаю, есть уже понятие Beneficial AI (благотворный ИИ). Почему же не продвигать идею о потенциальной пользе ИИ, который мог бы спасти планету?
Я.Т.: Я технический специалист, и я действительно думаю, что ИИ — это высокая технология с огромным влиянием и сферой применения. Я сосредоточен на ИИ еще и потому, что всякий раз, когда мы минимизируем риски, связанные с ним, эти корректировки, скорее всего, положительно отразятся и на других проблемах.
Например, если вы устраняете риск от ИИ, то автоматически также нейтрализуете, скажем, биологический риск или природные экзистенциальные риски, потому что ИИ сможет нам помочь с ними разобраться. Но если мы убираем только астероидный или биологический риск, у нас все еще остается опасность от применения ИИ, с которой нужно бороться.
Причина, по которой я действительно сосредоточен на негативных аспектах, заключается в том, что, если мы не обратим внимание на риски, у нас не будет положительных результатов от применения технологии. Проблема в том, что положительный результат кондиционален отрицательному.
Так что при негативном сценарии вы не получите ожидаемого положительного эффекта, не будет достаточно значимого изменения в позитивности результата.
Если вы концентрируетесь на позитивном результате, даже если он будет в десятки раз выше, негативный результат ограничит большинство сценариев развития событий, которые могли бы возникнуть при благоприятных обстоятельствах.
Другой подход к этому вопросу — важно фиксировать внимание как на отрицательных, так и на положительных сторонах, но имеет значение также, в каком порядке это делать.
Если вы сосредотачиваетесь только на преимуществах и собираетесь подумать о недостатках лишь спустя какое-то время, возможно, вы уже не успеете это сделать, потому что отрицательный результат может убить вас раньше.
В то время как если вы сначала устраните отрицательное влияние, то у вас будет вся вселенная для того, чтобы сосредоточиться на преимуществах. Поэтому я и думаю, что важно концентрироваться на рисках.
Е.Б.: Целевой группой, с которой вы работаете, является сообщество разработчиков, узкоспециализированные эксперты, осознающие большие риски своей работы. Но, насколько я понимаю, вы также стараетесь вовлечь в обсуждение для понимания этих рисков широкую публику.
Я.Т.: В какой-то мере.
Е.Б.: Мы тоже ведь должны быть вовлечены каким-то образом в обсуждение этих рисков. Мы, люди.
Я.Т.: Я бы сказал так: у меня нет очень продуманной повестки дня, когда дело доходит до информирования общественности. Я вижу, что интерес к этой теме велик, но не занимаюсь этим вопросом проактивно.
Я соглашаюсь давать интервью, когда ко мне обращаются, но, думаю, что гораздо важнее убедиться, что именно люди, которые непосредственно разрабатывают эти технологии, понимают риски.
В то же время у таких специалистов есть друзья, и даже если я не могу повлиять на человека напрямую, все равно полезно, чтобы друзья знали обо всех рисках, с которыми может сталкиваться человек в работе.
Иногда разработчики, создающие новые технологии, сознательно стараются не думать о возможных негативных результатах своей работы, потому что это довольно сложно психологически.
Поэтому в некотором смысле к обсуждению и побуждению легче было бы привлечь их друзей, чем их самих. В сфере ИИ есть множество примеров людей, которые, похоже, отказываются признавать очень и очень простые истины.
Е.Б.: Кажется, что сообщество разработчиков, о котором вы говорите, очень закрыто и развито. Когда я изучала эту тему для нашего разговора, я была впечатлена тем фактом, насколько это сообщество развито и как сильно закрыто от внешнего мира.
Это напомнило мне шахматное сообщество, которое тоже самодостаточно и замкнуто. Но шахматисты не разрабатывают технологию, которая могла бы иметь настолько важные последствия для широкой публики, как ИИ.
Я.Т.: Да, мой друг Макс Тегмарк иногда говорит, что, вполне вероятно, будущее человечества на всю оставшуюся часть истории вселенной может быть определено каким-нибудь парнем, пьющим Red Bull в три часа ночи на серверной ферме.
Я не утверждаю, что все произойдет именно так, но определенный риск этого есть. Очень, очень немногие люди прямо сейчас решают все, что произойдет с человечеством, и было бы здорово избежать негативного сценария, но пока неясно, как это сделать.
Е.Б.: Это очень интересная тема. Как вы думаете, человечество должно обратить больше внимания на происходящие исследования?
Я.Т.: Определенно, было бы полезно подумать о так называемых механизмах управления.
В Оксфорде работает группа GovAI (The Centre for the Governance of AI, Центр по изучению вопросов управления ИИ), которую я поддерживаю во всех смыслах. Эта группа исследователей изучает методы, которые регуляторные органы или общественность в целом могут использовать для того, чтобы формировать технологии в сфере ИИ.
Весьма вероятно, что тот парень с Red Bull в 3 часа ночи, на самом деле, не очень хочет решать вопрос будущего всего человечества. И в интересах компаний, занимающихся ИИ, понимать спектр полномочий и ответственности.
Я ожидаю, что если бы появились разумные идеи по поводу управления и законодательных документов, то и такие компании были бы мотивированы сотрудничать и принять их. Нам точно нужны идеи, как лучше управлять и регулировать.
Е.Б.: Когда Вы говорите об управлении, Вы имеете в виду администрирование системы развития ИИ или вопросы, как с помощью ИИ возможно выстроить системы управления? Например, использовать ИИ как механизм для глобальной координации.
Я.Т.: Наша общая цель, по сути, такая: определить, как мы можем учитывать мнение более крупных стейкхолдеров (это сейчас популярное слово). Почти 8 миллиардов человек сегодня имеют право на будущее, и, похоже, это несправедливо, что почти никто из них не будет иметь право голоса в процессах, которые в настоящий момент происходят.
Поэтому, на мой взгляд, вопросы управления ИИ на философском уровне, действительно пытаются решить проблему — как дать людям право голоса в формировании их будущего, а не оставлять это право за программистом на серверной ферме. По моему мнению, в этом есть логика и это стратегический философский вопрос.
Тактический и прагматический вопрос заключается в том, какие механизмы мы можем использовать для того, чтобы реализовать право голоса. Некоторые люди говорят, что нам необходимо демократизировать развитие ИИ. Конечно, но если искать наиболее эффективный способ решения такой проблемы, то обучить все 8 миллиардов человек разрабатывать ИИ, скорее всего, не получится.
Так что гораздо лучше, чтобы люди, которые заинтересованы и хорошо подготовлены к разработке ИИ, могли опираться при этом на какие-то механизмы, с помощью которых либо ИИ сможет обеспечивать правильное регулирование самостоятельно, либо будут введены определенные нормативные акты или другие механизмы системы координации для того, чтобы разработчики также могли учитывать интересы людей, которые не участвуют в создании ИИ.
Е.Б.: Возникает вопрос, почему эта группа может считать, что способна разработать самую лучшую систему для человечества? Мне все же кажется – шансы, что случайный программист за одну ночь создаст общий искусственный интеллект, не настолько велики. Возможно, вероятнее, что какой-либо миллиардер решит проинвестировать проект и будет подталкивать всю команду программистов к разработке такого продукта, результаты внедрения которого он в будущем, к сожалению, не сможет контролировать.
Я.Т.: Вы говорите о том же, о чем и я, только на другом уровне. Из кого будет состоять такая команда? Она будет состоять из программистов, работающих ночью на серверных фермах. Вы можете это представлять как инициативу миллиардера, но, в конце концов, он не будет тем, кто непосредственно запустит процесс.
Было бы очень ценно, если бы существовали механизмы для делегирования важных решений, чтобы инженеры, работающие уже сейчас, знали о процедурах, например, для информирования о нарушениях и незаконной деятельности.
Если сумасшедший миллиардер или, что более вероятно, просто какая-нибудь корпорация, во главе которой находятся люди, главной задачей которых является максимизация прибыли, будут настаивать на продолжении разработки потенциально опасной технологии, то инженеры могли бы сказать: «Разве мы не должны соблюдать глобальные правила регулирования ИИ?» Для таких случаев, иметь регулирующие механизмы было бы также очень полезно.
Е.Б.: В одном из своих выступлений Вы сказали, что капитализм создал ощущение безопасности (safety feeling) для развития технологий, что, как мне кажется, хорошо подходит к нашей дискуссии о миллиардерах и программистах. Считаете ли Вы, что отсутствие регулирования может быть проблемой?
Я.Т.: Я вырос в Советском Союзе, при постоянной пропаганде о вроде бы разбитом вдребезги капитализме, но, к счастью, в Эстонии мы могли смотреть и финское телевидение, и несколько сомневаться в том, сколько правды было в пропаганде.
Капитализм явно превосходит то, чем когда-либо была советская плановая экономика, и важным фактором в этом является то, что между потребителями и производителями существует положительная обратная связь.
Не очень эффективно разрабатывать технологии, которые не нужны потребителям, а потребители могут голосовать своими деньгами, тем самым подталкивая экономику к тому, что полезно и ценно для людей. Но важно понимать, что это не решает все возникающие вопросы из-за двух моментов: внешних факторов, которые рынок не поощряет включать в расчеты естественным путем (например, воздействие на окружающую среду), и таких вещей, которые не зависят от потребителей (например, военные технологии).
Капитализм создает почти полную иллюзию, что будущее будет становиться все лучше и лучше, потому что компании всегда на стороне потребителей. И вот здесь в игру вступают важные внешние факторы, к примеру, внезапные масштабные катастрофы, которые не были учтены рынком, жили другие сильные ограничители.
Я могу наблюдать и сравнивать США и Китай: в одной из стран, хотя бы номинально, — коммунистический режим, а в другой — капитализм свободного рынка. И когда я задумываюсь о том, как устранить потенциальные риски, связанные с передовыми технологиями, я вижу, что Китай сейчас находится в гораздо лучшем положении для регулирования, потому что там и в целом более жесткая система регулирования.
Если возникнет действительно опасная ситуация, то они смогут остановить развитие, в то время как в США почти все могут согласиться с тем, что ситуация опасна, но им могут понадобиться десятилетия, чтобы остановить процесс. Неэффективное устранение воздействия таких внешних факторов — это дополнительное свидетельство слабости капитализма.
Е.Б.: Сейчас среди экономистов ведется много дебатов по поводу преимуществ разных систем. Выделяют, в частности, китайскую систему, которую называют государственным капитализмом (state capitalism), в противопоставление традиционному рыночному капитализму. Но если капитализм имеет свои недостатки, а плановая советская экономика, как мы точно знаем, не работает, то какая же система, по вашему мнению, была бы наилучшей для отдельной страны или даже для глобального уровня координирования?
Я.Т.: У меня пока нет какого-либо сформированного мнения по этому поводу. Как технологический специалист, я считаю блокчейн очень интересной технологией. В рамках вопроса, за последние лет десять блокчейн принес самое важное — возможность глобально достичь согласия по поводу каких-либо данных без того, чтобы доверять кому-либо хранение этих данных.
Я организовал несколько рабочих сессий между специалистами по блокчейну и по безопасности ИИ, чтобы подумать, есть ли какие-либо позитивные практические примеры, которые можно использовать для помощи в координировании наиболее эффективным способом и для того, чтобы людям было легче доверять системе.
В целом я считаю, что в глобальном управлении такие понятия как сотрудничество и прозрачность процессов важны, и блокчейн хотя бы на каком-то уровне, с какой-то стороны привносит эти две вещи.
Но при этом я действительно не придерживаюсь какого-либо определенного мнения по поводу конкретной системы, я просто считаю, что для нас важно повысить нашу способность сотрудничать.
Е.Б.: Вы считаете, что пока еще не выкристаллизовалась хорошая идея для глобального механизма управления?
Я.Т.: На глобальном уровне до сих пор еще никогда не было мировой координации. Между государствами происходит «трагедия общин», «трагедия ресурсов общего пользования» (tragedy of commons — под этим термином понимают явления, которые связаны с противоречием между интересами индивидов относительно блага общего пользования).
Возьмем, к примеру, гонку вооружений. Причина, по которой вы участвуете в гонке вооружений заключается в том, что в ней принимают участие другие люди, так что это замкнутый круг. Вот почему так важно иметь международные договоры, чтобы ограничивать моменты, которые могут подтолкнуть к конкурирующим интересам. Это классическая «дилемма заключенного», или «трагедия общин».
В общих интересах всех людей, чтобы все бездействовали, например, чтобы никто не вкладывался во все более мощное оружие, но при этом членам отдельной группы еще более выгодно быть единственными, кто делает это. Это означает, что вы в ситуации без равновесия Нэша, или с плохим равновесием Нэша (понятие из теории игр, стратегия в игре для двух и более игроков, в которой ни один участник не может увеличить выигрыш, изменив свою стратегию, если другие участники своих стратегий не меняют).
Е.Б.: У вас была идея по поводу внедрения глобальной системы по выявлению предпочтений (Global Preference Discovery System).
Я.Т.: Я использовал этот ключевой термин в своих ранних исследованиях. В настоящее время управление, в частности, при демократии, сталкивается с двумя вопросами: как определить, что люди хотят от будущего, и как этого достичь.
Политики обычно говорят, что знают, как решить оба вопроса, — мы хотим X и собираемся сделать для этого Y, поэтому голосуйте за нас. Но я считаю, что было бы полезно иметь определенную систему, чтобы люди могли сами определить, какое будущее они хотят, то есть чтобы люди самостоятельно находили X.
Самый простой способ это сделать — наладить систему регулярных опросов, например, случайным образом спрашивать людей, как у них дела.
Если бы у нас было достаточно информации от общества о том, как именно сейчас люди себя чувствуют, мы могли бы построить World Wellness Index (индекс благополучия мира), на базе которого можно было бы делать будущие прогнозы.
Скажем, что случилось бы с этим глобальным индексом, если бы США полностью открыли свои границы? Это могло бы стать интересным инструментом при разработке политик и положений, который бы отделил вопрос о том, что же мы хотим от будущего, от вопроса, как же добраться до этого светлого будущего.
Е.Б.: Я понимаю сам механизм, но, честно говоря, была глубоко впечатлена второй раз именно тем, что эти вопросы обсуждаются в замкнутом технологическом сообществе и как они обсуждаются. А я украинский экономист, и меня не очень легко впечатлить.
Я.Т.: Недавно в сообществе рационалистов Александр Скотт, признанный эксперт в этой среде, и Гленн Уайлд из Microsoft, известный разработчик в сфере дизайнов механизмов (mechanism design — область исследований в экономической теории и теории игр), провели дружеские дебаты по вопросу, о котором вы говорите.
Гленн Уайлд говорил: «Да, я разработчик дизайнов механизмов, но я не доверяю системам, в конце концов, это все равно что постоянно стрелять себе в ногу».
У Александра Скотта был похожий ответ, возможно, излишне критичный, но все же очень хороший, о том, что это же не значит, что мы должны все время полагаться только на интуицию и внутренние ощущения.
В конечном итоге, это диапазон, который включает в себя вопросы, насколько вы доверяете людям или насколько вы доверяете системам.
Если вы полагаетесь только на людей, то у вас все равно должны быть какие-нибудь ограничения, которые направляют членов общества, например, верховенство права. А это уже механизм, демократия — это уже механизм. Важно соблюдать баланс.
Е.Б.: Вопрос в том, что узкая группа технологических специалистов разрабатывает механизм для определения, например, такого важного вопроса как общечеловеческие ценности.
Я.Т.: Мне не следует преувеличивать достоинства такой системы, это был просто образец механизма, которого в мире еще нет, но он мог бы уже существовать, и я думаю, что это было бы полезно.
Когда я говорю о механизме выяснения предпочтений, я хочу направить внимание на то, что в целом необходимы механизмы, которые бы дали право голоса людям, и я открыт ко всем идеям.
Нынешним инструментам, которые у нас есть, несколько сотен лет, они были изобретены и внедрены, когда мы все еще использовали лошадей как основной транспорт.
Наши результаты в решении вопроса, как дать людям больше возможностей проявить свое мнение, могли бы быть лучше, но при этом я очень хорошо понимаю все опасности, связанные с такой системой, — преувеличение или заблуждение, манипуляции с целью сделать вид, что люди хотят, скажем, максимизировать прибыль именно конкретной компании.
Примером может быть ситуация с системой определения предпочтений и обзоров на Amazon. Система, по идее, должна была бы определять их на основе внесенной информации, но на практике ее постоянно обманывают.
Очень важно проверять, что система достаточно надежна и устойчива, чтобы действительно делать то, для чего она предназначена.
Е.Б.: Спасибо, что вы немного убедили меня в том, что вы видите риски такого подхода. В то же время было интересно узнать об AI Alignment movement, движении по разработке мировоззрения ИИ. Как бы вы описали цели этого движения для широкой публики?
Я.Т.: Есть несколько путей определить это понятие. Один из них можно описать так: если мы думаем об ИИ как о машинах, которым собираемся делегировать принятие наших человеческих решений, то мы обязаны постараться гарантировать, что наши идеи о том, каким должно быть хорошее будущее, будут полноценным образом переданы ИИ.
Очень важно понимать, что ИИ — это еще больший инопланетянин, чем инопланетяне. У ИИ нет никакой биологической основы, ИИ не эволюционировал биологически, ИИ не заботится об окружающей среде.
Мы не должны недооценивать трудность передачи ИИ понимания ценностей человечества. На самом деле, ИИ настолько аутичен, насколько это возможно представить. Люди склонны думать, что ИИ — это практически люди, и их можно сделать еще более человечными. Нет, так не получится.
Е.Б.: Почему вы так в этом уверены?
Я.Т.: Есть очень веские аргументы, подтверждающие это, например — люди были сформированы биологической эволюцией в социальном контексте, люди развивались в группах. Очень хорошо это описано в книге «Моральные племена» Джошуа Грина из Гарварда.
Он рассматривает, как развивалась человеческая мораль. Мораль возникла в малочисленных племенах от 50 до 100 человек автоматически, потому что это помогало племенам становиться более конкурентоспособными, люди заботились друг о друге.
На персональном уровне альтруизм — это самопожертвование, но на уровне племени — это делает группу более конкурентоспособной.
Есть очень интересная возможность, что в системе ИИ что-то подобное может произойти автоматически, но это развитие точно не будет происходить в группах по 50 единиц в исконной среде в Африке сто или двести тысяч лет назад.
Вероятность того, что такая мораль разовьется в подобие человеческой при тренировке на серверных фермах в течение пары месяцев, ничтожно мала.
Е.Б.: Если только ИИ — это не следующий шаг эволюции, и поскольку природа в целом хорошо сбалансирована, организована и математически выверена…
Я.Т.: Абсолютно, возможно, существует практически математическая точка притяжения в сторону сотрудничества и кооперации, но… Вы можете спросить кого угодно, готовы ли они поставить жизнь детей на кон в надежде, что ИИ автоматически разовьет систему морали, подобной человеческой, и, скорее всего, ответ будет негативным.
Довод, что существует общая тенденция к морали при развитии ИИ, необычайно привлекателен, но необходимо иметь действительно веские доказательства этого, а не просто отмахиваться, уверяя: все будет хорошо. Разработчики ИИ слишком часто делают именно так.
Е.Б.: Если вы работаете над задачей о том, как перенести лучшие человеческие ценности в структуру ИИ, то не подходят ли для этой цели те системы, что человечество уже разработало? Например, 10 христианских заповедей или 3 закона робототехники Айзека Азимова.
Я.Т.: Классический ответ на вопрос о законах робототехники состоит в том, что они не работают даже в художественной литературе. Айзек Азимов придумал их для того, чтобы показать, как они однажды потерпят неудачу, если вы введете их в систему. Почему же мы ожидаем, что они сработают в реальной жизни?
Более общий ответ заключается в том, что всякий раз, когда вы, со своей позиции, хотите ограничить что-то более умное, чем вы, это вряд ли получится, потому что то, что вы считаете ограничениями и что оно будет считать ограничениями, будут отличаться.
Ваша способность придумывать лимиты слабее, чем его способность находить варианты обойти эти самые лимиты, поэтому возникают сложности. Нужно учитывать очень много нюансов, и уже есть действительно интересные идеи, которые можно найти, в частности, на веб-сайте Alignment Forum.
Е.Б.: Люди тысячелетиями думают над вопросом системы ценностей человечества, а также разрабатывают концепции, которые могли бы дать возможность лучше понять как отдельного человека, его разум и душу, так и общество в целом.
Например, существуют понятия «коллективное бессознательное» от Карла Густава Юнга, «чистый разум» от Иммануила Канта, «ноосфера» от Владимира Вернадского.
Возможно ли попытаться трансформировать эти метафизические концепции в практическое русло и использовать каким-то образом в движении по созданию мировоззрения ИИ?
Я.Т.: Я не очень детально знаком с концепциями, о которых вы говорите. Исходя из того, как это звучит, я бы ожидал осложнений при использовании идей из континентальной философии, потому что будет огромная онтологическая проблема.
Концепции построены на вещах, которые невозможно перевести на язык машины. Возникнет препятствие: будет сложно запрограммировать вещи, которые невозможно точно расписать до языка ассемблера. Это была бы проблема перевода.
Е.Б.: Я твердо убеждена, что на язык математики возможно перевести практически все, что означает, что и запрограммировать можно практически все.
Я.Т.: Если что-то можно выразить в математическом виде, тогда, конечно, нет проблем это запрограммировать. Могут появиться определенные инженерные проблемы, но это уже технический вопрос. Однако в целом обычно люди, которые говорят о континентальной философии, не знают математики.
Е.Б.: Вызов практически принят и, возможно, лет через 35 я вернусь к вам с решением.
Я.Т.: Всегда полезно рассматривать как можно больше точек зрения. Первое, что необходимо сделать, — это структурировать идеи достаточно конкретно, чтобы они были математически описаны и совместимы с компьютерными науками. Важно думать о разных идеях. Технология блокчейн это подтверждает.
Е.Б.: Я привела этот пример в рамках размышлений о том, что, возможно, для формирования мировоззрения ИИ необходимо учитывать достижения человеческой мысли в области философии, социологии, биологии, генетики, искусства, не говоря уже о физике, химии, астрономии.
Я.Т.: Я согласен, и большая проблема состоит в том, чтобы сосредоточиться на продуктивности. Как это сделать? — в этом вопрос. Обычно получается, что когда люди осознают необходимость собрать разные перспективы и точки зрения, то организовывают большую конференцию.
Сейчас, во времена пандемии, у нас виртуальные конференции. Люди проводят много часов за разговорами, а затем ничего не происходит.
Важная задача состоит в том, чтобы убедиться, что все идеи можно рассмотреть и реализовать эффективно и продуктивно, а не пытаться убедить людей прочитать много материала и потратить много часов на то, что после обсуждения не будет работать.
Е.Б.: Возможно, все же имеет смысл подумать над тем, как в целом сделать процессы более инклюзивными и понятными, c участием всех заинтересованных сторон.
Я не говорю о том, что необходимо приглашать неспециалистов на ваши профессиональные конференции, но сейчас ваше сообщество и его идеи разрослись достаточно, чтобы немного открыться и добавить в повестку дня для общества вопросы, которыми вы занимаетесь.
Я.Т.: Я являюсь соучредителем Института по изучению будущего жизни (Future of Life Institute), и как раз самое масштабное, что мы сейчас делаем, — это проводим специальную конференцию каждые два года. Она была запланирована и в этом году, но из-за пандемии не состоялась.
Мероприятие помогает изучать разные точки зрения на ситуацию. Но при этом важно отбирать людей, потому что, если в комнате находится хотя бы один человек, который не понимает, что происходит вокруг, но при этом активно пытается повлиять на процесс, это действительно может снизить продуктивность для всех.
Е.Б.: Вы построили замечательное сообщество для решения важных задач. Но кажется, что вы подошли к тому уровню, когда необходимо вовлечение других групп экспертов и социума в целом.
Так же, как вы серьезно погружены в тему ИИ, есть группы, которые серьезно работают, к примеру, над вопросами систем прямой демократии или гражданских технологий.
Я.Т.: Именно поэтому я планирую привлечь к совместной работе сообщество дизайнеров механизмов (mechanism design), которое отличается от сообщества программистов.
Е.Б.: Большое спасибо за уделенное время и беседу, это было чрезвычайно увлекательно и полезно. Я рада, что мы сможем продолжить обсуждение этой темы на первом заседании группы «Технологии и общество», которая стартует в Украине.
При копировании материалов размещайте активную ссылку на www.huxley.media
Выделите текст и нажмите Ctrl + Enter
