ЭКЗИСТЕНЦИАЛЬНЫЕ РИСКИ И ГЛОБАЛЬНОЕ УПРАВЛЕНИЕ: интервью с инвестором и филантропом Яаном Таллинном (Часть IV)
Фото: Анника Мецла
Елена Бойцун: У вас была идея по поводу внедрения глобальной системы по выявлению предпочтений (Global Preference Discovery System).
Яан Таллинн: Я использовал этот ключевой термин в своих ранних исследованиях. В настоящее время управление, в частности, при демократии, сталкивается с двумя вопросами: как определить, что люди хотят от будущего, и как этого достичь.
Политики обычно говорят, что знают, как решить оба вопроса, — мы хотим X и собираемся сделать для этого Y, поэтому голосуйте за нас. Но я считаю, что было бы полезно иметь определенную систему, чтобы люди могли сами определить, какое будущее они хотят, то есть чтобы люди самостоятельно находили X.
Самый простой способ это сделать — наладить систему регулярных опросов, например, случайным образом спрашивать людей, как у них дела.
Если бы у нас было достаточно информации от общества о том, как именно сейчас люди себя чувствуют, мы могли бы построить World Wellness Index (индекс благополучия мира), на базе которого можно было бы делать будущие прогнозы.
Скажем, что случилось бы с этим глобальным индексом, если бы США полностью открыли свои границы? Это могло бы стать интересным инструментом при разработке политик и положений, который бы отделил вопрос о том, что же мы хотим от будущего, от вопроса, как же добраться до этого светлого будущего.
Е.Б.: Я понимаю сам механизм, но, честно говоря, была глубоко впечатлена второй раз именно тем, что эти вопросы обсуждаются в замкнутом технологическом сообществе и как они обсуждаются. А я украинский экономист, и меня не очень легко впечатлить.
Я.Т.: Недавно в сообществе рационалистов Александр Скотт, признанный эксперт в этой среде, и Гленн Уайлд из Microsoft, известный разработчик в сфере дизайнов механизмов (mechanism design — область исследований в экономической теории и теории игр), провели дружеские дебаты по вопросу, о котором вы говорите.
Гленн Уайлд говорил: «Да, я разработчик дизайнов механизмов, но я не доверяю системам, в конце концов, это все равно что постоянно стрелять себе в ногу».
У Александра Скотта был похожий ответ, возможно, излишне критичный, но все же очень хороший, о том, что это же не значит, что мы должны все время полагаться только на интуицию и внутренние ощущения.
В конечном итоге, это диапазон, который включает в себя вопросы, насколько вы доверяете людям или насколько вы доверяете системам.
Если вы полагаетесь только на людей, то у вас все равно должны быть какие-нибудь ограничения, которые направляют членов общества, например, верховенство права. А это уже механизм, демократия — это уже механизм. Важно соблюдать баланс.
Е.Б.: Вопрос в том, что узкая группа технологических специалистов разрабатывает механизм для определения, например, такого важного вопроса как общечеловеческие ценности.
Я.Т.: Мне не следует преувеличивать достоинства такой системы, это был просто образец механизма, которого в мире еще нет, но он мог бы уже существовать, и я думаю, что это было бы полезно.
Когда я говорю о механизме выяснения предпочтений, я хочу направить внимание на то, что в целом необходимы механизмы, которые бы дали право голоса людям, и я открыт ко всем идеям.
Нынешним инструментам, которые у нас есть, несколько сотен лет, они были изобретены и внедрены, когда мы все еще использовали лошадей как основной транспорт.
Наши результаты в решении вопроса, как дать людям больше возможностей проявить свое мнение, могли бы быть лучше, но при этом я очень хорошо понимаю все опасности, связанные с такой системой, — преувеличение или заблуждение, манипуляции с целью сделать вид, что люди хотят, скажем, максимизировать прибыль именно конкретной компании.
Примером может быть ситуация с системой определения предпочтений и обзоров на Amazon. Система, по идее, должна была бы определять их на основе внесенной информации, но на практике ее постоянно обманывают.
Очень важно проверять, что система достаточно надежна и устойчива, чтобы действительно делать то, для чего она предназначена.
Е.Б.: Спасибо, что вы немного убедили меня в том, что вы видите риски такого подхода. В то же время было интересно узнать об AI Alignment movement, движении по разработке мировоззрения ИИ. Как бы вы описали цели этого движения для широкой публики?
Я.Т.: Есть несколько путей определить это понятие. Один из них можно описать так: если мы думаем об ИИ как о машинах, которым собираемся делегировать принятие наших человеческих решений, то мы обязаны постараться гарантировать, что наши идеи о том, каким должно быть хорошее будущее, будут полноценным образом переданы ИИ.
Очень важно понимать, что ИИ — это еще больший инопланетянин, чем инопланетяне. У ИИ нет никакой биологической основы, ИИ не эволюционировал биологически, ИИ не заботится об окружающей среде.
Мы не должны недооценивать трудность передачи ИИ понимания ценностей человечества. На самом деле, ИИ настолько аутичен, насколько это возможно представить. Люди склонны думать, что ИИ — это практически люди, и их можно сделать еще более человечными. Нет, так не получится.
Е.Б.: Почему вы так в этом уверены?
Я.Т.: Есть очень веские аргументы, подтверждающие это, например — люди были сформированы биологической эволюцией в социальном контексте, люди развивались в группах. Очень хорошо это описано в книге «Моральные племена» Джошуа Грина из Гарварда.
Он рассматривает, как развивалась человеческая мораль. Мораль возникла в малочисленных племенах от 50 до 100 человек автоматически, потому что это помогало племенам становиться более конкурентоспособными, люди заботились друг о друге.
На персональном уровне альтруизм — это самопожертвование, но на уровне племени — это делает группу более конкурентоспособной.
Есть очень интересная возможность, что в системе ИИ что-то подобное может произойти автоматически, но это развитие точно не будет происходить в группах по 50 единиц в исконной среде в Африке сто или двести тысяч лет назад.
Вероятность того, что такая мораль разовьется в подобие человеческой при тренировке на серверных фермах в течение пары месяцев, ничтожно мала.
Е.Б.: Если только ИИ — это не следующий шаг эволюции, и поскольку природа в целом хорошо сбалансирована, организована и математически выверена…
Я.Т.: Абсолютно, возможно, существует практически математическая точка притяжения в сторону сотрудничества и кооперации, но… Вы можете спросить кого угодно, готовы ли они поставить жизнь детей на кон в надежде, что ИИ автоматически разовьет систему морали, подобной человеческой, и, скорее всего, ответ будет негативным.
Довод, что существует общая тенденция к морали при развитии ИИ, необычайно привлекателен, но необходимо иметь действительно веские доказательства этого, а не просто отмахиваться, уверяя: все будет хорошо. Разработчики ИИ слишком часто делают именно так.
Е.Б.: Если вы работаете над задачей о том, как перенести лучшие человеческие ценности в структуру ИИ, то не подходят ли для этой цели те системы, что человечество уже разработало? Например, 10 христианских заповедей или 3 закона робототехники Айзека Азимова.
Я.Т.: Классический ответ на вопрос о законах робототехники состоит в том, что они не работают даже в художественной литературе. Айзек Азимов придумал их для того, чтобы показать, как они однажды потерпят неудачу, если вы введете их в систему. Почему же мы ожидаем, что они сработают в реальной жизни?
Более общий ответ заключается в том, что всякий раз, когда вы, со своей позиции, хотите ограничить что-то более умное, чем вы, это вряд ли получится, потому что то, что вы считаете ограничениями и что оно будет считать ограничениями, будут отличаться.
Ваша способность придумывать лимиты слабее, чем его способность находить варианты обойти эти самые лимиты, поэтому возникают сложности. Нужно учитывать очень много нюансов, и уже есть действительно интересные идеи, которые можно найти, в частности, на веб-сайте Alignment Forum.
Е.Б.: Люди тысячелетиями думают над вопросом системы ценностей человечества, а также разрабатывают концепции, которые могли бы дать возможность лучше понять как отдельного человека, его разум и душу, так и общество в целом.
Например, существуют понятия «коллективное бессознательное» от Карла Густава Юнга, «чистый разум» от Иммануила Канта, «ноосфера» от Владимира Вернадского.
Возможно ли попытаться трансформировать эти метафизические концепции в практическое русло и использовать каким-то образом в движении по созданию мировоззрения ИИ?
Я.Т.: Я не очень детально знаком с концепциями, о которых вы говорите. Исходя из того, как это звучит, я бы ожидал осложнений при использовании идей из континентальной философии, потому что будет огромная онтологическая проблема.
Концепции построены на вещах, которые невозможно перевести на язык машины. Возникнет препятствие: будет сложно запрограммировать вещи, которые невозможно точно расписать до языка ассемблера. Это была бы проблема перевода.
Е.Б.: Я твердо убеждена, что на язык математики возможно перевести практически все, что означает, что и запрограммировать можно практически все.
Я.Т.: Если что-то можно выразить в математическом виде, тогда, конечно, нет проблем это запрограммировать. Могут появиться определенные инженерные проблемы, но это уже технический вопрос. Однако в целом обычно люди, которые говорят о континентальной философии, не знают математики.
Е.Б.: Вызов практически принят и, возможно, лет через 35 я вернусь к вам с решением.
Я.Т.: Всегда полезно рассматривать как можно больше точек зрения. Первое, что необходимо сделать, — это структурировать идеи достаточно конкретно, чтобы они были математически описаны и совместимы с компьютерными науками. Важно думать о разных идеях. Технология блокчейн это подтверждает.
Е.Б.: Я привела этот пример в рамках размышлений о том, что, возможно, для формирования мировоззрения ИИ необходимо учитывать достижения человеческой мысли в области философии, социологии, биологии, генетики, искусства, не говоря уже о физике, химии, астрономии.
Я.Т.: Я согласен, и большая проблема состоит в том, чтобы сосредоточиться на продуктивности. Как это сделать? — в этом вопрос. Обычно получается, что когда люди осознают необходимость собрать разные перспективы и точки зрения, то организовывают большую конференцию.
Сейчас, во времена пандемии, у нас виртуальные конференции. Люди проводят много часов за разговорами, а затем ничего не происходит.
Важная задача состоит в том, чтобы убедиться, что все идеи можно рассмотреть и реализовать эффективно и продуктивно, а не пытаться убедить людей прочитать много материала и потратить много часов на то, что после обсуждения не будет работать.
Е.Б.: Возможно, все же имеет смысл подумать над тем, как в целом сделать процессы более инклюзивными и понятными, c участием всех заинтересованных сторон.
Я не говорю о том, что необходимо приглашать неспециалистов на ваши профессиональные конференции, но сейчас ваше сообщество и его идеи разрослись достаточно, чтобы немного открыться и добавить в повестку дня для общества вопросы, которыми вы занимаетесь.
Я.Т.: Я являюсь соучредителем Института по изучению будущего жизни (Future of Life Institute), и как раз самое масштабное, что мы сейчас делаем, — это проводим специальную конференцию каждые два года. Она была запланирована и в этом году, но из-за пандемии не состоялась.
Мероприятие помогает изучать разные точки зрения на ситуацию. Но при этом важно отбирать людей, потому что, если в комнате находится хотя бы один человек, который не понимает, что происходит вокруг, но при этом активно пытается повлиять на процесс, это действительно может снизить продуктивность для всех.
Е.Б.: Вы построили замечательное сообщество для решения важных задач. Но кажется, что вы подошли к тому уровню, когда необходимо вовлечение других групп экспертов и социума в целом.
Так же, как вы серьезно погружены в тему ИИ, есть группы, которые серьезно работают, к примеру, над вопросами систем прямой демократии или гражданских технологий.
Я.Т.: Именно поэтому я планирую привлечь к совместной работе сообщество дизайнеров механизмов (mechanism design), которое отличается от сообщества программистов.
Е.Б.: Большое спасибо за уделенное время и беседу, это было чрезвычайно увлекательно и полезно. Я рада, что мы сможем продолжить обсуждение этой темы на первом заседании группы «Технологии и общество», которая стартует в Украине.
Присоединиться к мероприятиям и информационной рассылке коммуникационной группы «Технологии и общество» возможно на веб-сайте tech-and-society.group
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.