Сверхинтеллект: что он усилит?

Это не значит, что машины вдруг преодолели какой-то научный порог и превзошли человека. Пока перемена касается прежде всего языка, которым государство описывает эту технологию.

Но я никак не мог перестать думать об этом названии.

Сверхинтеллект.

Оно сразу напомнило мне книгу, которую я прочитал много лет назад: «2150 год н. э.» Теи Александер.

Книга вышла в 1971 году.

Больше полувека спустя одна из ее главных идей вдруг кажется удивительно актуальной.

Два общества в одном будущем

Главный герой романа «2150 год н. э.», Джон Лейк, оказывается в 2150 году.

Мир вокруг него изменился почти до неузнаваемости. Технологии глубоко вошли в повседневную жизнь. Огромная система под названием C.I., или Центральная информация, дает людям доступ к колоссальным объемам знаний.

Но самое интересное в будущем Александер не технологии.

А люди, которые живут рядом с ними.

В ее мире показаны два совершенно разных способа устроить человеческую жизнь.

Есть Макрообщество.

И есть Микромир, представленный Микроостровом.

В основе Макро лежат личная ответственность, более широкий взгляд на мир, сотрудничество и развитие человека.

Микро выглядит куда привычнее: страх, конкуренция, статус, разобщенность, контроль, борьба за власть и потребность доказать, что я прав.

И вот что мне кажется самым интересным:

Оба существуют в одном и том же технологически развитом будущем.

Им доступны необычайные возможности. И все же живут они совершенно по-разному.

Дело не просто в технологиях. Дело в людях и институтах, которые пользуются силой, полученной благодаря технологиям.

За последний год я много писал в этой рассылке об ИИ.

Что происходит, когда машины начинают выполнять задачи, которые мы прежде считали исключительно человеческими?

Что происходит, когда мы передаем им не только работу, но и часть собственного мышления?

Что происходит, когда думать самостоятельно становится все менее обязательным?

Но возвращение к книге Александер заставило меня задуматься о другом вопросе.

В придуманном ею будущем технологическое развитие идет рука об руку со смелым представлением о развитии человека.

Наш эксперимент выглядит иначе.

Мы стремительно наращиваем возможности машин, все еще пытаясь понять, какие человеческие качества понадобятся нам, чтобы ответственно жить рядом с ними.

Машины становятся способнее. Они могут анализировать больше информации, больше запоминать, убедительнее воздействовать на людей и действовать все более автономно.

А люди, которые ими пользуются, остаются людьми.

На нас по-прежнему влияют страх, статус, жадность, неуверенность, принадлежность к своей группе, потребность в признании, желание быть правыми и соблазн искать подтверждения тому, во что мы уже верим.

Это не делает нас плохими.

Это делает нас людьми.

Но именно эти люди получат доступ ко все более мощному интеллекту.

И есть простое различие, которое может становиться все важнее:

Интеллект и мудрость не одно и то же.

Очень умный человек может использовать свой ум, чтобы яснее видеть реальность.

Но тот же человек может пустить свой ум на создание необычайно изощренной защиты от реальности.

Рост интеллекта не делает нас автоматически мудрее. Иногда он лишь помогает нам лучше защищать то, во что нам и так хочется верить.

Что именно мы доверяем машине?

Поначалу задачи, которые мы поручали ИИ, были довольно простыми.

Напиши это. Переведи это. Проанализируй это. Сделай краткое изложение.

Я и сам постоянно пользуюсь этими системами.

И в том, что инструменты берут на себя часть умственной работы, нет ничего нового. Люди всегда расширяли возможности своего ума с помощью языка, письма, книг, калькуляторов, библиотек, поисковиков и других людей.

Вопрос не в том, стоит ли пользоваться инструментами, чтобы думать.

Конечно, стоит.

Гораздо интереснее другое:

Какие части мыслительного процесса нам следует оставить за собой?

Ведь мы все чаще просим машины не просто помогать нам что-то делать.

Мы просим их помогать нам решать, что думать.

Что это значит?

Кто прав?

Какое решение мне принять?

Как мне ответить?

Во что мне верить?

А порой даже:

Кто я?

И риск не только в том, что машина может дать неверный ответ.

Мы можем постепенно передать ей то, что происходит еще до ответа.

Сомнение. Неопределенность. Противоречие. Размышление. Попытку взглянуть на ситуацию чужими глазами. Неприятную возможность того, что мы ошибаемся. Исследование Microsoft и Университета Карнеги — Меллона дает основания предполагать, что более высокая уверенность в генеративном ИИ связана с меньшими усилиями, затрачиваемыми на критическое мышление, а само критическое мышление смещается в сторону проверки и надзора.

Я все чаще возвращаюсь к другому вопросу.

Не к вопросу:

Что мне думать?

А к вопросу:

Почему мне хочется получить именно этот ответ?

Почему мне так важно быть правым?

Почему это объяснение так меня устраивает?

Почему я задал машине именно этот вопрос, а не какой-то другой?

Машина может проанализировать вопрос, который я ей задаю.

Но она не знает автоматически, почему я вообще решил задать именно его.

И здесь тема сверхинтеллекта становится особенно интересной.

Он может стать поразительно эффективным помощником в достижении целей, мотивы которых мы сами никогда не подвергали сомнению.

Представьте двух человек, у которых есть доступ к одной и той же исключительно мощной системе.

Первый спрашивает:

«Какие доказательства могли бы показать, что я ошибаюсь?»

Второй спрашивает:

«Приведи самые веские доказательства того, что я прав».

Оба могут получить продуманные доводы.

Оба могут узнать что-то новое.

Оба могут уйти с ощущением, что стали умнее.

Но они использовали интеллект для принципиально разных целей.

Вот почему я все чаще думаю о продвинутом ИИ как об усилителе.

Он может усиливать любознательность, творческий потенциал, обучение, научные открытия и нашу способность понимать чужие точки зрения.

Но он может усиливать и самообман, манипуляции, пропаганду и контроль.

Неуютная мысль в том, что система может блестяще справляться и с тем и с другим.

Более мощный интеллект не подскажет нам, к каким целям стоит стремиться. Решать это по-прежнему нам.

Один интеллект. Разные институты.

Теперь применим ту же мысль не к отдельным людям, а к организациям.

Представьте две компании, которые пользуются одинаково мощным SI.

В одной сотрудников поощряют за то, что они находят проблемы, ставят под сомнение допущения и говорят руководству неприятную правду.

В другой за несогласие наказывают, и люди быстро учатся говорить руководству то, что оно хочет услышать.

Дайте обеим компаниям одну и ту же технологию.

Возможно, обе станут сильнее.

Но в чем именно они станут сильнее?

Теперь представьте две школы.

Одна учит учеников задавать вопросы, исследовать, сопоставлять доказательства и вырабатывать собственное суждение.

Другая прежде всего стремится как можно быстрее получить правильный ответ.

SI мог бы помочь обеим.

Но в одной системе он мог бы углубить обучение, а в другой сделать самостоятельное мышление все менее необходимым.

То же относится и к государствам.

Системы, способные анализировать огромные объемы информации, могли бы улучшить транспорт, здравоохранение, образование и государственные услуги.

Те же возможности могли бы сделать слежку, воздействие на людей и централизованный контроль гораздо эффективнее.

Один интеллект. Разные институты. Разные последствия.

Технология не приходит в пустоту.

Она попадает в культуру, компании, школы, органы власти и семьи, у которых уже есть свои стимулы, слабости и ценности.

И вместо того чтобы автоматически менять эти системы к лучшему, технология может увеличить масштаб того, что в них уже есть.

Технология не стирает культуру, в которую приходит. Она ее масштабирует.

Один из главных вопросов, связанных с продвинутым ИИ, — согласование его целей и поведения с человеческими ценностями.

Как сделать так, чтобы все более мощные системы действовали в соответствии с ценностями людей?

Это важнейший вопрос.

Но за ним стоит другой.

С какими именно человеческими ценностями?

С теми, о которых мы говорим?

Или с приоритетами, которые проявляются в наших поступках?

Мы говорим, что ценим правду.

Но иногда предпочитаем успокоение.

Мы говорим, что ценим свободу.

Но удобство нам тоже дорого.

Мы говорим, что ценим приватность.

Пока отказаться от ее части не оказывается удобнее.

Мы говорим, что ценим самостоятельность суждений.

И все же алгоритмы все чаще помогают определять, что мы читаем, смотрим и покупаем и на что обращаем внимание.

Человеческие ценности устроены непросто. Они часто вступают в противоречие друг с другом.

И наши поступки не всегда соответствуют ценностям, которые мы провозглашаем.

Мы можем сказать машине, что ценим правду, свободу, приватность и независимость.

Но наш реальный выбор может обнаружить более сложную картину.

Мы выбираем удобство вместо приватности.

Подтверждение своей правоты вместо сомнения.

Быстрый ответ вместо неприятного труда думать самостоятельно.

Так что, возможно, проблема согласования чему-то научит нас не только в отношении машин.

Она может кое-что рассказать нам о нас самих.

Хотим ли мы, чтобы SI следовал ценностям, о которых мы заявляем, или приоритетам, которые снова и снова проявляются в нашем поведении?

Некоторые из этих проявившихся приоритетов нам будет неприятно назвать своими ценностями.

Макро и Микро внутри нас

Есть одна часть концепции Александер, которую я истолковал бы иначе.

Я не думаю, что человечество можно аккуратно разделить на людей Макро и людей Микро.

Оба начала есть внутри нас.

Иногда я пользуюсь ИИ, потому что искренне хочу в чем-то разобраться.

Иногда мне нужно подтверждение, что я уже прав.

Иногда я ищу истину.

Иногда ищу аргументы для спора.

Иногда мне нужна другая точка зрения.

Иногда я хочу укрепить интеллектуальную защиту того, во что уже верю.

С институтами происходит то же самое.

Компания может поощрять любознательность в одной ситуации и наказывать за несогласие в другой.

Общество может создавать выдающиеся институты науки и сотрудничества, одновременно становясь в других областях все более поляризованным и склонным к манипуляциям.

Макро и Микро — не два типа людей. Это два способа пользоваться интеллектом и властью.

И SI может резко усилить последствия того, какой из этих способов мы выберем.

Есть еще одна возможность, о которой я постоянно думаю.

На протяжении большей части истории человечества доступ к глубоким знаниям и сложному анализу обходился дорого.

Чтобы стать специалистом, требовались годы учебы.

Исследования требовали времени.

Получение знаний во многом зависело от доступа к книгам, университетам, лабораториям, специалистам и институтам.

ИИ уже начал это менять.

Сверхинтеллект, если он действительно появится, может изменить положение гораздо сильнее.

Представьте мир, в котором сложная интеллектуальная помощь стала дешевой, быстрой и общедоступной.

Где почти каждый может обратиться к системе, знающей больше, чем способен знать любой отдельный специалист, и умеющей рассуждать вместе с нами.

Что тогда станет узким местом?

Возможно, уже не доступ к интеллекту.

Возможно, способность судить.

Внимание.

Ответственность.

Способность решать, что действительно важно.

Способность понять, чего мы на самом деле хотим, прежде чем попросить мощную систему помочь нам этого добиться.

Способность замечать, когда ответ звучит убедительно лишь потому, что мы надеялись услышать именно его.

Возможно, мудрость станет ценнее именно потому, что интеллект будет повсюду.

В этом есть почти ирония.

Мы можем десятилетиями строить машины, способные ответить почти на любой вопрос, а потом обнаружить, что одно из важнейших человеческих умений — понимать:

Какие вопросы стоит задавать?

Что именно он усилит?

Появление сверхинтеллекта не делает развитие человека менее важным.

По-моему, оно делает его еще важнее.

Чем мощнее становятся наши инструменты, тем большее значение приобретают наши мотивы.

Чем легче ответить на вопрос «Как?», тем больше ответственности сосредоточено в вопросе «Зачем?»

Зачем мне это нужно?

Зачем я это строю?

Зачем я задаю этот вопрос?

Чего я упорно не хочу замечать?

Что могло бы заставить меня изменить мнение?

Возможно, самая интересная идея Теи Александер заключалась не в технологиях будущего, которые она представила больше пятидесяти лет назад.

А в чем-то гораздо более простом.

Развитие технологий и развитие человека — разные процессы. И одно не гарантирует другого.

Мы начинаем называть наши машины сверхинтеллектом.

Но само это название ничего не говорит о том, что произойдет с людьми, которые будут жить рядом с ними.

Станем ли мы любознательнее или просто увереннее в своей правоте?

Независимее или легче поддающимися чужому влиянию?

Будем ли лучше понимать реальность или лишь лучше защищать ту ее версию, в которую уже верим?

Возможно, главный вопрос не в том, насколько умными станут наши машины.

А в том, что произойдет, когда их интеллект встретится с нами.

С нашей любознательностью. Нашим творческим началом. Нашими амбициями. Нашим страхом. Нашей неуверенностью. Нашей щедростью. Нашим стремлением понять. Нашим желанием быть правыми.

Ведь сверхинтеллект может не просто изменить нас.

Он может сделать гораздо сильнее то, что уже есть внутри нас.

И тогда перед нами встает вопрос, который может оказаться важнее самого названия:

Когда сверхинтеллект усилит нас, что именно он усилит?