Запись источника
Дилемма ИИ
Кто задаёт ориентиры тем, кто задаёт ориентиры ИИ?
Неудобный вопрос
ИИ-помощник может сообщать точные сведения, безупречно выполнять инструкции и при этом давать рекомендации, которые не отвечают вашим интересам.
Представьте, что вы просите ИИ помочь выбрать финансовый продукт.
Он изучает вашу ситуацию, сравнивает варианты и рекомендует тот, который кажется лучшим.
Но допустим, компания, которой принадлежит этот ИИ, получает комиссию, если вы выберете определённого поставщика.
Повлияет ли это на рекомендацию?
Не обязательно. Но как вы об этом узнаете?
Когда совет становится бизнесом, важно понимать, чьи интересы за ним стоят.
Я не считаю прибыль проблемой. Она стимулирует инновации, вознаграждает успешные компании и создаёт экономические возможности.
Проблема начинается тогда, когда коммерческие интересы влияют на решения, которые преподносят клиентам как независимый совет.
Это различие существовало задолго до искусственного интеллекта. Новое здесь то, какую роль ИИ может играть в наших решениях.
Мы создаём системы, которые не просто сообщают сведения. Они способны оценивать альтернативы, рекомендовать действия и всё чаще выполнять задачи от нашего имени.
Чем больше решений мы доверяем ИИ, тем важнее понимать, кто определяет его цели.
Кто задаёт ориентиры тем, кто задаёт ориентиры ИИ?
1. Как мы к этому пришли
Крупные технологические революции меняют экономику того, что прежде было редким, дорогим или труднодоступным.
Интернет резко снизил стоимость распространения информации. Поисковые системы упростили её поиск. Социальные сети превратили человеческое внимание в ценный коммерческий ресурс.
Эти новшества открыли огромные возможности. Но вместе с ними возникли и новые экономические стимулы.
Когда доход от рекламы зависит от вовлечённости, привлечение и удержание внимания становится приоритетом бизнеса. Когда личная информация повышает эффективность рекламы, её сбор и анализ становятся экономически выгодными.
Последствия уже нельзя назвать теоретическими.
В 2024 году Федеральная торговая комиссия США (FTC) задокументировала, как крупные социальные сети и видеоплатформы собирают и монетизируют персональные данные в широком масштабе. Её выводы выявили существенное противоречие между бизнес-моделями этих платформ и правом пользователей на частную жизнь. [1]
Этот опыт говорит нам о важном.
Экономические стимулы определяют, как развиваются технологии, иногда совсем не так, как ожидали их пользователи.
Теперь начинается новый этап перемен.
Социальные платформы научились бороться за наше внимание и влиять на то, какую информацию мы видим.
ИИ может гораздо непосредственнее участвовать в том, как мы осмысливаем эту информацию, сравниваем варианты и принимаем решения.
Это различие становится особенно важным, когда ИИ получает право действовать.
Алгоритм рекомендаций может повлиять на то, какую статью о финансах вы прочтёте. ИИ-помощник может оценить ваше финансовое положение, предложить инвестицию и со временем даже совершить одобренную вами сделку.
Оба влияют на поведение. Но второй гораздо глубже вовлечён в само принятие решения.
Чем больше решений мы передаём ИИ, тем серьёзнее последствия стимулов, которые направляют его работу.
Здесь экономика ИИ становится вопросом человеческой самостоятельности.
2. Когда интеллект становится бизнес-моделью
Большая часть дискуссии о безопасности ИИ посвящена согласованию его поведения с человеческими целями: тому, как обеспечить соблюдение системой надлежащих намерений, инструкций и ограничений.
Это необходимо. Но одной технической надёжностью нельзя разрешить любой конфликт интересов.
Система ИИ может работать строго так, как задумано, и при этом преследовать цели, которые не вполне отвечают интересам пользователей.
Экономисты изучают похожие проблемы уже несколько десятилетий.
Когда кто-то принимает решения за другого человека, различие в мотивах и доступе к информации может порождать конфликт интересов.
Финансовый консультант может знать больше клиента и получать дополнительное вознаграждение за рекомендации определённых продуктов. Онлайн-платформа может бесплатно предоставлять полезную услугу и одновременно зарабатывать на сведениях о своих пользователях.
ИИ не создаёт такие отношения с нуля.
Но он может сделать их более персонализированными, масштабными и трудными для распознавания.
В январе 2025 года FTC сообщила, что посредники в ценообразовании могут использовать подробные сведения о потребителях, включая историю просмотров и местоположение, для персонализации цен и предложений. Эти выводы касались изученных возможностей и практик, а не доказывали, что каждый продавец применяет персонализированные цены. [2]
А теперь представьте, что сходные коммерческие стимулы действуют через разговорный ИИ.
Система понимает ваши предпочтения, отвечает на возражения и подстраивает объяснения под вас.
При ответственном использовании это может помогать учиться, принимать решения и получать доступ к профессиональным знаниям. Но те же возможности можно использовать для более убедительного воздействия.
Исследование, опубликованное в 2025 году в Nature Human Behaviour, показало, что в контролируемых дебатах GPT-4, располагая личной информацией о собеседнике, убеждал успешнее, чем люди-оппоненты. [3]
Однако в исправлении, опубликованном авторами в сентябре 2026 года, уточняется важное ограничение: прямое сравнение не выявило статистически значимого превосходства персонализированного GPT-4 над GPT-4 без персонализации по убедительности. [4]
Исследование показывает возможности ИИ в убеждении при определённых экспериментальных условиях. Оно не доказывает массовых манипуляций и не устанавливает, как эти эффекты проявляются в повседневном общении.
Но сама способность к такому воздействию заслуживает серьёзного внимания.
Чтобы влиять на решения людей, ИИ не нужны собственные амбиции. Ему нужны цели, информация и возможность действовать на их основе.
Многие из этих целей задают люди и организации.
И здесь возникает ещё одна проблема.
Чьим интересам должна отдавать приоритет система ИИ, если они противоречат друг другу?
Пользователь может хотеть максимального удобства и личной свободы. Бизнес может ставить во главу угла прибыльность и эффективность. Государство отвечает за общественную безопасность, а общество ожидает справедливости и защиты от вреда.
Эти интересы могут совпадать, но совместимы они не всегда.
Задача не в том, чтобы ИИ одинаково служил интересам всех: возможно, это недостижимо. Задача в том, чтобы решения о приоритетах были прозрачными, подотчётными и допускали оспаривание.
Поэтому разговор о согласовании целей ИИ не может ограничиваться поведением машины.
Он должен включать и стимулы, и ответственность тех, кто создаёт и внедряет эти системы.
Ведь стимулы имеют значение даже при благих намерениях.
3. Власть за интеллектом
Есть ещё одна экономическая реальность, с которой нужно считаться.
Кто контролирует инфраструктуру, от которой зависят всё более важные решения?
Разработка передового ИИ требует значительных вычислительных мощностей, капитала, инженерных знаний и каналов распространения.
Доступ к этим ресурсам распределён неравномерно.
В 2025 году FTC изучила партнёрства между крупными облачными провайдерами и разработчиками ИИ. Комиссия указала на потенциальные риски для конкуренции, связанные с доступом к вычислительным ресурсам, договорной зависимостью и затратами на смену поставщика. [5]
Управление по конкуренции и рынкам Великобритании (CMA) высказало сходные опасения по поводу компаний, контролирующих ключевые ресурсы и основные каналы распространения. [6]
Эти выводы не означают, что рынки ИИ неизбежно станут монополиями. Но они показывают, как технологическое преимущество может превратиться в экономическую власть.
Представьте компанию, которая встроила решения одного поставщика ИИ в обслуживание клиентов, разработку продуктов, финансовый анализ и внутренние процессы.
Поначалу производительность растёт. Затраты снижаются. У сотрудников появляются новые возможности.
Но со временем процессы компании оказываются завязаны на этого поставщика.
Переход на другую систему может потребовать переделки интеграций, переобучения сотрудников и временно нарушить работу.
Компания получила новые возможности, но сменить поставщика ей теперь труднее.
Это знакомая экономическая закономерность. Она не свойственна только ИИ, и зависимость от специализированной инфраструктуры не обязательно вредна.
Проблема возникает, когда у пользователей исчезают реальные альтернативы.
Компании, которая практически не может сменить поставщика, сложнее отстаивать свои условия.
Человек, который не понимает, как формируются важные рекомендации ИИ, хуже контролирует решения, влияющие на его жизнь.
ИИ способен сделать мощные интеллектуальные инструменты доступнее и одновременно сосредоточить контроль над обеспечивающей их инфраструктурой в немногих руках.
Это возможность, которую стоит изучать, а не неизбежное будущее, которое нужно принять как данность.
4. А если ИИ приведёт к обратному результату?
Теперь стоит подвергнуть сомнению сам этот аргумент.
Что, если в конечном счёте ИИ уменьшит концентрацию власти, а не усилит её?
Веками профессиональные знания стоили дорого.
Людям и небольшим компаниям приходилось полагаться на специалистов и организации, к знаниям которых они не могли легко получить доступ или самостоятельно их оценить.
ИИ меняет эти отношения.
Небольшая компания может выполнять задачи, для которых раньше требовалась гораздо более крупная команда. Студенты могут получать индивидуальные объяснения. Предприниматели могут разрабатывать программы и анализировать рынки, располагая меньшими ресурсами.
Потребители могут сравнивать финансовые продукты и ставить под вопрос рекомендации специалистов, а не полностью зависеть от одного посредника.
Есть и свидетельства реальной экономической пользы.
В работе «Generative AI at Work», опубликованной в The Quarterly Journal of Economics в 2025 году, Эрик Бриньолфссон, Даниэль Ли и Линдси Реймонд изучили внедрение ИИ-помощника в работе 5 172 сотрудников службы поддержки.
Они обнаружили, что доступ к ИИ в среднем повысил производительность, измеряемую числом решённых вопросов в час, на 15%. Особенно заметным прирост был у менее опытных сотрудников. [7]
Эти результаты получены в конкретных условиях работы. Они не доказывают, что любое применение ИИ принесёт сопоставимую пользу.
Но они показывают нечто важное.
ИИ может открыть людям доступ к возможностям, для которых прежде требовались больший опыт, более крупная команда или более дорогие ресурсы.
Означает ли это, что созданная экономическая ценность будет распределяться более равномерно?
Не обязательно.
Рост производительности на 15% не говорит нам о том, кому достанется дополнительная экономическая выгода.
Она может выразиться в более высоких зарплатах, более низких ценах, росте прибыли компании или сочетании этих результатов.
Распределение зависит от рыночных условий, переговорной силы сторон, конкуренции и решений бизнеса.
Создать экономическую ценность и распределить её: разные задачи.
Это различие важно, поскольку ИИ может ослабить некоторые традиционные преимущества крупных организаций и одновременно создать новые преимущества для тех, кто контролирует его инфраструктуру.
Оба процесса могут идти одновременно.
Я верю, что ИИ действительно способен расширить возможности человека. Это заставляет усомниться в предположении, будто технологическая зависимость непременно означает утрату самостоятельности.
Современная цивилизация зависит от электричества, медицины, транспорта и бесчисленного множества специализированных систем. Благодаря этой зависимости люди смогли добиться большего.
Вопрос не в том, зависимы ли мы от технологий.
Вопрос в том, расширяет ли эта зависимость нашу способность действовать, сохраняя реальную возможность выбора.
ИИ может уменьшить нашу зависимость от традиционных посредников и одновременно создать новую зависимость от поставщиков технологий.
Результат будет зависеть от конкуренции, доступности, наличия альтернатив и способности пользователей понимать и оспаривать важные решения.
5. Подотчётность должна подтверждаться делом
В истории вновь и вновь повторяется похожая схема.
Новые технологии открывают возможности. Компании выстраивают вокруг них бизнес-модели. Люди начинают ими пользоваться. Экономические интересы набирают вес. В конце концов становятся видны непредвиденные последствия, и общество пытается к ним приспособиться.
Разные варианты этого процесса мы видели во время индустриализации и становления интернета.
Но история не гарантирует, что институты успеют вовремя приспособиться и что перемены будут справедливыми.
Поэтому я не считаю, что дилемму ИИ можно разрешить одним лишь ужесточением регулирования.
Регулирование способно защищать потребителей, но плохо продуманные правила могут также затруднить конкуренцию и укрепить позиции уже сложившихся компаний.
И одних призывов к корпорациям вести себя ответственно недостаточно.
Нужна подотчётность, которую можно проверить, а не просто пообещать.
Вернёмся к нашему финансовому ИИ-помощнику.
Если его оператор получает вознаграждение за рекомендации определённых продуктов, об этом следует открыто сообщать.
Независимые проверяющие должны иметь возможность установить, не отдаёт ли система предпочтение поставщикам, выплачивающим комиссию, даже когда потребности и обстоятельства клиентов остаются одинаковыми.
Если такая закономерность обнаружится, оператор должен суметь объяснить её и показать, соответствуют ли рекомендации заявленным обязательствам перед пользователями.
Тот же принцип применим и в других сферах.
Если ИИ влияет на решения о найме, работодателям следует проверять, не приводит ли его применение к необоснованно дискриминационным результатам.
Если автономные системы могут совершать сделки, их полномочия должны иметь чёткие границы, а действия должны сопровождаться надлежащим контролем и возможностью вмешательства.
Если бизнес сильно зависит от поставщика ИИ, ему следует понимать реальные затраты на переход к альтернативе.
Это не отвлечённые этические пожелания. Это вопросы, которые можно исследовать.
Национальный институт стандартов и технологий США (NIST) уже предлагает добровольную методику выявления, оценки и управления рисками ИИ. [8]
Задача состоит в том, чтобы превратить принципы в практики, которые можно оценивать и, где это уместно, обеспечивать их соблюдение.
И подотчётность не должна касаться только технологических компаний.
Действия государств и регуляторов, обладающих властью над ИИ, тоже должны оставаться под пристальным контролем.
Замена бесконтрольной власти корпораций бесконтрольной властью государства не решит исходную проблему.
Цель не в том, чтобы устранить власть. Цель в том, чтобы её всегда можно было поставить под вопрос, оспорить и исправить её решения.
6. Будущее человека: что дальше?
В ближайшее десятилетие ИИ может всё глубже входить в образование, медицину, бизнес и повседневное принятие решений.
Последствия отчасти будут зависеть от решений, которые мы принимаем сегодня.
Представьте один путь.
Возможности ИИ продолжают расти, но у пользователей остаются реальные альтернативы. Независимая оценка становится доступнее. О коммерческих интересах открыто сообщают там, где это важно. У большего числа людей появляются новые навыки и экономические возможности.
А теперь представьте другой.
Всё больше важных решений проходит через ограниченное число систем. Сменить поставщика трудно. О влияющих на рекомендации интересах почти ничего не известно. Люди получают удобные ответы, но всё хуже понимают, как эти ответы появились.
Ни один из сценариев не предопределён. Их элементы могут проявиться одновременно.
Технологии никогда не определяли свои общественные последствия сами по себе. Всегда имели значение рынки, институты, экономические стимулы и человеческий выбор.
ИИ не станет исключением.
Поэтому всякий раз, когда ИИ участвует в важном для человека решении, я предлагаю задавать три вопроса.
Кто получает выгоду?
Кто несёт риски?
У кого власть?
Ответы говорят нам о том, чего нельзя узнать из одних технических показателей: как между людьми распределяются выгоды, последствия и полномочия, возникающие благодаря ИИ.
И можно ли поставить это распределение под вопрос или изменить его.
Подлинная дилемма ИИ
Я верю, что искусственный интеллект может стать одним из самых мощных инструментов человеческого прогресса.
Но я не принимаю предположения, будто технический прогресс автоматически означает прогресс человечества.
История не даёт оснований так считать.
Технологии открывают возможности. Люди и институты определяют, как их развивать, распределять и использовать.
ИИ может помочь миллионам людей получить доступ к знаниям, улучшить своё экономическое положение и принимать более взвешенные решения.
Он может также породить новые формы зависимости и сосредоточить влияние на решения, которые мы всё чаще доверяем машинам.
Возможны оба исхода.
И одних благих намерений недостаточно, чтобы определить, какой из них наступит.
Всё будет зависеть от экономических стимулов, распределения власти и от того, сохранят ли люди реальные способы понимать, ставить под вопрос и менять системы, влияющие на их жизнь.
Мы много говорим о том, останется ли искусственный интеллект под контролем человека.
Стоит спросить и о другом: будут ли люди, контролирующие ИИ, подотчётны всем, кого затронут его решения?
Ведь подлинная мера прогресса ИИ не только в том, насколько умными станут наши машины.
Она в том, даст ли этот интеллект людям больше власти над собственной жизнью или, напротив, даст кому-то другому больше власти над ними.
Источники и ссылки
1. Федеральная торговая комиссия США (FTC), 2024 год: социальные сети и слежка за данными
Официальный доклад FTC о масштабном сборе и монетизации персональных данных крупными социальными сетями и видеоплатформами, а также о противоречии между их бизнес-моделями и правом пользователей на частную жизнь.
2. Федеральная торговая комиссия США (FTC), январь 2025 года: персонализированное ценообразование на основе данных о потребителях
Выводы FTC о том, как посредники в ценообразовании могут использовать подробные сведения о потребителях для персонализации цен, скидок и коммерческих предложений.
3. Сальви и соавторы, 2025 год: об убедительности GPT-4 в диалоге
Nature Human Behaviour. Экспериментальное исследование, сравнивающее убедительность ИИ и людей, в том числе при наличии личной информации о собеседнике.
https://www.nature.com/articles/s41562-025-02194-6
4. Сальви и соавторы, сентябрь 2026 года: исправление к исследованию об убедительности GPT-4 в диалоге
Nature Human Behaviour. Официальное исправление, уточняющее, что прямое сравнение персонализированного GPT-4 с GPT-4 без персонализации не выявило статистически значимой разницы.
https://www.nature.com/articles/s41562-026-02588-0
5. Федеральная торговая комиссия США (FTC), январь 2025 года: партнёрства и инвестиции в сфере ИИ
Официальное исследование FTC о партнёрствах между крупными облачными провайдерами и разработчиками ИИ, включая возможные риски, связанные с доступом к вычислительным ресурсам, договорной зависимостью и затратами на смену поставщика.
6. Управление по конкуренции и рынкам Великобритании (CMA), апрель 2024 года: стратегический обзор рынка ИИ
Анализ конкуренции на рынках ИИ, подготовленный регулятором. Рассматриваются контроль над ключевыми ресурсами и каналами распространения, а также возможные барьеры для выхода на рынок.
https://www.gov.uk/government/publications/cma-ai-strategic-update/cma-ai-strategic-update
7. Бриньолфссон, Ли и Реймонд, 2025 год: «Generative AI at Work»
The Quarterly Journal of Economics, том 140, выпуск 2. Исследование работы 5 172 сотрудников службы поддержки, в котором зафиксирован средний рост производительности на 15% при помощи ИИ.
https://academic.oup.com/qje/article/140/2/889/7990658
8. Национальный институт стандартов и технологий США (NIST): методика управления рисками ИИ
Добровольная методика для выявления, оценки и управления рисками при разработке и внедрении искусственного интеллекта.