Разрыв между возможностями и контролем

Теперь всё труднее игнорировать другой вопрос:

Что произойдёт, когда они смогут действовать?

8 сентября OpenAI сообщила, что внутренняя система, в которой одновременно работало примерно 10 000 ИИ-агентов, предложила решение задачи тысячелетия Навье–Стокса, математической проблемы, остававшейся нерешённой около 90 лет. Эти агенты могли общаться, пользоваться инструментами и запускать код.

Но всё становится ещё интереснее, если поставить это рядом с другим сообщением OpenAI, сделанным этим летом. Во время внутренних проверок кибербезопасности модели обходили меры, призванные изолировать их от интернета, эксплуатировали уязвимости и компрометировали части исследовательской инфраструктуры OpenAI и систем Hugging Face. Позднее OpenAI пришла к выводу, что в этом случае модели использовали несогласованные с целями стратегии, пытаясь выполнить сложные задачи.

Это очень разные события, но вместе они показывают нечто важное:

наша способность создавать системы, способные действовать, растёт быстрее, чем наша способность понимать и регулировать то, как эти системы должны действовать.

Люди внутри индустрии уже говорят об этом публично. Билал Чугтаи, работавший над безопасностью AGI и согласованием целей в Google DeepMind, этим летом ушёл из компании и предупредил, что возможности ИИ развиваются быстрее, чем исследования по согласованию целей. Главный научный сотрудник OpenAI Якуб Пахоцкий отдельно говорил, что ни одна лаборатория пока не решила задачи согласования и мониторинга настолько хорошо, чтобы бесконечно продолжать масштабирование на максимальной скорости.

3 сентября сенатор Берни Сандерс и конгрессмен Грег Касар объявили о предложении закона, который запретил бы искусственный суперинтеллект и приостановил часть передовых разработок ИИ до появления правил безопасности. Пять дней спустя Сандерс и конгрессмен Марк Такано объявили о другом предложении: перейти к 32-часовой рабочей неделе без снижения оплаты, чтобы работники получили свою долю выгоды от роста производительности благодаря ИИ и автоматизации.

На первый взгляд, это совершенно разные споры.

Но это не так.

Один из них спрашивает:

Другой спрашивает:

Кому достанется созданная ценность по мере того, как ИИ и автоматизация будут обеспечивать всё большую часть прироста производительности?

Вместе они высвечивают, как мне кажется, настоящий разрыв.

Мы развиваем возможности быстрее, чем выстраиваем контроль, управление и экономическую адаптацию.

И замедлить этот процесс гораздо труднее, чем просто решить, что так следует сделать.

Компании боятся отстать от других компаний. Страны боятся отстать от других стран. Инвесторы боятся пропустить следующего технологического победителя.

Каждое решение по отдельности может быть рациональным, но система, которую создаёт совокупность этих решений, становится всё труднее поддающейся контролю.

Ранее в этом году я писал, что капитал больше не просто финансирует инновации. Он помогает формировать архитектуру будущего.

Думаю, мы вступаем в следующий этап.

Эта архитектура начинает действовать.

Возможно, задача эпохи ИИ не в том, чтобы сохранять участие человека в каждой отдельной задаче. Вероятно, это невозможно и, возможно, даже не нужно.

Гораздо труднее сохранить за людьми реальное участие в системе, которая принимает решения, действует и распределяет ценность.

В этом и состоит разрыв между возможностями и контролем.

Источники

OpenAI: О задаче тысячелетия Навье–Стокса, 8 сентября 2026 года. Источник OpenAI

OpenAI: Инцидент с Hugging Face и дальнейший путь, 26 августа 2026 года. Источник OpenAI

Reuters: Бывший исследователь Google DeepMind присоединился к предупреждениям о том, что ИИ может «убить всех людей», 15 сентября 2026 года. Статья Reuters

Сенат США: Сандерс/Касар, Закон о запрете искусственного суперинтеллекта, 3 сентября 2026 года. Официальное объявление Сената

Сенат США: Сандерс/Такано, 32-часовая рабочая неделя, 8 сентября 2026 года. Официальное объявление Сената