Ответственность, которую мы незаметно делегируем машинам

За последние два года большинство разговоров об искусственном интеллекте было сосредоточено на производительности.

Бережливые команды. Автоматизированные операции. Агенты ИИ заменяют рутинную работу.

Примеры повсюду.

Небольшие команды добиваются выдающихся результатов — всего десять лет назад для этого потребовались бы целые отделы. Компании работают с небольшой частью персонала, который им когда-то требовался. Выручка на одного сотрудника выросла до уровня, который еще недавно казался невозможным.

В этом смысле историю ИИ часто рассказывают как историю экономического успеха.

Меньше людей. Больше выхода. Более высокая маржа.

Но за этим повествованием о производительности скрывается нечто более глубокое.

Сдвиг, который гораздо меньше связан с автоматизацией и гораздо больше связан с ответственностью.

Настоящая трансформация заключается не в том, что машины начинают выполнять нашу работу.

Настоящая трансформация заключается в том, что люди начинают спокойно делегировать им свои решения.

Любой технологический сдвиг начинается с эффективности.

Появится новый инструмент.

Поначалу это помогает.

ИИ обобщает информацию быстрее, чем человек. Анализирует огромные наборы данных. Находит закономерности, которые мы можем упустить из виду.

Компании используют его для оптимизации рабочих процессов.

Отчеты формируются автоматически. Взаимодействие с клиентами автоматизировано. Маркетинговые системы корректируют кампании в режиме реального времени.

Первые результаты выглядят необычно.

Именно на этом этапе сосредоточено большинство дискуссий об ИИ, и легко понять, почему.

Экономические стимулы огромны.

Но оптимизация — это только первый шаг.

Как только система оказывается полезной, начинается новый сдвиг.

Люди начинают этому доверять.

Сначала люди проверяют выходные данные.

Аналитик проверяет модель. Врач рассматривает рекомендации. Менеджер проверяет данные.

Но со временем проверка постепенно угасает.

Не из-за небрежности, а из-за эффективности.

Если система работает большую часть времени, проверка каждого выхода становится дорогостоящей.

Поэтому люди меньше проверяют.

В конце концов машина становится источником суждений по умолчанию.

Не потому, что оно идеально.

А потому что это быстро.

И с этим сдвигом приходит тонкое психологическое облегчение.

Решения становится легче обосновать.

Модель подсказала это. Система рекомендовала это. Алгоритм ранжировал варианты.

Этот сдвиг тонкий, но глубокий.

Машина больше не просто помогает человеку принимать решения.

Оно начинает их формировать.

Последние несколько лет показали, насколько хрупкими могут стать автоматизированные системы, когда люди слишком быстро начинают им доверять.

Подобные закономерности появились и в других отраслях.

Klarna, как известно, заменила большую часть своего персонала по обслуживанию клиентов системами искусственного интеллекта, способными обрабатывать миллионы взаимодействий.

Компания отметила рост эффективности.

Потом появились проблемы.

Качество обслуживания ухудшилось. Инженеры были отстранены от основной работы для решения проблем клиентов. В конце концов компания снова начала нанимать агентов-людей.

Урок был простой.

Автоматизация – это просто.

Гораздо сложнее понять, где люди остаются необходимыми.

Подобные закономерности появились и в других отраслях.

McDonald’s удалил систему проезда на базе искусственного интеллекта после неоднократных ошибок при заказе во время тестирования.

Deloitte Australia возместила часть государственного контракта после того, как отчет, созданный с помощью искусственного интеллекта, содержал сфабрикованные ссылки, которые не были должным образом проверены.

Проблема была не в том, что ИИ допускал ошибки.

Люди тоже совершают ошибки.

Эти примеры не являются изолированными неудачами.

Они демонстрируют повторяющуюся закономерность: системы легко развернуть, но им гораздо труднее доверять без человеческого суждения.

Во многих отраслях ошибки в автоматизированных системах доставляют неудобства.

Маркетинговый алгоритм тратит бюджет. Модель ценообразования неправильно рассчитывает спрос.

Результат – финансовые потери.

Компании берут на себя расходы, исправляют модель и двигаются дальше.

Но некоторые системы работают в средах, где цена ошибки измеряется по-другому.

В таких условиях цена ошибки — не деньги.

Это человеческая жизнь.

Здравоохранение — одна из наиболее перспективных сфер применения искусственного интеллекта.

ИИ может анализировать медицинские изображения быстрее, чем специалисты. Обнаружение закономерностей в миллионах записей. Помощь врачам в диагностике и планировании лечения.

При осторожном использовании эти инструменты могут улучшить уход.

Но здравоохранение также выявляет пределы делегирования.

Когда искусственный интеллект интегрируется в клинические рабочие процессы, он делает больше, чем просто предоставляет информацию.

Оно начинает формировать медицинское суждение.

Модель выделяет определенные диагнозы как более вероятные. Рекомендует конкретный курс лечения. Помечает одного пациента как более приоритетного, чем другого.

Система не заменяет врача.

Но это незаметно формирует решение.

И когда эта рамка неверна, последствия не абстрактны.

Они влияют на реальных пациентов, в реальных больницах, в реальном времени.

Вот почему лидеры здравоохранения все чаще подчеркивают то, что звучит обманчиво просто:

Человеческий надзор не может исчезнуть.

Не потому, что машины бесполезны.

А потому, что ответственность невозможно автоматизировать.

Риски становятся еще более очевидными в военных системах.

Современная война все больше определяется автоматизированным анализом.

Алгоритмы обрабатывают данные наблюдения. Расставьте приоритеты целей. Оцените вероятности.

Эти системы не заменяют людей-операторов.

Они ускоряют их.

Решения, которые когда-то требовали часов, теперь занимают минуты.

Иногда секунды.

Человек все еще присутствует.

Но темп системы меняет характер их роли.

Вместо того, чтобы обдумывать решение, оператор его подтверждает.

Машина предлагает. Человек одобряет.

А когда конфликт разворачивается со скоростью машины, это одобрение может стать не более чем процедурным шагом.

История предлагает яркий пример того, почему это важно.

В 1983 году советская система раннего предупреждения обнаружила приближающиеся ядерные ракеты из Соединенных Штатов.

Система классифицировала сигнал как настоящую атаку.

Протокол требовал от дежурного офицера немедленно сообщить о запуске - шаг, который мог спровоцировать ядерный ответ.

Дежурным был Станислав Петров.

Проанализировав данные, система показала пять летящих ракет.

Но Петров колебался.

Его рассуждения были просты.

Если бы США начали ядерную войну, они бы не запустили пять ракет. Он будет запускать сотни.

Он назвал тревогу ложной.

Позже выяснилось, что он был прав.

Система ошибочно приняла отражения солнечного света на облаках за запуски ракет.

Урок заключался не в том, что система была вредоносной.

Урок заключался в том, что автоматизированные системы могут выглядеть чрезвычайно убедительно, даже если они ошибаются.

И порой единственный барьер между системной ошибкой и глобальной катастрофой

человек готов подвергнуть сомнению машину.

У этой трансформации есть и более глубокое психологическое измерение.

Ответственность тяжелая.

Стратегические решения несут риск. Медицинский выбор влияет на жизнь. Военные действия определяют судьбы народов.

На протяжении веков это бремя полностью лежало на человеческом суждении.

Искусственный интеллект привносит что-то новое.

Тонкий психологический побег.

Когда решение возникает на основе сложного алгоритма, ответственность становится легче распределить.

Модель предложила действие. Система рассчитала вероятность. Алгоритм ранжировал варианты.

Человек просто подтвердил результат.

Психолог Эрик Берн однажды описал, как люди конструируют «игры», позволяющие им избежать прямой ответственности за трудный выбор.

В таких играх люди часто верят, что контролируют ситуацию, пока сама структура игры не начинает формировать их поведение.

В этот момент игра больше не является тем, во что они играют.

Это становится чем-то, что их играет.

Технология не изобрела такое поведение.

Но интеллектуальные системы могут значительно усилить эту проблему.

Когда решения все чаще принимаются алгоритмами, люди могут начать испытывать что-то опасно комфортное:

ощущение, что ответственность принадлежит системе, а не им.

На протяжении веков человеческий интеллект был главным узким местом каждой сложной системы.

Организации были ограничены объемом информации, которую люди могли обработать. Как быстро они могли анализировать. Насколько точно они могли предсказывать.

Искусственный интеллект устраняет это ограничение.

Обработка информации больше не является дефицитом. Распознавание образов больше не является дефицитом. Стратегический анализ больше не является дефицитом.

Впервые в истории,

интеллект сам по себе становится обильным.

Но изобилие создает новое узкое место.

Ответственность.

В ближайшие годы ИИ продолжит трансформировать организации.

Команды станут меньше. Системы станут быстрее. Автоматизация распространится на области, которые когда-то казались полностью человеческими.

Но одна роль останется фундаментально человеческой.

Кому-то все равно придется решить:

Что система должна оптимизировать. Какие риски приемлемы. Где лежат границы.

Настоящая проблема эпохи искусственного интеллекта заключается не в сохранении человеческого труда.

Это сохранение ответственности человека.

Потому что системы могут оптимизировать решения.

Но ответственность за них могут нести только люди.

Когда интеллекта становится много, ответственность становится самым дефицитным ресурсом в человеческих системах.

И труднее всего людям сопротивляться

есть искушение делегировать это.