Первый и самый старый страх вокруг AI заключается в том, что AI буквально решит уничтожить человечество.
Страх, что созданная нами технология восстанет и уничтожит нас, глубоко укоренен в нашей культуре. Греки выразили этот страх в мифе о Прометее — Прометей принёс людям разрушительную силу огня, а шире — технологий (
techne), за что боги приговорили его к вечным мучениям. Позже Мэри Шелли подарила современному миру свою версию этого мифа в романе
«Франкенштейн, или Современный Прометей», где человек создает технологию вечной жизни, а она встает против него и пытается его уничтожить. И, конечно, нельзя представить себе ни одной газетной статьи, сеющей панику вокруг AI, без фотографии сверкающего красноглазого робота-убийцы из фильмов Джеймса Кэмерона
«Терминатор».
Предположительно, эволюционное назначение этой мифологии — мотивировать нас серьёзнее относиться к рискам новых технологий. Ведь огонь действительно можно использовать, чтобы сжечь дотла целые города. Но точно так же, как огонь стал фундаментом современной цивилизации, согревая и защищая нас в холодном и враждебном мире, эта мифология напрочь игнорирует гораздо более весомую положительную сторону большинства (всех?) новых технологий и на практике лишь раздувает разрушительные эмоции вместо рассудочного анализа. Просто потому что первобытный человек впадал в панику по этому поводу, вовсе не значит, что и мы должны — мы можем включить рациональность.
На мой взгляд, идея о том, что AI вдруг решит уничтожить человечество, — это глубокая
категориальная ошибка. AI не живое существо, прошедшее через миллиарды лет эволюции борьбы за выживание сильнейших, как животные или как мы сами. Это математика — код — компьютеры, созданные людьми, принадлежащие людям, используемые людьми, контролируемые людьми. Идея, что однажды AI вдруг обретёт собственный ум и свои «мотивы», которые подтолкнут его нас убить, — это суеверная фантазия.
Короче говоря, AI не
«хочет», у него нет
целей, он не жаждет вас
убить, потому что он
не живой. AI — это машина, и она не «оживёт», ровно так же, как не оживёт ваш тостер.
Теперь, конечно, есть настоящие «баптисты», верующие в killer AI, которые получают сейчас астрономический объем медийного внимания со своими ужасающими предупреждениями. Некоторые утверждают, что десятилетиями изучали эту тему и теперь до смерти напуганы тем, что узнали. Причём некоторые из этих истинно верующих сами являются
настоящими инноваторами технологии. Эти акторы выступают за целый спектр странных и крайних ограничений для AI: от полного
запрета на разработку AI до
авиаударов по дата-центрам и
ядерной войны. Их аргумент в том, что поскольку люди вроде меня не могут исключить гипотетические катастрофические последствия AI в будущем, мы должны занять
«выжидательную» позицию, которая может потребовать масштабного насилия и смертей, чтобы предотвратить потенциальный экзистенциальный риск.
Мой ответ таков: их позиция ненаучна. Какова проверяемая гипотеза? Что бы её опровергло? Как мы поймем, что
заходим в опасную зону? Эти вопросы в основном остаются без ответов, кроме как:
«Вы не можете доказать, что этого не случится!» На деле позиция этих «баптистов» настолько ненаучна и настолько экстремальна — это буквально теория заговора про математику и код, которая уже призывает к физическому насилию, что я сделаю то, чего обычно не делаю: поставлю под сомнение их мотивы.
Конкретно, я думаю здесь играют роль три вещи:
Во-первых, вспомним, что Джон фон Нейман ответил Роберту Оппенгеймеру, который мучительно переживал свою роль в создании ядерного оружия (которое, кстати, помогло закончить Вторую мировую и предотвратить Третью):
«Некоторые признаются в вине, чтобы получить признание за свой грех.» Как самый драматичный способ подчеркнуть значимость собственной работы, не звуча при этом откровенно хвастливо? Это объясняет разрыв между словами и действиями «баптистов», которые на самом деле продолжают строить и финансировать AI — смотрите на их дела, а не на слова. (Трумэн был жёстче после встречи с Оппенгеймером:
«Больше не пускайте сюда этого плаксу.»)
Во-вторых, некоторые из «баптистов» на деле — «бутлегеры». Существует целая профессия «экспертов по безопасности AI», «AI-этиков», «исследователей рисков AI». Им платят за то, чтобы они были думерами, и их заявления надо воспринимать соответствующе.
В-третьих,
Калифорния справедливо знаменита своими тысячами культов — от EST до Peoples Temple, от Heaven’s Gate до «Семьи» Мэнсона. Многие (хотя не все) из них безвредны и, возможно, даже полезны для отчужденных людей, которые находят в них дом. Но некоторые — очень опасны, и культы известны тем, что плохо удерживают ту грань, за которой
начинается насилие и смерть.И реальность, которая очевидна каждому в Bay Area, но, возможно, не столь заметна за её пределами, заключается в том, что «AI risk» уже
превратился в культ, который внезапно вырвался на свет глобального внимания прессы и публичных обсуждений. Этот культ втянул не только маргиналов, но и настоящих индустриальных экспертов, а также немало богатых спонсоров — включая, до недавнего времени,
Сэма Бэнкмана-Фрида. И он развил у себя весь набор паттернов поведения и верований в культе.
Именно поэтому эта группа AI-думеров
звучат настолько громко. Не потому что у них есть секретные знания, делающие их настроение логичным, а потому что они сами себя так накрутили и теперь действительно ударились в экстремальные вещи.
Оказывается, этот тип культа не нов — в западной традиции давно существует
милленаризм, порождающий апокалиптические культы. Культ рисков AI демонстрирует все признаки милленарного апокалиптического культа. Из Википедии, с моими добавлениями:
«Милленаризм — это вера группы или движения [AI-думеров] в грядущее фундаментальное преобразование общества [пришествие AI], после которого всё изменится [AI-утопия, дистопия и/или конец света]. Только драматические события [запреты AI, авиаудары по дата-центрам, ядерные удары по нерегулируемым AI] способны изменить мир [остановить AI], и эти изменения должны быть осуществлены или пережиты группой преданных и фанатичных. В большинстве милленарных сценариев грядущее бедствие или битва [AI-апокалипсис или его предотвращение] ведет к новому, очищенному миру [запретам AI], в котором верующие будут вознаграждены [или хотя бы признаны правыми задним числом].»Этот апокалиптический культ настолько очевиден, что я удивляюсь, почему это видят не все.
Не поймите меня неправильно: про культы весело читать,
их учения часто креативны и увлекательны, а их участники забавно выглядят на телешоу. Но их экстремальные убеждения явно не должны определять будущее наших законов и общества.