Философия лонгтермизма, любимая в Кремниевой долине, помогла сформулировать дебаты об искусственном интеллекте вокруг идеи вымирания человечества.
Но все более громкие критики предупреждают, что эта философия опасна, а одержимость вымиранием отвлекает от реальных проблем, связанных с ИИ, таких как кража данных и предвзятые алгоритмы.
Автор Эмиль Торрес, бывший лонгтермист, ставший критиком этого движения, заявил AFP, что философия основана на тех же принципах, которые в прошлом использовались для оправдания массовых убийств и геноцида.
Однако это движение и связанные с ним идеологии, такие как трансгуманизм и эффективный альтруизм, имеют огромное влияние в университетах от Оксфорда до Стэнфорда и во всем технологическом секторе.
Венчурные капиталисты, такие как Питер Тиль и Марк Андрессен, инвестировали в компании по продлению жизни и другие любимые проекты, связанные с этим движением.
Илон Маск и Сэм Альтман из OpenAI подписали открытые письма с предупреждением, что ИИ может привести к вымиранию человечества, хотя они выигрывают от утверждения, что только их продукты могут нас спасти.
В конечном счете, критики говорят, что это маргинальное движение оказывает слишком большое влияние на общественные дебаты о будущем человечества.
Действительно опасно
Лонгтермисты считают, что мы обязаны стараться производить наилучшие результаты для наибольшего числа людей.
Это ничем не отличается от либералов 19-го века, но лонгтермисты имеют в виду гораздо более длительный период.
Они смотрят в далекое будущее и видят триллионы и триллионы людей, плавающих в космосе, колонизирующих новые миры.
Они утверждают, что мы несем такую же обязанность перед каждым из этих будущих людей, как и перед любым живущим сегодня.
И поскольку их так много, они несут гораздо больший вес, чем сегодняшние экземпляры.
Этот вид мышления делает идеологию «действительно опасной», сказал Торрес, автор книги «Вымирание человечества: История науки и этики уничтожения».
«Всякий раз, когда у вас есть утопическое видение будущего, отмеченное почти бесконечным количеством ценностей, и вы сочетаете это с неким утилитарным образом мышления, где цель оправдывает средства, это будет опасно», — сказал Торрес.
Если сверхразумная машина может вот-вот ожить с потенциалом уничтожить человечество, лонгтермисты обязаны противостоять ей, несмотря на последствия.
Когда в марте его спросил пользователь Twitter, платформы, ныне известной как X, сколько людей могут умереть, чтобы остановить это, идеолог-лонгтермист Элиезер Юдковский ответил, что людей должно быть достаточно «для формирования жизнеспособной репродуктивной популяции».
«Пока это правда, все еще есть шанс достичь звезд когда-нибудь», — написал он, хотя позже удалил это сообщение.
Заявления об евгенике
Лонгтермизм вырос из работы шведского философа Ника Бострома в 1990-х и 2000-х годах вокруг экзистенциального риска и трансгуманизма — идеи, что людей можно улучшить с помощью технологий.
Ученый Тимнит Гебру указала, что трансгуманизм был связан с евгеникой с самого начала.
Британский биолог Джулиан Хаксли, придумавший термин трансгуманизм, также был президентом Британского евгенического общества в 1950-х и 1960-х годах.
«Лонгтермизм — это евгеника под другим именем», — написала Гебру в прошлом году в Twitter.
Бостром давно сталкивается с обвинениями в поддержке евгеники после того, как он включил в список экзистенциальных рисков «dysgenic pressures», по сути, когда менее умные люди размножаются быстрее, чем их более умные сверстники.
Философ, который возглавляет Институт будущего жизни в Оксфордском университете, принес извинения в январе после того, как признал, что писал расистские посты на интернет-форуме в 1990-х годах.
«Поддерживаю ли я евгенику? Нет, не в том смысле, в котором этот термин обычно понимается», — написал он в своих извинениях, указав, что его использовали для оправдания «некоторых самых ужасных злодеяний прошлого века».
Более сенсационно
Несмотря на эти проблемы, такие лонгтермисты, как Юдковский, отчисленный из школы самоучка, известный написанием фанфиков по Гарри Поттеру и пропагандой полиамории, продолжают почитаться.
Альтман отдал ему должное за получение финансирования OpenAI и предположил в феврале, что он заслуживает Нобелевской премии мира.
Но Гебру, Торрес и многие другие пытаются сосредоточиться на таком вреде, как кража работ художников, предвзятость и концентрация богатства в руках нескольких корпораций.
Торрес, который использует местоимение они, сказал, что, хотя есть истинные верующие, как Юдковский, большая часть дебатов о вымирании мотивирована прибылью.
«Говорить о вымирании человечества, о подлинном апокалиптическом событии, при котором все погибнут, намного более сенсационно и захватывающе, чем кенийские рабочие, получающие 1,32 доллара в час, или эксплуатация художников и писателей», — сказали они.