Большинство людей используют технологии голосовых помощников вроде Alexa или Google Assistant для составления списков и быстрых обновлений погоды. Но представьте, что эти технологии могли бы делать намного больше – резюмировать визиты к врачу, напоминать когда принимать лекарства, управлять расписанием (зная, какие события имеют приоритет), а также не только читать рецепт, но и создавать напоминания о покупке ингредиентов – без необходимости пользователю давать команды. Если бы умный помощник мог использовать искусственный интеллект, чтобы взять на себя часть когнитивной нагрузки для обычных задач, это могло бы помочь пожилым людям сохранить независимость и автономию.
Умные помощники следующего поколения еще не появились на рынке, но исследования, необходимые для их создания, уже ведутся. Это включает усилия по разработке умных помощников, которые проактивны – то есть система могла бы предвосхищать потребности и желания пользователя и даже помогать и опосредовать социальное взаимодействие между пользователями и их сетями поддержки. Но при разработке систем, призванных расширить возможности пожилых людей, испытывающих когнитивный спад, возникает широкий круг этических проблем.
Исследователи из AI Institute for Collaborative Assistance and Responsive Interaction for Networked Groups (AI-CARING), поддерживаемого Национальным научным фондом США, увидели необходимость изложить некоторые из этих проблем заранее, с надеждой, что разработчики будут учитывать их при создании умных помощников следующего поколения. Их статья «Этические проблемы относительно ближайшего будущего социально ориентированных умных помощников для пожилых людей» была опубликована в журнале IEEE Transactions on Technology and Society.
«Мы пытаемся предоставить обзор этических проблем, которые разработчики должны учитывать задолго до того, как системы умных помощников появятся в чьем-то доме», — говорит Джейсон Боренстайн, профессор этики и директор исследовательских программ по этике для выпускников Школы государственной политики и Управления по обучению выпускников и аспирантов Технологического института Джорджии. «Если разработчики не продумают эти вопросы, то семья может настроить родственнику такую систему, уйти домой и довериться тому, что их родственник в безопасности, когда на самом деле это может быть не так».
По словам исследователей из AI-CARING, когда человек полагается на систему ИИ, он становится уязвимым для этой системы уникальными способами. Для людей с возрастным когнитивным снижением, которые могут использовать технологию для сложных форм помощи, ставки становятся еще выше, а уязвимость возрастает по мере ухудшения их здоровья. Системы, работающие неправильно, могут поставить благополучие пожилого человека под значительный риск.
«Если система допускает ошибку, когда вы положились на нее для чего-то невинного – например, помочь выбрать фильм для просмотра – это не страшно», — сказал Алекс Джон Лондон, ведущий автор статьи и профессор этики и вычислительных технологий в Университете Карнеги-Меллона. «Но если вы положились на нее, чтобы напомнить вам принять лекарство, а она не напоминает вам или говорит принять не то лекарство, это будет большой проблемой».
По словам исследователей, чтобы разработать систему, которая по-настоящему ставит благополучие пользователя на первое место, разработчики должны учитывать такие вопросы, как доверие, зависимость, конфиденциальность и изменяющиеся когнитивные способности человека. Они также должны убедиться, что система поддерживает цели пользователя, а не цели сторонней стороны, такой как член семьи или даже компания, которая может стремиться продавать продукты пользователю.
Такая система потребовала бы тонкой и постоянно развивающейся модели пользователя и его предпочтений, включающей данные из различных источников. Чтобы эффективно выполнять свою работу, умному помощнику, возможно, потребуется поделиться некоторой информацией основного пользователя с другими субъектами, что может подвергнуть пользователя риску.
Например, пользователь может захотеть, чтобы врачебный кабинет знал, что он хочет записаться на прием. Но в зависимости от человека, он может не захотеть, чтобы эта информация была передана его детям, или только одному ребенку, а не другому. По словам исследователей, разработчики должны рассмотреть способы обмена личной информацией, которые также поддерживают способность пользователя контролировать ее.
Чрезмерное и недостаточное доверие возможностям системы — также важные вопросы, которые следует учитывать. Избыточное доверие возникает, когда люди приписывают технологии способности, которых у нее нет, что может поставить их под угрозу, когда система не оправдывает их ожидания. Недостаточное доверие тоже может быть проблемой, потому что если система может помочь человеку с важной задачей, а человек выбирает не использовать систему, он также может остаться без помощи.
«Цель нашего анализа — указать на проблемы, связанные с созданием действительно вспомогательных систем ИИ, чтобы они могли быть включены в проектирование ИИ с самого начала, — сказал Лондон. – Это также может помочь заинтересованным сторонам создать критерии эффективности, которые отражают эти этические требования, а не пытаться решать этические проблемы после того, как система уже разработана, создана и протестирована».
По словам Боренстайна, когда умные помощники создаются и внедряются в дома, первоочередной заботой должно быть благополучие и цели основного пользователя.
«Разработчики, безусловно, доброжелательны, но мы все можем извлечь пользу из обмена идеями между дисциплинами и из разговоров с людьми, имеющими разные точки зрения на такие технологии», — сказал Боренстайн. «Это лишь часть головоломки, которая, как мы надеемся, сможет повлиять на процесс проектирования».