Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли в партнерстве с эдинбургской компанией Speech Graphics разработали новаторскую систему связи, которая позволяет женщине, парализованной инсультом, свободно говорить через цифровой аватар, которым она управляет с помощью интерфейса мозг-компьютер.
Интерфейсы мозг-компьютер (BCI) — это устройства, которые отслеживают аналоговые сигналы, производимые нашим серым веществом, и преобразуют их в цифровые сигналы, которые понимают компьютеры — как блок ЦАП микшерной деки, но то, что помещается внутри нашего черепа. Для этого исследования ученые во главе с доктором Эдвардом Чангом, заведующим кафедрой неврологической хирургии в UCSF, сначала имплантировали 253-контактную электродную решетку в речевой центр мозга пациента. Эти зонды отслеживали и улавливали электрические сигналы, которые в противном случае приводили бы в движение мышцы ее челюсти, губ и языка, и вместо этого передавали их через кабельный порт в ее черепе в блок процессоров. В этом вычислительном стеке размещался искусственный интеллект с машинным обучением, который в течение нескольких недель обучения распознавал образцы электрических сигналов пациента для более чем 1000 слов.
Но это только первая половина дела. С помощью этого интерфейса искусственного интеллекта пациентка теперь может записывать свои ответы, во многом так же, как система Synchron работает для людей, страдающих синдромом «запертого человека». Но она также может говорить, в некотором смысле, используя синтезированный голос, обученный на записях ее естественного голоса до того, как она была парализована.
Более того, для создания аватара пациентки исследователи объединили усилия с компанией Speech Graphics, разработавшей технологию фотореалистичной лицевой анимации в играх Halo Infinite и The Last of Us Part II. Технология SG «реконструирует» необходимые движения опорно-двигательного аппарата лица на основе анализа аудиосигнала, а затем в режиме реального времени передает эти данные в игровой движок для создания аватара без задержек. А поскольку психические сигналы пациентки отображаются непосредственно на аватаре, он может выражать эмоции и общаться невербально.
«Создание цифрового аватара, способного говорить, выражать эмоции и артикулировать в реальном времени, подключенного непосредственно к мозгу пациента, демонстрирует потенциал управляемых ИИ лиц далеко за пределами видеоигр», — заявил Майкл Бергер, технический директор и соучредитель компании Speech Graphics, в заявлении для прессы в среду. «Восстановление голоса само по себе впечатляет, но общение с помощью лица — это неотъемлемая часть человеческого бытия, и оно возвращает утратившему его пациенту чувство воплощения и контроля».
Технология BCI была впервые применена в начале 1970-х годов и медленно развивалась в течение прошедших десятилетий. Экспоненциальный прогресс в области обработки и вычислительных систем в последнее время помог оживить эту область, и несколько хорошо финансируемых стартапов в настоящее время борются за то, чтобы быть первыми в процессе одобрения устройств регулирующими органами FDA. Бруклинская компания Synchron попала в заголовки газет в прошлом году, когда стала первой компанией, успешно имплантировавшей BCI пациенту-человеку. Neuralink Илона Маска вступила в ограниченные испытания FDA в начале этого года после того, как было обнаружено, что компания убила большое количество испытуемых свиней в предыдущих раундах тестирования.