Ощупывание кошачьей шерсти может дать некоторую информацию, но встреча с животным позволяет узнать важные подробности: домашняя кошка это или лев? Звук потрескивания костра может быть неоднозначным, но его запах подтверждает наличие горящих дров. Наши органы чувств взаимодействуют друг с другом для получения полного представления, особенно если отдельные сигналы едва уловимы. Коллективная сумма биологических сигналов может быть больше, чем их индивидуальный вклад. Роботы, как правило, следуют более простому принципу сложения, но исследователи из Университета Пенсильвании использовали эту биологическую концепцию для применения в искусственном интеллекте (ИИ), разработав первый искусственный мультисенсорный интегрированный нейрон.
Под руководством Саптарши Даса, доцента кафедры инженерных наук и механики Университета Пенсильвании, группа исследователей опубликовала свою работу 15 сентября в журнале Nature Communications.
«Роботы принимают решения в зависимости от окружающей среды, но их датчики, как правило, не общаются друг с другом», — говорит Дас, который также имеет совместные должности в области электротехники, материаловедения и инженерии. «Коллективное решение может быть принято с помощью блока обработки данных датчиков, но является ли это наиболее эффективным или действенным методом? В человеческом мозге одно чувство может влиять на другое и позволять человеку лучше оценивать ситуацию».
Например, в автомобиле один датчик сканирует препятствия, а другой определяет темноту, чтобы регулировать интенсивность света фар. По отдельности эти датчики передают информацию на центральный блок, который затем дает команду автомобилю затормозить или отрегулировать свет фар. По мнению Das, этот процесс потребляет больше энергии. Если позволить датчикам напрямую взаимодействовать друг с другом, то это будет более эффективно с точки зрения энергопотребления и скорости работы, особенно если входные сигналы от обоих датчиков слабые.
«Биология позволяет маленьким организмам процветать в условиях ограниченных ресурсов, минимизируя при этом потребление энергии», — сказал Дас, который также является сотрудником Института исследования материалов. «Требования к различным датчикам зависят от условий — в темном лесу вы будете больше полагаться на слух, чем на зрение, но мы не принимаем решений, основываясь только на одном чувстве. Мы полностью ощущаем окружающую обстановку, и принятие решений основано на интеграции того, что мы видим, слышим, осязаем, обоняем и т.д. В биологии органы чувств развивались вместе, а в искусственном интеллекте — по отдельности. В данной работе мы стремимся объединить датчики и имитировать работу нашего мозга».
Команда сосредоточилась на интеграции тактильного и визуального сенсоров таким образом, чтобы выходной сигнал одного сенсора изменял другой с помощью визуальной памяти. По словам Мухтасима Уль-Карима Садафа, аспиранта третьего курса по специальности инженерные науки и механика, даже кратковременная вспышка света может значительно повысить вероятность успешного перемещения по темной комнате.
«Это объясняется тем, что зрительная память может впоследствии влиять на тактильные реакции и помогать им в навигации», — говорит Садаф. «Это было бы невозможно, если бы наша зрительная и тактильная кора реагировали только на свои унимодальные сигналы. У нас есть эффект фотопамяти, когда свет светит, и мы можем вспомнить. Мы реализовали эту способность в устройстве на транзисторе, которое обеспечивает такой же отклик».
Исследователи изготовили мультисенсорный нейрон, соединив тактильный датчик с фототранзистором на основе монослоя дисульфида молибдена — соединения, обладающего уникальными электрическими и оптическими характеристиками, полезными для обнаружения света и поддержки транзисторов. Сенсор генерирует электрические всплески, напоминающие нейроны, обрабатывающие информацию, что позволяет ему интегрировать как визуальные, так и тактильные сигналы.
Это эквивалентно тому, как если бы вы увидели на плите включенную лампочку и почувствовали тепло, исходящее от конфорки: если вы видите включенную лампочку, это еще не значит, что конфорка горячая, но руке достаточно почувствовать тепло в течение наносекунды, чтобы организм отреагировал и отдернул руку от потенциальной опасности. Поступление света и тепла запускает сигналы, которые вызывают реакцию руки. В данном случае исследователи измеряли работу искусственного нейрона, наблюдая за выходом сигналов, возникающих при визуальном и тактильном воздействии.
Для имитации осязательных сигналов в тактильном датчике использовался трибоэлектрический эффект, при котором два слоя, скользя друг по другу, вырабатывают электричество, то есть осязательные стимулы кодируются в электрические импульсы. Для имитации визуального сигнала исследователи светили светом на монослойный фототранзистор из дисульфида молибдена — транзистор, способный запоминать визуальный сигнал, подобно тому, как человек запоминает общую планировку комнаты после того, как ее осветит быстрая вспышка.
Они обнаружили, что сенсорная реакция нейрона, имитируемая как электрический выход, увеличивается при слабых зрительных и тактильных сигналах.
Интересно, что этот эффект удивительно хорошо перекликается со своим биологическим аналогом — зрительная память естественным образом повышает чувствительность к тактильным стимулам», — говорит соавтор работы Наджам У Сакиб, аспирант третьего курса по специальности инженерные науки и механика. «Когда сигналы слабы, необходимо их комбинировать для лучшего восприятия информации, и именно это мы и наблюдали в полученных результатах».
Дас пояснил, что искусственная система мультисенсорных нейронов может повысить эффективность сенсорных технологий, открывая путь к более экологичному использованию ИИ. В результате роботы, беспилотники и самоуправляемые автомобили смогут более эффективно ориентироваться в окружающей среде, потребляя при этом меньше энергии.
«Супер-аддитивное суммирование слабых визуальных и тактильных сигналов — главное достижение нашего исследования», — говорит соавтор Эндрю Панноне, аспирант четвертого курса факультета инженерных наук и механики. «В данной работе мы рассматривали только два органа чувств. Мы работаем над тем, чтобы определить подходящий сценарий для включения дополнительных органов чувств и посмотреть, какие преимущества они могут дать».
Харикришнан Равичандран, аспирант четвертого курса факультета инженерных наук и механики Университета Пенсильвании, также является соавтором данной работы.