Впервые исследователи использовали нелинейный фотодетектор с нормалью к поверхности (SNPD) для повышения скорости и энергоэффективности дифракционной оптической нейронной сети (ONN). Новое устройство закладывает основу для масштабных ONN, которые могут выполнять высокоскоростную обработку со скоростью света крайне энергоэффективным способом.
Фаршид Аштиани из Nokia Bell Labs представит эти исследования на конференции Frontiers in Optics + Laser Science (FiO LS), которая пройдет с 9 по 12 октября 2023 года в конференц-центре Greater Tacoma Convention Center в Такоме (район Большого Сиэтла), штат Вашингтон.
«Искусственный интеллект (ИИ) играет все более важную роль в нашей жизни. От больших языковых моделей до автономных автомобилей мы видим значительные улучшения, обеспечиваемые ИИ», — объясняет Аштиани.
«Нейронные сети, вдохновленные тем, как человеческий мозг учится и выполняет различные задачи, лежат в основе прогресса в области ИИ. Одно из широко распространенных применений нейронных сетей — распознавание образов и объектов, которое дает машинам зрение. Например, каждый автономный автомобиль, или даже полуавтономный автомобиль, должен понимать окружающую обстановку, имея возможность видеть вещи».
«Обычно изображения снимаются камерами, преобразуются в электрические сигналы и обрабатываются с помощью электронных процессоров, таких как ЦП или ГП, для распознавания объектов», — сказал Мохамад Хоссейн Иджади из Nokia Bell Labs.
«Однако, поскольку изображения изначально находятся в оптической области (т.е. в световой), их оптическая обработка с использованием ONN может быть быстрее и энергоэффективнее. Среди различных технологий ONN на основе пространственных модуляторов света позволяют оптически обрабатывать изображения и видео высокого разрешения. Такая обработка требует нелинейных модулей, и обычно используются датчики камеры для внесения этой необходимой нелинейности, что занимает несколько миллисекунд. Наше новое детекторное устройство делает эту нелинейную обработку в 1000 раз быстрее и энергоэффективнее, чем такие камеры. Это критически важно для следующего поколения систем машинного зрения, поскольку нам всем нужны еще более быстрые интеллектуальные гаджеты, которые не потребляют много энергии».
Дифракционные ONN свободного пространства используют пространственные модуляторы света и особенно перспективны для создания необходимых для обработки изображений и видео крупномасштабных нейронных сетей. Однако скорость и энергоэффективность такого типа ONN обычно ограничена датчиком изображения, используемым для реализации нелинейной функции активации, которая реализует несколько слоев нейронов для создания глубокой нейронной сети.
В новой работе исследователи предложили использовать SNPD, который они ранее продемонстрировали как высокоскоростной электрооптический модулятор, в дифракционных ONN высокого разрешения. Испытания показали, что полоса пропускания SNPD по уровню 3 дБ составляет 61 кГц, что соответствует менее 6 микросекунд — примерно в 1000 раз быстрее, чем типичное время отклика датчиков камер, традиционно используемых в таких ONN. Кроме того, датчик потребляет всего около 10 нВт на пиксель, что на три порядка эффективнее обычной камеры.
Чтобы протестировать новый датчик в ONN, исследователи вводили изображения в слой свертки — основной строительный блок нейронной сети. Слой свертки имел 32 параллельных ядра 3 × 3 с шагом в один и использовал фактически измеренный отклик SNPD в качестве своей функции активации вместо стандартной выпрямленной линейной функции активации. При этой моделированной конфигурации сеть достигла точности классификации теста около 97%, что соответствует такой же производительности, как при использовании идеальной выпрямленной линейной функции активации в той же сети.
Исследование демонстрирует потенциал использования SNPD в дифракционных ONN свободного пространства. Тот факт, что детектор на три порядка быстрее и эффективнее камеры, делает его многообещающим кандидатом для использования в масштабных свободно-пространственных конфигурациях ONN.
«Нам необходимо изготовить большое количество наших детекторных устройств, потенциально миллионы, чтобы создать полноценную систему технического зрения и конкурировать с высоким разрешением, обеспечиваемым обычными камерами», — добавил Стефано Грилланда из Nokia Bell Labs. «Хорошая новость заключается в том, что это технологически возможно. Еще одно направление — дальнейшее уменьшение габаритов, энергопотребления и времени отклика детектора, чтобы сделать его еще лучшим решением для будущих систем ИИ зрения».