Исследователи из Университета Пердью продвигают мир робототехники и автономности своим запатентованным методом, который улучшает традиционное машинное зрение и восприятие.
Зубин Джейкоб, ассоциированный профессор электротехники и вычислительной техники в Семейной школе электротехники и вычислительной техники Элмора, и научный сотрудник Фанглин Бао разработали HADAR, или обнаружение и определение дальности с помощью тепла. Их исследование было представлено на обложке номера журнала Nature от 26 июля. Видео о HADAR доступно на YouTube. Nature также выпустила подкаст, который включает интервью с Джейкобом.
Джейкоб сказал, что ожидается, что каждый десятый автомобиль будет автоматизирован, и что к 2030 году будет 20 миллионов роботов-помощников, обслуживающих людей.
«Каждый из этих агентов будет собирать информацию о пространстве вокруг себя с помощью передовых датчиков, чтобы принимать решения без вмешательства человека», — сказал Джейкоб. «Однако одновременное восприятие сцены многочисленными агентами фундаментально невозможно».
Традиционные активные датчики, такие как LiDAR (обнаружение света и дальности), радар и гидролокатор, излучают сигналы и затем принимают их для сбора трехмерной информации о сцене. У этих методов есть недостатки, которые увеличиваются по мере их масштабирования, включая помехи сигналов и риски для безопасности глаз людей. В сравнении, видеокамеры, работающие на основе солнечного света или других источников освещения, имеют преимущества, но условия низкой освещенности, такие как ночь, туман или дождь, представляют серьезное препятствие.
Традиционная тепловизионная съемка — это полностью пассивный метод обнаружения, который собирает невидимое тепловое излучение, исходящее от всех объектов на сцене. Он может чувствовать сквозь темноту, ненастье и солнечные блики. Но Джейкоб сказал, что фундаментальные проблемы препятствуют его использованию сегодня.
“Объекты и окружающая среда постоянно излучают и рассеивают тепловое излучение, что приводит к бестекстурным изображениям, известным как «эффект привидения», — сказал Бао. “На тепловых снимках лица человека видны только контуры и некоторый температурный контраст; нет особенностей, из-за чего кажется, что вы видели привидение. Эта потеря информации, текстуры и особенностей является препятствием для машинного восприятия с использованием теплового излучения».
HADAR объединяет тепловую физику, инфракрасную визуализацию и машинное обучение, чтобы проложить путь к полностью пассивному и основанному на физике машинному восприятию.
«Наша работа создает информационно-теоретические основы теплового восприятия, чтобы показать, что кромешная тьма несет в себе такое же количество информации, как и яркий дневной свет. Эволюция сделала людей предвзятыми по отношению к дневному времени. Машинное восприятие будущего преодолеет это давнее противопоставление дня и ночи», — сказал Джейкоб.
Бао сказал: «HADAR четко восстанавливает текстуру из зашумленного теплового сигнала и точно разделяет температуру, коэффициент излучения и текстуру, или TeX, всех объектов на сцене. Он видит текстуру и глубину через темноту, как если бы это был день, а также воспринимает физические характеристики помимо видимого изображения RGB или традиционной тепловой съемки. Удивительно, что можно видеть сквозь кромешную тьму, как при ярком дневном свете».
Команда протестировала видение HADAR TeX, на примере ночной сцены на бездорожье.
«Видение HADAR TeX восстановило текстуры и преодолело эффект привидения», — сказал Бао. “Он восстановил мелкие текстуры, такие как рябь на воде, морщины на коре и водостоки, а также детали о травянистой местности».
Дополнительные улучшения HADAR заключаются в уменьшении размера аппаратного обеспечения и скорости сбора данных.
“Текущий датчик большой и тяжелый, поскольку алгоритмы HADAR требуют многих цветов невидимого инфракрасного излучения”, — сказал Бао. “Чтобы применить его к беспилотным автомобилям или роботам, нам нужно уменьшить размер и цену, а также сделать камеры более быстрыми. Текущий датчик занимает около одной секунды для создания одного изображения, но для автономных автомобилей нам нужна частота кадров около 30-60 герц”.
Первоначальное применение видения HADAR TeX — это автоматизированные транспортные средства и роботы, которые взаимодействуют с людьми в сложных средах. Технологию можно дальше развивать для применения в сельском хозяйстве, обороне, науках о Земле, здравоохранении и мониторинге дикой природы.
Джейкоб и Бао сообщили о HADAR TeX в отдел коммерциализации технологий Purdue Innovates Office of Technology Commercialization, который подал заявку на патент на интеллектуальную собственность. Промышленные партнеры, стремящиеся далее развивать эти инновации, должны связаться с Дипаком Нарулой.