Исследователи впервые обучили модель машинного обучения в космосе, на борту спутника. Это достижение может обеспечить мониторинг в реальном времени и принятие решений в ряде приложений, от управления стихийными бедствиями до обнаружения вырубки лесов.
Результаты этого проекта были описаны в публикации «Быстрое построение моделей и обучение на борту спутников», доступной на сервере arXiv. Работа также была представлена на конференции International Geoscience and Remote Sensing Symposium (IGARSS) 21 июля 2023 года.
Данные, собранные спутниками дистанционного зондирования, являются основополагающими для многих ключевых деятельностей, включая воздушную картографию, прогноз погоды и мониторинг вырубки лесов. В настоящее время большинство спутников могут только пассивно собирать данные, поскольку они не оборудованы для принятия решений или обнаружения изменений. Вместо этого данные должны быть переданы на Землю для их обработки, что обычно занимает несколько часов или даже дней. Это ограничивает возможность определения и реагирования на быстро возникающие события, такие как природные катастрофы.
Чтобы преодолеть эти ограничения, группа исследователей во главе с доктором философии Витом Ружичкой (факультет компьютерных наук Оксфордского университета) приняла вызов и обучила первую программу машинного обучения в космосе.
В 2022 году команда успешно предложила свою идею для миссии «Dashing through the Stars», которая проводила открытый конкурс проектных предложений для выполнения на борту спутника ION SCV004, запущенного в январе 2022 года. Осенью 2022 года команда передала код программы на спутник, уже находящийся на орбите.
Исследователи обучили простую модель обнаружения изменений в облачности по аэрофотоснимкам непосредственно на борту спутника, в отличие от обучения на земле. Модель была основана на подходе, называемом обучением на небольшом количестве примеров, который позволяет модели выучить наиболее важные признаки, на которые она должна обращать внимание, имея только несколько образцов для обучения. Главным преимуществом является возможность сжатия данных в более компактные представления, что делает модель более быстрой и эффективной.
Вит Ружичка сказал: «Мы разработали модель под названием RaVAEn, которая сначала сжимает большие файлы изображений в векторы из 128 чисел. Во время этапа обучения модель учится сохранять только информативные значения в этом векторе, те, которые относятся к изменению, которое она пытается обнаружить — в данном случае, наличию облака или его отсутствию. Это приводит к чрезвычайно быстрому обучению благодаря наличию только очень маленькой классификационной модели для обучения».
В то время как первая часть модели, для сжатия вновь увиденных изображений, была обучена на земле, вторая часть, которая определяла, содержит ли изображение облака или нет, была обучена непосредственно на спутнике.
Обычно разработка модели машинного обучения требует нескольких циклов обучения с использованием вычислительной мощности кластера связанных компьютеров. В отличие от этого, крошечная модель команды завершила этап обучения, используя более 1300 изображений, примерно за полторы секунды.
Когда команда проверила производительность модели на новых данных, она автоматически определяла, присутствует ли облако или нет, примерно за одну десятую секунды. Это включало в себя кодирование и анализ сцены, эквивалентной площади около 4,8 x 4,8 км 2, что эквивалентно почти 450 футбольным полям.
По словам исследователей, модель может легко адаптироваться для выполнения различных задач и использования других форм данных. Вит Ружичка добавил: «После этого демонстрационного эксперимента мы намерены разработать более продвинутые модели, которые смогут автоматически различать интересующие изменения (например, наводнение, пожары и вырубку лесов) от естественных изменений (таких как естественные изменения цвета листьев в течение сезонов)».
«Еще одна цель — разработка моделей для более сложных данных, включая изображения от гиперспектральных спутников. Это может, например, позволить обнаружение утечек метана и иметь важное значение для борьбы с изменением климата».
Использование машинного обучения в космосе также может помочь преодолеть проблему воздействия суровых условий окружающей среды на бортовые спутниковые датчики, что требует регулярной калибровки.
Вит Ружичка сказал: «Наша предлагаемая система может использоваться в констелляциях неоднородных спутников, где надежная информация с одного спутника может быть применена для обучения остальной констелляции. Это может быть использовано, например, для перекалибровки датчиков, которые с течением времени ухудшились или претерпели быстрые изменения в окружающей среде».