Исследователи разрабатывают способ внедрения одной из самых человеческих характеристик — неуверенности — в системы машинного обучения.
Человеческие ошибки и неуверенность — это понятия, которые многим системам искусственного интеллекта не удается постичь, особенно в системах, где человек предоставляет обратную связь модели машинного обучения. Многие из этих систем запрограммированы предполагать, что люди всегда уверены и правы, но принятие решений в реальном мире включает случайные ошибки и неуверенность.
Исследователи из Кембриджского университета, наряду с Институтом Алана Тьюринга, Принстоном и Google DeepMind, пытаются сократить разрыв между человеческим поведением и машинным обучением, чтобы неуверенность могла быть более полно учтена в приложениях ИИ, где люди и машины работают вместе. Это могло бы помочь снизить риски и повысить доверие и надежность этих приложений, особенно там, где безопасность имеет решающее значение, например при медицинской диагностике.
Команда адаптировала хорошо известный набор данных для классификации изображений, чтобы люди могли предоставлять обратную связь и указывать уровень своей неуверенности при маркировке конкретного изображения. Исследователи обнаружили, что обучение с неопределенными метками может улучшить производительность этих систем в обработке неопределенной обратной связи, хотя люди также заставляют общую производительность этих гибридных систем падать.
Их результаты будут представлены на конференции AAAI/ACM по искусственному интеллекту, этике и обществу (AIES 2023) в Монреале.
Системы машинного обучения с участием человека — тип ИИ-системы, которая позволяет человеческую обратную связь — часто рассматриваются как многообещающий способ снижения рисков в условиях, когда автоматизированным моделям нельзя полностью доверять принятие решений в одиночку. Но что, если люди не уверены?
«Неуверенность является центральной в том, как люди рассуждают о мире, но многие модели ИИ не учитывают это», — сказала первый автор Кэтрин Коллинз с Кембриджского инженерного факультета. “Многие разработчики работают над решением проблемы неопределенности модели, но меньше работы было проделано по решению проблемы неопределенности с точки зрения человека».
Мы постоянно принимаем решения, основанные на балансе вероятностей, часто даже не задумываясь об этом. Большую часть времени — например, если мы машем рукой человеку, который очень похож на друга, но оказывается совершенно чужим — вреда не будет, если мы ошибемся. Однако при определенных обстоятельствах неуверенность несет реальные риски для безопасности.
“Многие человеко-машинные системы предполагают, что люди всегда уверены в своих решениях, что не соответствует человеческой природе — мы все совершаем ошибки”, — сказала Коллинз. “Нам было интересно посмотреть, что произойдет, когда люди проявляют неуверенность, что особенно важно в условиях, критических для безопасности, например, когда врач работает с медицинской ИИ-системой”.
“Нам нужны лучшие инструменты для перенастройки этих моделей, чтобы люди, работающие с ними, могли заявить о своей неуверенности”, — сказал соавтор Мэтью Баркер, который недавно закончил магистратуру в Колледже Гонвилля и Кая в Кембридже. “Хотя машины могут быть обучены с полной уверенностью, люди часто не могут предоставить это, и модели машинного обучения плохо справляются с такой неуверенностью”.
Для своего исследования ученые использовали некоторые из базовых наборов данных для машинного обучения: один был для классификации цифр, другой — для классификации рентгенограмм грудной клетки, а третий — для классификации изображений птиц. Для первых двух наборов данных исследователи смоделировали неопределенность, но для набора данных с птицами они попросили участников эксперимента указать, насколько они уверены в изображениях, которые они видели: была ли птица красной или оранжевой, например.
Эти помеченные «мягкие метки», предоставленные участниками, позволили исследователям определить, как изменился конечный результат. Однако они обнаружили, что производительность резко снижается, когда машины заменяются людьми.
“Мы знаем из десятилетий поведенческих исследований, что люди почти никогда не уверены на 100%, но включение этого в машинное обучение — сложная задача”, — сказал Баркер. “Мы пытаемся объединить две области, чтобы машинное обучение научилось иметь дело с человеческой неуверенностью там, где люди являются частью системы”.
По словам исследователей, их результаты выявили несколько открытых проблем при включении людей в модели машинного обучения. Они выпускают свои наборы данных, чтобы дальнейшие исследования могли быть проведены, а неопределенность могла быть встроена в системы машинного обучения.
“Как очень метко выразились некоторые из наших коллег, неопределенность — это форма прозрачности, и это чрезвычайно важно”, — сказала Коллинз. “Нам нужно выяснить, когда мы можем доверять модели, когда доверять человеку и почему. В некоторых приложениях мы имеем дело с вероятностью возможностей. Особенно с ростом чат-ботов, например, нам нужны модели, которые лучше включают язык возможностей, что может привести к более естественному, безопасному опыту».
“В некотором смысле эта работа подняла больше вопросов, чем дала ответов”, — сказал Баркер. “Но даже если люди плохо откалиброваны в своей неуверенности, мы можем повысить надежность и доверие к этим системам с участием человека, учитывая человеческое поведение”.