Программное обеспечение автономных транспортных средств, используемое для обнаружения пешеходов, не может правильно идентифицировать темнокожих людей так часто, как светлокожих, следует из исследований Королевского колледжа в Лондоне и Пекинского университета в Китае.
Исследователи протестировали восемь детекторов пешеходов на основе искусственного интеллекта, используемых производителями беспилотных автомобилей. Они обнаружили 7,5% несоответствие в точности между более светлыми и более темными объектами.
Также тревожным был вывод о том, что способность обнаруживать пешеходов с более темной кожей еще больше снижается из-за условий освещения на дороге.
«Предвзятость в сторону темнокожих пешеходов значительно возрастает в сценариях низкой контрастности и низкой яркости», — сказала Цзе М. Чжан, один из шести исследователей, участвовавших в исследовании.
Уровень неправильного обнаружения темнокожих пешеходов вырос с 7,14% в дневное время до 9,86% ночью.
Результаты также показали более высокий уровень обнаружения у взрослых, чем у детей. Взрослые были правильно идентифицированы программным обеспечением на 20% больше, чем дети.
«Справедливость, когда дело доходит до ИИ, заключается в том, что система ИИ одинаково относится к привилегированным и непривилегированным группам, чего не происходит, когда речь идет об автономных транспортных средствах», — сказала Чжан.
Она отметила, что, хотя источники данных обучения ИИ автопроизводителей остаются конфиденциальными, можно с уверенностью предположить, что они построены на тех же системах с открытым исходным кодом, которые используются исследователями.
«Мы можем быть совершенно уверены, что они сталкиваются с теми же проблемами предвзятости», — сказала Чжан.
Чжан отметила, что предвзятость — преднамеренная или нет — была давней проблемой. Но когда дело доходит до распознавания пешеходов в беспилотных автомобилях, ставки выше.
«Несмотря на то, что влияние недобросовестных систем искусственного интеллекта уже хорошо задокументировано, от программного обеспечения для найма, благоприятствующего соискателям-мужчинам, до программного обеспечения для распознавания лиц, которое менее точно для чернокожих женщин, чем для белых мужчин, опасность, которую могут представлять беспилотные автомобили, является острой», — сказала Чжан.
«Раньше представителям меньшинств могло быть отказано в жизненно важных услугах. Теперь они могут столкнуться с серьезными травмами».
Статья «Темнокожие люди подвергаются большему риску на улице: разоблачение проблем справедливости автономных систем вождения» была опубликована 5 августа на сервере препринтов arXiv.
Чжан призвала к созданию руководящих принципов и законов для обеспечения того, чтобы данные ИИ внедрялись непредвзятым образом.
«Производители автомобилей и правительство должны объединиться, чтобы создать правила, которые гарантируют, что безопасность этих систем может быть объективно измерена, особенно когда речь идет о справедливости», — сказала Чжан. «Нынешнее обеспечение справедливости в этих системах ограничено, что может оказать серьезное влияние не только на будущие системы, но и непосредственно на безопасность пешеходов.
«По мере того, как ИИ становится все более и более интегрированным в нашу повседневную жизнь, от типов автомобилей, на которых мы ездим, до того, как мы взаимодействуем с правоохранительными органами, важность этого вопроса справедливости будет только расти», — сказала Чжан.
Эти результаты следуют за многочисленными сообщениями о предвзятости, присущей большим языковым моделям. Случаи стереотипов, культурной нечувствительности и искажения фактов наблюдались с тех пор, как ChatGPT открылся для публики в конце прошлого года.
Генеральный директор OpenAI Сэм Альтман признал проблемы.
«Мы знаем, что у ChatGPT есть недостатки, связанные с предвзятостью, и работаем над их улучшением», — сказал он в своем посте в феврале.