Предрассудки по половому признаку глубоко укоренились в найме и работе.
В Австралии женщины в среднем зарабатывают на 23% меньше мужчин, реже приглашаются на собеседования и оцениваются более строго.
Одной из распространенных стратегий борьбы с этой дискриминацией является слепое рассмотрение резюме, при котором имена соискателей скрываются на этапе подачи заявки. Другая стратегия использует машинное обучение (ML) или искусственный интеллект (AI), чтобы упростить, по крайней мере, часть процесса принятия решений. Ведь AI должен быть независимым от человеческих стереотипов.
Правильно? Неправильно.
Наши исследования показывают, что стратегии, такие как скрытие резюме, которые могут сработать для человеческих рекрутеров, не работают для AI.
Известно, что AI воспроизводит предвзятость, присущую его обучающим данным.
Например, Amazon представил систему автоматического скрининга резюме для инженерных соискателей. Позже оказалось, что система была сексистской (и была быстро деактивирована). Она научилась связывать «мужской пол» с качеством соискателя.
Наши исследования тщательно изучают различные уровни гендерной дискриминации в алгоритмах найма.
Мы обнаружили, что AI воспринимает и использует гендерные сигналы, которые гораздо более тонкие, чем имя, и это становится все более актуальной проблемой с развитием мощных генеративных AI, таких как ChatGPT.
Мы обнаружили, что гендерная принадлежность настолько глубоко внедрена в наше общество — в нашу речь, место работы, изучение, — что почти невозможно скрыть гендерные данные от AI и людей.
Что это означает? Даже с нашими лучшими намерениями алгоритм может определить ваш пол. И алгоритмы, способные определить пол, могут использовать его для прогнозирования качества соискателя.
Доверенное лицо, осуществляющее родительские функции
ChatGPT (в настоящее время самый мощный языковой AI) оказывает влияние на множество аспектов общества с невиданной скоростью, поэтому разработчики призывают приостановить эксперименты с AI, чтобы лучше понять его эффекты и последствия.
Наше последнее исследование рассматривает гендерную дискриминацию в ChatGPT в контексте найма на работу и просило его оценить резюме соискателей.
Мы составили резюме для различных профессий. Наши резюме были высокого качества и конкурентоспособными, но мы внесли два важных изменения.
Во-первых, мы поменяли имя соискателя, чтобы указать, что это мужчина или женщина, претендующая на работу. Во-вторых, мы добавили перерыв по уходу за ребенком для половины наших респондентов.
Все наши соискатели имели одинаковые квалификации и опыт работы, но некоторые были мужчинами, некоторые — женщинами, некоторые — родителями, а некоторые — нет.
Мы показали ChatGPT резюме и попросили его оценить, насколько квалифицированным является человек для работы по шкале от нуля до 100. Мы повторили это для шести разных профессий и 30 раз для каждого резюме, чтобы убедиться в надежности наших результатов.
И вот что интересное произошло.
Мы обнаружили, что ChatGPT не оценивает резюме мужчин и женщин по-разному. Независимо от нашего изменения имени, рейтинги наших оценок были одинаковыми для мужчин и женщин, претендующих на работу.
Но когда мы добавили перерыв по уходу за ребенком, мы обнаружили, что ChatGPT дал более низкие оценки нашим родителям в каждой профессии. Это было верно как для отцов, так и для матерей — перерыв по уходу за ребенком говорил алгоритму, что этот человек менее квалифицирован для работы.
Гендерные предубеждения могут быть удалены из прогностической способности ChatGPT, но не родительство.
Почему это важно?
Даже если разработчики остановят гендерную дискриминацию в ChatGPT, эта предвзятость проникнет через другой механизм — родительство. Мы знаем, что женщины берут на себя основную часть заботы в нашем обществе, и в резюме женщин чаще всего имеются перерывы по уходу за ребенком, чем в резюме мужчин.
Хотя мы не знаем, будет ли ChatGPT действительно оценивать резюме в реальной жизни, наше исследование показывает, насколько легко предвзятость может проникнуть в модели, и что разработчикам искусственного интеллекта практически невозможно предвидеть все эти предвзятости или комбинации переменных, которые приводят к предвзятости, особенно в сложных моделях, таких как ChatGPT.
Языковая проблема
Представьте себе два одинаковых резюме, отличающихся только тем, кто их написал: одно написал мужчина, другое — женщина. Если мы скроем личность соискателя от комиссии по приему на работу, будет ли место для дискриминации?
Наши исследования показывают, что ответ однозначно «да», если комиссия по приему на работу — это AI.
Анализируя данные 2000 резюме, мы обнаружили, что мужчины и женщины в одной и той же профессии используют несколько разные языковые формулировки для описания своих навыков и образования.
Например, мы обнаружили, что женщины гораздо чаще используют глаголы, вызывающие впечатление низкой власти (как «помогать», «учиться» или «нуждаться») по сравнению с мужчинами.
Теперь вот проблема.
В последующем эксперименте наша команда обнаружила, что AI-модели связывают эти тонкие языковые различия с гендером. Это означает, что модели машинного обучения могут определить гендер в резюме даже после удаления имен и местоимений.
Если AI может предсказать гендер на основе языка, то он может использовать это в качестве доказательства при оценке резюме.
Решительная политика
Что это значит, когда мы начинаем внедрять AI в нашу рабочую жизнь?
Ну, наши исследования показывают, что «слепое рассмотрение резюме» может сработать для людей, но не для AI. Даже если мы уберем все идентифицирующие языковые элементы — она, ее и имена — другие языковые особенности все равно указывают на гендер.
Тщательная проверка на предмет предвзятости может устранить наиболее очевидный уровень дискриминации, но необходимо провести дополнительную работу над косвенными признаками, которые могут привести к предвзятости, но могут быть менее очевидными.
Здесь нам нужны регулирующие меры в ответ на это более тонкое понимание способности AI дискриминировать, и гарантировать, что каждый понимает, что AI не является нейтральным или справедливым.
Мы все должны внести свой вклад, чтобы обеспечить справедливость и пользу от AI для всех, включая женщин и родителей.
Предоставлено Мельбурнским университетом.