Компании социальных сетей все чаще используют сложные алгоритмы и искусственный интеллект для выявления оскорбительного поведения в интернете.
Все эти алгоритмы и системы ИИ опираются на данные, чтобы научиться определять, что является оскорбительным. Но кто стоит за этими данными и как их опыт влияет на их решения?
В новом исследовании доцент Школы информации Мичиганского университета Дэвид Юргенс и докторант Джясин Пэй обнаружили, что опыт аннотаторов данных — людей, которые маркируют тексты, видео и онлайн-медиа — имеет большое значение.
«Аннотаторы не могут быть универсальными», — говорит Юргенс. «Их демографические данные, жизненный опыт и биография — все это влияет на то, как они маркируют данные. Наше исследование показывает, что понимание биографии аннотаторов и сбор меток от демографически сбалансированной группы краудворкеров очень важны для снижения предвзятости наборов данных».
Анализируя 6000 комментариев Reddit, исследование показывает, что убеждения и решения аннотаторов о вежливости и оскорбительности влияют на обучающие модели, используемые для выявления онлайн-контента, который мы видим каждый день. То, что одна часть населения считает вежливым, может быть оценено как значительно менее вежливое другой частью.
«Все системы ИИ используют такие данные, и наше исследование помогает подчеркнуть важность знания того, кто маркирует данные», — говорит Пэй. «Когда данные маркируют люди только из одной части населения, результирующая система ИИ может не представлять среднюю точку зрения».
В своем исследовании Юргенс и Пэй стремились лучше понять различия между идентичностями аннотаторов и то, как их опыт влияет на их решения. Предыдущие исследования рассматривали только один аспект идентичности, например пол. Они надеются помочь моделям ИИ лучше моделировать убеждения и мнения всех людей.
Результаты показывают:
- Несмотря на то, что некоторые существующие исследования предполагают, что у мужчин и женщин могут быть разные оценки токсичного языка, их исследование не выявило статистически значимой разницы между мужчинами и женщинами. Однако участники с небинарной гендерной идентичностью, как правило, оценивали сообщения как менее оскорбительные, чем те, кто идентифицировал себя как мужчины и женщины.
- Люди старше 60 лет, как правило, воспринимают более высокие показатели оскорбительности, чем участники среднего возраста.
- Исследование выявило значительные расовые различия в оценках оскорбительности. Чернокожие участники, как правило, оценивали одни и те же комментарии со значительно большей степенью оскорбительности, чем все другие расовые группы. В этом смысле классификаторы, обученные на данных, аннотированных белыми людьми, могут систематически недооценивать оскорбительность комментария для чернокожих и азиатов.
- Значимых различий в зависимости от образования аннотаторов выявлено не было.
Используя эти результаты, Юргенс и Пэй создали POPQUORN, набор данных Potato-Prolific для вопросов и ответов, оскорблений, переписывания текста и оценки вежливости с демографическими нюансами. Этот набор данных дает компаниям социальных сетей и ИИ возможность изучить модель, которая учитывает пересекающиеся перспективы и убеждения.
«Такие системы, как ChatGPT, все чаще используются людьми для повседневных задач», — говорит Юргенс. «Но чьи ценности мы закладываем в обученную модель? Если мы продолжаем брать репрезентативную выборку, не учитывая различия, мы продолжаем маргинализировать определенные группы людей».
Пэй говорит, что POPQUORN помогает обеспечить всем равноправные системы, которые соответствуют их убеждениям и происхождению.
Исследование опубликовано на сервере препринтов arXiv.