В среду компания Activision анонсировала, что в предстоящем релизе Call of Duty: Modern Warfare III 10 ноября будет представлена модерация голосового чата в реальном времени с использованием ИИ. Компания сотрудничает с Modulate для реализации этой функции, используя технологию ToxMod для выявления и принятия мер против разжигания ненависти, издевательств, преследований и дискриминации.
Хотя проблема токсичного онлайн-поведения не уникальна для Call of Duty, компания Activision отмечает, что масштабы проблемы возросли из-за огромной базы игроков франшизы. Поэтому она обращается к технологиям машинного обучения, чтобы автоматизировать решение.
ToxMod — это система голосовой модерации на основе ИИ, предназначенная для выявления и пресечения того, что Activision называет «вредоносной лексикой», нарушающей правила поведения в игре. Цель заключается в том, чтобы дополнить существующие в Call of Duty меры противодействия токсичности, включая фильтрацию текста на 14 языках и внутриигровую систему оповещения игроков.
Как отмечает Activision, ее предыдущие усилия по борьбе с токсичностью привели к ограничению голосового или текстового чата для более чем 1 миллиона аккаунтов, нарушивших правила поведения. Более того, 20% получивших первое предупреждение больше не нарушали правила, что свидетельствует о том, что четкая обратная связь полезна для модерации поведения игроков.
На первый взгляд, модерация голосового чата в реальном времени кажется заметным прогрессом в борьбе с деструктивным поведением в игре — особенно учитывая, что в видеоигре опасения относительно конфиденциальности, которые обычно могут возникать с такой системой, менее актуальны. Цель заключается в том, чтобы сделать игру более приятной для всех игроков.
Однако в настоящее время системы обнаружения ИИ известны своей нестабильностью и могут давать ложные срабатывания, особенно в отношении тех, для кого английский язык не является родным. Учитывая вариации качества звука, региональные акценты и различные языки, для системы распознавания голоса это амбициозная задача — работать безупречно в таких условиях. Activision говорит, что человек останется в цепочке принятия решений о наказаниях:
«Обнаружение происходит в реальном времени, система категоризирует и помечает токсичную лексику на основе Правил поведения Call of Duty по мере ее обнаружения. Выявленные нарушения Правил поведения могут потребовать дополнительного просмотра связанных записей для определения контекста перед принятием решения о наказании. Поэтому действия не будут мгновенными. По мере развития системы, наши процессы и время реакции будут эволюционировать».
Кроме того, Activision сообщает, что система модерации голосового чата Call of Duty «отправляет отчеты только о токсичном поведении, классифицированном по типу поведения и оцененном по шкале серьезности на основе развивающейся модели». Люди затем определяют, будут ли они применять наказания за нарушения правил модерации голосового чата.
Новая система модерации начала бета-тестирование в среду, охватывая Северную Америку и сосредотачиваясь на существующих играх Call of Duty: Modern Warfare II и Call of Duty: Warzone. Полное внедрение технологии модерации, за исключением Азии, запланировано на старт Modern Warfare III, начиная с английского языка, с последующим добавлением других языков.
Несмотря на потенциальные недостатки ложных срабатываний, невозможно отказаться от прослушивания ИИ. Как говорится в разделе FAQ Activision: «Игроки, не желающие модерации своего голоса, могут отключить голосовой чат в игре в меню настроек».