В рамках своих непрерывных усилий по повышению надежности систем искусственного интеллекта компания OpenAI сегодня запустила OpenAI Red Teaming Network (Сеть красной команды OpenAI) — группу привлеченных экспертов, которая поможет информировать компанию о рисках и их смягчении для моделей ИИ.
Создание красных команд становится все более важным этапом в процессе разработки моделей ИИ, поскольку технологии ИИ, особенно генеративные технологии, входят в мейнстрим. Красные команды могут обнаружить (хотя и не обязательно исправить) предвзятость в моделях, таких как DALL-E 2 от OpenAI, в которых было обнаружено усиление стереотипов в отношении расы и пола, а также запросы, которые могут заставить текстогенерирующие модели, включая модели ChatGPT и GPT-4, игнорировать фильтры безопасности.
OpenAI отмечает, что ранее уже работала с внешними экспертами для тестирования и оценки своих моделей, в том числе с людьми, участвующими в ее программе вознаграждения за ошибки и программе доступа для исследователей. Однако Red Teaming Network формализует эти усилия с целью «углубления» и «расширения» работы OpenAI с учеными, научными учреждениями и организациями гражданского общества, говорится в сообщении компании в блоге.
«Мы рассматриваем эту работу как дополнение к внешне заданным практикам управления, таким как аудит третьих сторон», — пишет OpenAI. «Члены сети будут привлекаться на основе их опыта для помощи в проведении тестирования с помощью атаки «красной команды» на разных этапах жизненного цикла модели и продукта».
Помимо атак «красной команды», инициированных OpenAI, OpenAI сообщает, что члены Red Teaming Network будут иметь возможность взаимодействовать друг с другом по общим практикам атак «красной команды» и выводам. Не каждый член команды будет участвовать в работе над каждой новой моделью или продуктом OpenAI, а временные затраты будут определяться индивидуально, говорит OpenAI.
OpenAI призывает широкий круг экспертов в различных областях принять участие, в том числе специалистов в области лингвистики, биометрии, финансов и здравоохранения. Компания не требует предварительного опыта работы с системами ИИ или языковыми моделями для соответствия критериям. Но компания предупреждает, что возможности Red Teaming Network могут быть предметом соглашений о неразглашении и конфиденциальности, которые могут повлиять на другие исследования.
«Для нас наиболее ценно ваше желание взаимодействовать и предоставлять свою точку зрения на то, как мы оцениваем воздействие систем ИИ», — пишет OpenAI. «Мы приветствуем заявки от экспертов со всего мира и отдаем приоритет географическому, а также предметному разнообразию в нашем процессе отбора».
Вопрос в том, достаточно ли тестирования атакой «красной команды». Некоторые утверждают, что этого недостаточно.
В недавней статье Авив Овадья, сотрудник Гарвардского центра Беркмана Кляйна и Центра управления ИИ, утверждает, что необходима фиолетовая команда для определения того, как система (например, GPT-4) может нанести вред институту или общественному благу, а затем поддержки разработки инструментов с использованием этой же системы для защиты института и общественного блага. Это разумная идея. Но, как указывает Овадья в своей колонке, существует мало стимулов для создания фиолетовой команды, не говоря уже о замедлении выпуска ИИ, чтобы было достаточно времени для ее работы.
Похоже, сети красных команд, подобные созданной OpenAI — это лучшее, на что мы можем рассчитывать, по крайней мере пока.