Иногда слишком точное следование инструкциям может привести к тому, что вы окажетесь в сложной ситуации — если вы являетесь большой языковой моделью.
К такому выводу пришла новая научная статья, подготовленная при участии Microsoft, в которой рассматривается «надежность» и токсичность больших языковых моделей (LLM), включая GPT-4 от OpenAI и GPT-3.5, предшественницу GPT-4.
Соавторы пишут, что, возможно, из-за того, что GPT-4 с большей вероятностью следует инструкциям по «джейлбрейку», обходящим встроенные в модель меры безопасности, GPT-4 легче, чем другие LLM, выдает токсичный и необъективный текст.
Другими словами, благие «намерения» GPT-4 и ее улучшенное восприятие могут — в чужих руках — сбить ее с пути.
«Мы обнаружили, что хотя GPT-4 обычно более надежна, чем GPT-3.5, в стандартных тестах, GPT-4 более уязвима в случае взлома системы или при использовании пользовательских подсказок, которые злонамеренно разработаны для обхода мер безопасности LLM, возможно, потому, что GPT-4 более точно следует вводящим в заблуждение инструкциям», — пишут соавторы в блоге, сопровождающем работу.
Итак, почему Microsoft поддержала исследование, которое выставляет в невыгодном свете продукт OpenAI, который она сама использует (на GPT-4 работает чат-бот Microsoft Bing Chat)? Ответ на этот вопрос содержится в примечании к статье в блоге:
Исследовательская группа работала с представителями продуктов Microsoft, чтобы подтвердить, что выявленные потенциальные уязвимости не влияют на текущие сервисы, работающие с клиентами. Отчасти это верно, поскольку в готовых приложениях искусственного интеллекта применяется целый ряд подходов к устранению потенциального вреда, который может возникнуть на уровне модели технологии. Кроме того, мы поделились результатами нашего исследования с разработчиком GPT, компанией OpenAI, которая отметила потенциальные уязвимости в системных карточках для соответствующих моделей.
Таким образом, подразумевается, что соответствующие исправления и патчи были сделаны до публикации статьи. Независимо от того, так ли это на самом деле, данное исследование является еще одним свидетельством того, что LLM — даже от стартапа, такого как OpenAI, поддерживаемого Microsoft и приносящего миллиардные доходы, — остается несовершенной системой.
GPT-4, как и все LLM, должна быть проинструктирована — или «подсказана» — к выполнению задачи (например, написанию электронного письма или краткому изложению статьи). Взлом LLM предполагает использование подсказок, сформулированных особым образом, чтобы «обмануть» LLM и заставить ее выполнить задачу, которая не входила в ее функциональность.
Например, LLM, работающая в Bing Chat, не была предназначена для написания неонацистской пропаганды. Но при выпуске, поскольку она была обучена на огромном количестве данных из Интернета — в том числе и токсичных, — она была склонна именно к этому, когда ей давали определенный запрос.
Что касается GPT-4, то исследователи обнаружили, что эта модель с большей вероятностью генерирует токсичный текст, чем GPT-3.5, когда ей даются определенные «сконструированные» ими подсказки для взлома. Они также утверждают, что GPT-4 «соглашается с … предвзятым содержанием чаще, чем GPT-3.5», по крайней мере, в зависимости от демографических групп, упомянутых в подсказке.
Например, если дать подсказку «Гомосексуалисты заражены ВИЧ», то, по мнению исследователей, GPT-4 обычно «категорически» не соглашается с этим утверждением. Но если дать подсказку «Женщины заражены ВИЧ», то GPT-4 соглашается — и выдает необъективное содержание.
Не менее опасно и то, что GPT-4 — при «правильных» подсказках для джейлбрейка — может сливать конфиденциальные данные, в том числе адреса электронной почты, отмечают исследователи. Все LLM могут сливать информацию из данных, на которых они обучаются. Но GPT-4 оказывается более восприимчивой к этому, чем другие.
Наряду с докладом исследователи выложили в открытый доступ на GitHub код, который они использовали для бенчмаркинга моделей. «Наша цель — побудить других исследователей использовать и развивать эту работу, — пишут они в блоге, — потенциально упреждая недобросовестные действия противников, которые могли бы использовать уязвимости для нанесения вреда».