С появлением ChatGPT от OpenAI большие языковые модели (LLM) значительно набрали популярность. Эти модели, обученные на огромных объемах данных, могут отвечать на письменные запросы пользователей поразительно по-человечески, быстро генерируя определения конкретных терминов, текстовые резюме, контекстно-специфические предложения, диетические планы и многое другое.
Хотя было обнаружено, что эти модели показывают замечательные результаты во многих областях, их реакция на эмоциональные стимулы остается малоисследованной. Недавно исследователи из Microsoft и CAS Institute of Software разработали подход, который мог бы улучшить взаимодействие между LLM и пользователями, позволяя им реагировать на эмоционально окрашенные запросы, основанные на психологии, которые им задают люди.
«LLM достигли значительных успехов во многих областях, таких как рассуждение, понимание языка и решение математических задач, и рассматриваются как важный шаг к искусственному интеллекту общего назначения (AGI)», — написали Чен Ли, Цзиньдун Ван и их коллеги в своей статье, предварительно опубликованной на arXiv. «Однако чувствительность LLM к подсказкам остается основным препятствием для их ежедневного применения. В этой статье мы вдохновляемся психологией и предлагаем EmotionPrompt для исследования эмоционального интеллекта с целью улучшения производительности LLM».
Подход, разработанный Ли, Ваном и их коллегами, названный EmotionPrompt, черпает вдохновение из хорошо установленных знаний, укорененных в психологии и социальных науках. Например, прошлые психологические исследования показали, что слова поощрения и другие эмоциональные стимулы могут оказывать положительное влияние на различные сферы жизни человека, например, улучшать оценки учеников, способствовать более здоровому образу жизни и т.д.
Чтобы выяснить, могут ли эмоциональные подсказки также влиять на производительность LLM, исследователи придумали 11 эмоциональных предложений, которые можно добавить к типичным запросам, отправляемым моделям. Это были такие предложения, как «это очень важно для моей карьеры», «вы должны быть уверены», «гордитесь своей работой и делайте все возможное» и «воспринимайте трудности как возможности для роста».
Эти предложения были получены из существующей психологической литературы, такой как теория социальной идентичности Анри Тайфеля и Джона Тернера 1970-х годов, теория социального познания и теория когнитивной эмоциональной регуляции. Затем исследователи добавили эти предложения к запросам, отправленным в различные LLM, которые попросили модели выполнить различные языковые задачи.
До сих пор они протестировали свой подход на четырех различных моделях: ChatGPT, Vicuna-13b, Bloom и Flan-T5-Large. В целом они обнаружили, что он улучшил производительность этих моделей в восьми различных задачах, увеличив точность их ответов более чем на 10% в более чем половине этих задач.
«EmotionPrompt работает на удивительно простом принципе: включение эмоционального стимула в подсказки», — написали Ли, Ван и их коллеги. «Экспериментальные результаты показывают, что наш EmotionPrompt, использующий те же самые шаблоны подсказок, значительно превосходит оригинальные нулевые подсказки и Zero-shot-CoT на восьми задачах с различными моделями: ChatGPT, Vicuna-13b, Bloom и T5. Кроме того, было замечено, что EmotionPrompt улучшает как правдивость, так и информативность».
Новый подход, разработанный этой группой исследователей, вскоре может вдохновить дополнительные исследования, направленные на улучшение взаимодействия человек-LLM путем введения эмоциональных / психологических подсказок. Хотя полученные на данный момент результаты многообещающие, потребуются дополнительные исследования для проверки его эффективности и обобщаемости.
«У этой работы есть несколько ограничений», — делают вывод исследователи в своей статье. «Во-первых, мы экспериментировали только с четырьмя LLM и проводили эксперименты на нескольких задачах с небольшим количеством тестовых примеров, что является ограниченным. Таким образом, наши выводы об эмоциональном стимуле могут работать только в наших экспериментах, и любые LLM и наборы данных за пределами этой статьи могут не работать с эмоциональным стимулом. Во-вторых, эмоциональный стимул, предложенный в этой статье, может быть необщим для других задач, и исследователи могут предложить другие полезные замены для собственных задач».