Большие языковые модели (LLM) — это продвинутые алгоритмы глубокого обучения, которые могут анализировать запросы на разных человеческих языках, генерируя впоследствии реалистичные и исчерпывающие ответы. Этот перспективный класс моделей обработки естественного языка (NLP) стал приобретать все большую популярность после выхода на рынок ChatGPT — разработанного компанией OpenAI, способного быстро отвечать на широкий спектр пользовательских запросов и генерировать убедительные письменные ответы для различных целей.
По мере распространения этих моделей оценка их возможностей и ограничений приобретает первостепенное значение. В конечном итоге эти оценки помогут понять, в каких ситуациях LLM наиболее или наименее полезны, а также выявить пути их совершенствования.
Джулианна Чжоу, исследовательница из Нью-Йоркского университета, недавно провела исследование, направленное на оценку работы двух LLM, обученных распознавать человеческий сарказм, который заключается в передаче мыслей путем ироничного высказывания прямо противоположного тому, что человек хочет сказать. Результаты исследования, опубликованные на сервере препринтов arXiv, помогли ей определить особенности и алгоритмические компоненты, которые могут улучшить возможности обнаружения сарказма как ИИ-агентами, так и роботами.
«В области анализа тональности текста при обработке естественного языка способность правильно распознавать сарказм необходима для понимания истинного мнения людей», — пишет Чжоу в своей работе. «Поскольку использование сарказма часто основано на контексте, предыдущие исследования использовали модели языкового представления, такие как Support Vector Machine (SVM) и Long Short-Term Memory (LSTM), для идентификации сарказма с помощью контекстной информации. Последние инновации в области NLP предоставили больше возможностей для выявления сарказма».
Анализ настроений — это область исследований, которая предполагает анализ текстов, обычно размещаемых на платформах социальных сетей или других веб-сайтах, с целью получения информации о том, как люди относятся к той или иной теме или продукту. Сегодня многие компании инвестируют в эту область, поскольку она может помочь им понять, как они могут улучшить свои услуги и удовлетворить потребности своих клиентов.
В настоящее время существует несколько моделей NLP, которые могут обрабатывать тексты и предсказывать их основной эмоциональный тон, или, другими словами, выражают ли они положительные, отрицательные или нейтральные эмоции. Однако многие отзывы и комментарии, размещенные в Интернете, содержат иронию и сарказм, что может обмануть модели, заставив их классифицировать как положительные, когда на самом деле они выражают отрицательные эмоции, или наоборот.
Поэтому некоторые ученые-компьютерщики пытаются разработать модели, способные распознавать сарказм в письменных текстах. Две наиболее перспективные из этих моделей, названные CASCADE и RCNN-RoBERTa, были представлены в 2018 году разными исследовательскими группами.
«В работе «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding», Джейкоб Девлин и другие (2018) представили новую модель языкового представления и продемонстрировали более высокую точность в интерпретации контекстуализированного языка», — пишет Чжоу. «Как и предложенная Хазарикой и другими (2018), CASCADE — контекстно-ориентированная модель, которая дает хорошие результаты при обнаружении сарказма». В данном исследовании анализируется массив Reddit с использованием этих двух современных моделей и оценивается их производительность в сравнении с базовыми моделями, чтобы найти идеальный подход для обнаружения сарказма.
По сути, Чжоу провела серию тестов, направленных на оценку способности моделей CASCADE и RCNN-RoBERTa обнаруживать сарказм в комментариях, размещенных на Reddit, известной онлайн-платформе, которая обычно используется для оценки контента и обсуждения различных тем. Способность этих двух моделей обнаруживать сарказм в образцах текстов также сравнивалась со средней производительностью человека при выполнении этой же задачи (о которой сообщалось в одной из предыдущих работ) и с производительностью нескольких базовых моделей для анализа текстов.
«Мы обнаружили, что контекстная информация, такая как данные о личности пользователя, может значительно улучшить производительность, так же как и использование трансформера RoBERTa по сравнению с более традиционным подходом CNN», — заключает Чжоу в своей работе. «Учитывая успех подходов на основе контекста и трансформера, как показано в наших результатах, дополнение трансформера дополнительными функциями контекстной информации может стать направлением для будущих экспериментов».
Результаты, полученные в ходе недавнего исследования, могут в скором времени послужить основой для дальнейших исследований в этой области, что в конечном итоге приведет к разработке LLM, которые будут лучше распознавать сарказм и иронию в человеческом языке. Эти модели могут оказаться чрезвычайно ценными инструментами для быстрого анализа настроений в онлайн-обзорах, сообщениях и другом пользовательском контенте.