Запрашивая ответы у ChatGPT, вы рискуете получить от него полностью выдуманные «факты», которые звучат правдоподобно, как недавно обнаружил один нью-йоркский юрист. Несмотря на то, что они обучены на огромных объемах фактических данных, большие языковые модели (LLM) склонны генерировать ложную информацию, называемую галлюцинациями.
Это может происходить, когда LLM поручают генерировать текст о теме, с которой они сталкивались не так уж много, или когда они по ошибке смешивают информацию из разных источников. В случае с несчастным адвокатом ChatGPT сгенерировал воображаемые судебные решения и правовые ссылки, которые он представил в суде; председательствующий судья, как нетрудно догадаться, был явно недоволен.
«Представьте, что вы используете функцию автозаполнения на своем телефоне, чтобы закончить фразу «Мой любимый ресторан — это…». Скорее всего, вы получите вполне разумный на вид текст, который необязательно точен», — поясняет Марк Мароне, докторант третьего курса факультета компьютерных наук Инженерной школы Уайтинга.
Мароне и группа исследователей, в которую вошли докторанты Орион Уэллер и Натаниэль Вейр, а также советники Бенджамин Ван Дурме, доцент информатики и член Центра обработки речи и языка; Дон Лоури, старший научный сотрудник Центра передового опыта в области технологий человеческого языка; и Даниэль Хашаби, ассистент кафедры информатики, а также член CLSP, разработали метод для снижения вероятности галлюцинаций LLM.
Вдохновленные фразой, широко используемой в журналистике, исследователи провели исследование влияния включения слов «согласно» в запросы LLM.
Они обнаружили, что подсказки «согласно» успешно направляют языковые модели на привязку их ответов к ранее наблюдаемому тексту; вместо генерации ложных ответов модели с большей вероятностью будут напрямую цитировать запрошенный источник — точно так же, как делал бы журналист, говорит команда.
«Языковые модели очень хороши в следовании синтаксическим и семантическим подсказкам», — объясняет Уэллер. «Поскольку «согласно» с большей вероятностью встречается в Интернете, когда новостная статья цитирует источник, LLM может воспринять подсказку как указание конкретно искать цитаты из своих обучающих данных».
Используя Data Portraits — инструмент, ранее разработанный Мароне и Ван Дурме для быстрого определения наличия конкретного контента в обучающем наборе данных без необходимости скачивать огромные объемы текста, — команда проверила, можно ли найти ответы LLM в ее исходных обучающих данных. Другими словами, они смогли определить, придумывает ли модель ответы или генерирует их на основе данных, которые она уже изучила.
Этот показатель, который команда называет «QUIP-баллом» (сокращение от точность цитируемой информации), увеличился на 5-15% при использовании запросов с подсказкой обоснования, например «Согласно Википедии…». Фактически, добавление подсказки обоснования, которая побуждает модель извлекать информацию из высококачественного источника, повышает как способность модели цитировать текст, так и общую детальность и точность ее ответов, сообщает команда.
«Мы стремимся улучшить привязку знаний, заставляя LLM напрямую цитировать базовые доверенные ресурсы, которые они видели во время обучения», — объясняет Хашаби. «Наша цель — чтобы модели получали доступ к полезному контенту, такому как строки, запомненные из высококачественных и достоверных документов».
Хотя это может звучать как то, что делает виртуальный помощник, есть важное отличие: в реализации команды Хопкинса LLM не имеет доступа к интернету. Вместо этого она должна отвечать полностью через собственные неявные знания — распределение, выученное на ранее наблюдаемых предложениях — без каких-либо дополнительных данных, предоставляемых из живого поиска.
Подсказки «согласно» хорошо работают с широким спектром LLM без необходимости человеческой настройки, утверждает команда. Однако они утверждают, что эти подсказки наиболее эффективны при использовании с более крупными моделями и в сочетании с настройкой инструкций, когда модель обучается инструкциям вроде «Ответьте на вопрос правильным ответом» в дополнение к типичным парам вопрос-ответ.
«Также важно отметить, что хотя текст, сгенерированный моделью, может присутствовать в Википедии или в указанном вами источнике, это автоматически не делает выходную генерацию правильной по отношению к заданному вопросу», — говорит Уэллер.
В конечном итоге точность ответа модели по-прежнему зависит от качества данных, на которых она была обучена, поэтому команда учитывает возможность фильтрации информации с ненадежных сайтов.
«Мы показываем, что можно буквально написать «Не цитируйте XYZ.com» в своем запросе, и ChatGPT подчинится, — говорит Вейр, — демонстрируя еще одно свидетельство того, что он понимает инструкции по привязке».
Ван Дурме добавляет: «Наш метод — это не полное решение, но это один шаг к тому, чтобы помочь LLM генерировать более фактическую и правильную информацию, помогая им использовать то, чему они научились из своих обучающих данных».
Статья опубликована на сервере препринтов arXiv.