Если проводить достаточно времени с ChatGPT и другими чат-ботами на основе искусственного интеллекта, то довольно быстро они начинают нести чушь.
Это явление, описываемое как галлюцинации, конфабуляции или просто откровенная ложь, теперь стало проблемой для каждого бизнеса, организации и школьника, пытающихся заставить систему генеративного ИИ создавать документы и выполнять работу. Некоторые используют его для задач с потенциально серьезными последствиями, от психотерапии до исследований и написания юридических документов.
«Я не думаю, что сегодня есть модель, которая не страдала бы от некоторых галлюцинаций», — сказала Даниэла Амодеи, соосновательница и президент Anthropic, создателя чат-бота Claude 2.
«Они на самом деле просто предназначены для предсказания следующего слова», — сказала Амодеи. «И поэтому с некоторой частотой модель будет делать это неточно».
Anthropic, создатель ChatGPT компания OpenAI и другие крупные разработчики систем ИИ, известных как большие языковые модели, говорят, что они работают над тем, чтобы сделать их более правдивыми.
Насколько быстро это произойдет — и смогут ли они когда-либо безопасно, например, давать медицинские советы — пока неясно.
«Это неисправимо», — считает Эмили Бендер, профессор лингвистики и директор Лаборатории компьютерной лингвистики Вашингтонского университета. «Это связано с несоответствием между технологией и предлагаемыми сценариями использования».
От надежности технологий генеративного ИИ зависит очень многое. По прогнозам Исследовательского института McKinsey, они добавят в мировую экономику эквивалент от 2,6 до 4,4 триллионов долларов. Чат-боты — это только часть этого ажиотажа, который также включает технологии, способные создавать новые изображения, видео, музыку и компьютерный код. Почти все инструменты включают некоторый языковой компонент.
Google уже предлагает новостным организациям продукт — ИИ для написания новостей, для которого крайне важна точность. Associated Press тоже изучает возможность использования этой технологии в рамках партнерства с OpenAI, которая платит за использование части текстового архива АП для улучшения своих систем ИИ.
В партнерстве с индийскими институтами управления гостиничным бизнесом компьютерный ученый Ганеш Баглер много лет работал над тем, чтобы заставить системы ИИ, включая предшественника ChatGPT, изобретать рецепты блюд южноазиатской кухни, таких как новые версии рисового бирьяни. Один «вымышленный» ингредиент может стать разницей между вкусным и несъедобным блюдом.
Когда в июне гендиректор OpenAI Сэм Альтман посетил Индию, профессор Института информационных технологий Индрапрастхи в Дели задал ему несколько острых вопросов.
«Я полагаю, что галлюцинации в ChatGPT все еще допустимы, но когда рецепт выходит с галлюцинациями, это становится серьезной проблемой», — сказал Баглер, встав со своего места в переполненной аудитории кампуса, чтобы обратиться к Альтману во время остановки американского технического руководителя в Нью-Дели в рамках его мирового турне.
«Что вы думаете по этому поводу?» — в конце концов спросил Баглер.
Альтман выразил оптимизм, если не прямое обязательство.
«Я думаю, что мы доведем проблему галлюцинаций до гораздо, гораздо лучшего состояния», — сказал Альтман. «Я думаю, что на это уйдет полтора-два года. Что-то в этом роде. Но к тому времени мы перестанем об этом говорить. Существует баланс между креативностью и идеальной точностью, и модель должна будет научиться, когда вам нужно одно или другое».
Но для некоторых экспертов, которые изучали эту технологию, таких как лингвист Вашингтонского университета Бендер, эти улучшения будут недостаточными.
Бендер описывает языковую модель как систему «моделирования вероятности различных строк словоформ», учитывая некоторые письменные данные, на которых она была обучена.
Именно так работают проверки орфографии, обнаруживающие, когда вы напечатали неправильное слово. Это также помогает обеспечивать работу автоматических систем перевода и распознавания речи, «сглаживая выходные данные, чтобы они больше походили на типичный текст на целевом языке», — сказал Бендер. Многие люди полагаются на версию этой технологии каждый раз, когда используют функцию «автозаполнения» при написании сообщений или электронных писем.
Последние чат-боты, такие как ChatGPT, Claude 2 или Google Bard, пытаются поднять это на новый уровень, генерируя целые новые фрагменты текста, но Бендер говорит, что они по-прежнему просто многократно выбирают наиболее правдоподобное следующее слово в строке.
Когда языковые модели используются для генерации текста, «они предназначены для сочинительства, — говорит Бендер. — Это все, что они делают». Они хороши в имитации форм письма, таких как юридические контракты, сценарии телешоу или сонеты.
«Но поскольку они только придумывают, когда сгенерированный ими текст случайно оказывается интерпретируемым как нечто, что мы считаем правильным, — это случайность», — говорит Бендер. «Даже если их можно настроить быть правильными чаще, у них по-прежнему будут ошибки — и, вероятно, ошибки будут в тех случаях, когда человеку, читающему текст, сложнее заметить их, потому что они более неочевидны».
Эти ошибки не являются большой проблемой для маркетинговых фирм, которые обратились к Jasper AI за помощью в написании предложений, считает президент компании Шейн Орлик.
«Галлюцинации на самом деле являются дополнительным бонусом», — говорит Орлик. «У нас постоянно есть клиенты, которые говорят, как он придумывал идеи, как Jasper создавал подходы к историям или ракурсы, о которых они никогда не думали сами».
Этот стартап из Техаса работает с партнерами вроде OpenAI, Anthropic, Google или Meta*, материнской компанией Facebook*, чтобы предложить своим клиентам широкий выбор языковых моделей ИИ, адаптированных к их потребностям. Для того, кто обеспокоен точностью, он может предложить модель Anthropic, в то время как тот, кого беспокоит безопасность собственных исходных данных, может получить другую модель, говорит Орлик.
Орлик сказал, что он знает, что галлюцинации не так просто исправить. Он рассчитывает на то, что такие компании, как Google, которым, по его словам, нужен «действительно высокий стандарт фактического контента» для своей поисковой системы, вложат много энергии и ресурсов в решения.
«Я думаю, им придется решить эту проблему», — сказал Орлик. «Они должны это сделать. Поэтому я не знаю, будет ли это когда-нибудь идеально, но, вероятно, это будет просто продолжать улучшаться с течением времени».
Технооптимисты, включая сооснователя Microsoft Билла Гейтса, прогнозируют радужные перспективы.
«Я с оптимизмом смотрю на то, что со временем модели ИИ можно будет научить различать факты и вымысел», — написал Гейтс в своем блоге в июле, детально излагая свои мысли о социальных рисках ИИ.
Он привел в качестве примера обнадеживающей работы в этом направлении статью OpenAI 2022 года. Совсем недавно исследователи Федерального технологического института в Цюрихе заявили, что разработали метод для обнаружения некоторых, но не всех, галлюцинаций ChatGPT и автоматического удаления их.
Однако даже Альтман, продвигая продукты для различных целей, не рассчитывает на правдивость моделей, когда ищет информацию.
«Я, вероятно, доверяю ответам ChatGPT меньше всех на Земле», — сказал Альтман собравшимся в университете Баглера, вызвав смех.
*Деятельность Meta (Facebook и Instagram) запрещена в России как экстремистская.