Компания Perplexity AI, основанная в прошлом году бывшими исследователями Google AI Энди Конвински, Аравиндом Шринивасом, Денисом Яратсом и Джонни Хо, имеет потенциал сместить своего бывшего работодателя с позиции ведущего поисковика, комбинируя веб-индексирование и актуальную информацию с диалоговым интерфейсом в стиле чат-бота. Ее чат-бот под названием Perplexity Copilot до недавнего времени использовал существующие модели ИИ — GPT-4 от OpenAI и Claude 2 от Anthropic — в качестве «интеллекта» за кулисами, между которыми подписчики могут переключаться.
Теперь компания сделала еще один шаг к возможности стать ведущим поисковиком, выпустив собственные LLM (большие языковые модели) — pplx-7b-online и pplx-70b-online, названные по их размерам параметров, 7 миллиардов и 70 миллиардов соответственно. Они являются доработанными и расширенными версиями моделей с открытым исходным кодом mistral-7b и llama2-70b от Mistral и Meta*.
Параметры в ИИ относятся к количеству связей между искусственными нейронами в каждой модели и, таким образом, обычно указывают на то, насколько мощными и «интеллектуальными» являются модели, причем более высокие параметры обычно указывают на более знающие, умные и производительные модели.
Чем новые онлайн-LLM от Perplexity примечательны и чем они отличаются от ChatGPT и других
Новые LLM Perplexity примечательны тем, что помимо того, что они доступны другим организациям для использования и создания собственных приложений через API (интерфейс прикладного программирования) Perplexity, они также нацелены на предоставление «полезной, фактической и актуальной информации» — последнее то, с чем с трудом справляются большинство других ведущих LLM, включая GPT-3.5 и GPT-4 от OpenAI (лежащие в основе ChatGPT).
Как написал в своем посте в X генеральный директор Perplexity Аравинд Шринивас, новые LLM PPX — «первые когда-либо существовавшие действующие API LLM, основанные на данных веб-поиска и не имеющие ограничения знаний!»
Даты отсечения хранимых знаний в GPT-3.5 и 4, как известно, были ограничены сентябрем 2021 года до недавнего времени, когда их передвинули до начала этого года. Это все еще далеко от того, чтобы иметь знания о текущих событиях и горячих новостях, хотя это в некоторой степени смягчается возвращением возможностей веб-поиска в ChatGPT через партнера OpenAI Microsoft и его поисковую систему Bing, который был восстановлен в конце сентября 2023 года.
Гонка за предоставление актуальных знаний через чат-боты LLM тоже накаляется, Илон Маск похвастался, что новый чат-бот его компании xAI под названием Grok будет обладать этой способностью благодаря прямой интеграции с компанией X (ранее Twitter) и всей информацией, размещаемой пользователями на этой платформе, в режиме реального времени. Grok уже был доступен отдельным пользователям в ограниченной бета-версии и будет запущен для всех желающих на этой неделе при условии, что пользователь заплатит за подписку X Premium.
Другие поставщики LLM, такие как Cohere из Торонто, ориентированная на корпоративный сектор, стремятся привнести более актуальные знания в свои LLM посредством комбинации возможностей веб-поиска и генерации с расширенным поиском, или RAG, которая позволяет модели использовать внешние для нее источники информации, предоставленные администратором, например, файлы компании.
В случае с новыми онлайн-LLM PPLX компания Perplexity разработала свой собственный подход к получению свежей информации. Как пишет компания в своем блоге: «наша собственная инфраструктура поиска, индексирования и сканирования позволяет нам дополнять LLM самой актуальной, обновленной и ценной информацией. Наш поисковый индекс большой, регулярно обновляется и использует сложные алгоритмы ранжирования, чтобы обеспечить приоритет высококачественных сайтов, не подверженных влиянию SEO. Выдержки с веб-сайтов, которые мы называем «фрагментами», предоставляются нашим pplx-online моделям, чтобы в ответах содержалась самая актуальная информация».
Лучше, чем у OpenAI и Meta* в области актуальной информации?
Чтобы доказать эффективность своих новых LLM, Perplexity наняла нескольких человек-подрядчиков для оценки ответов на основе набора из трех критериев: полезность, фактичность (точность, как называет ее Perplexity) и свежесть (последнее относится к тому, насколько актуальна предоставленная информация).
Подрядчикам было предложено сравнить ответы от двух моделей, выбранных случайным образом, одни из которых были новыми онлайн-LLM PPLX от Perplexity, другие — Llama 2 от Meta* или GPT-3.5 Turbo от OpenAI, выбирая, ответ от какой модели им больше нравится.
Затем, на основе ответов людей-подрядчиков, используя метод под названием Elo scoring, Perplexity установила, что ее модели превосходят модели OpenAI и Meta* в плане «свежести» и «фактичности». GPT-3.5 по-прежнему превосходила модели PPLX и сырую Llama 2, когда дело доходило до “полезности”, то есть того» насколько полезными консультанты считали ответы LLM.
«В целом, результаты оценки демонстрируют, что наши модели PPLX могут соответствовать и даже превосходить gpt-3.5 и llama2-70b в практических задачах, особенно в плане предоставления точных и актуальных ответов», — пишет компания в своем блоге, описывая новые модели.
Как использовать и каковы выводы
Новые онлайн-LLM PPLX доступны уже сейчас для использования отдельными лицами и организациями через веб-сайт API Perplexity и следуя размещенной там документации. Кроме того, Perplexity отмечает в своем блоге, что API переходит от доступности бета-тестирования к общедоступности.
Однако есть определенная стоимость: несмотря на то, что они обучены на бесплатных моделях с открытым исходным кодом, Perplexity берет плату за добавление своих технологий поиска и веб-индексации в эти модели. Perplexity взимает 20 долларов США в месяц за подписку уровня Pro или 200 долларов в год, что теперь даст пользователям ежемесячный кредит в размере $5, который они могут использовать для оплаты доступа к API PPLX.
Помимо этого, пользователям придется платить Perplexity за дополнительные вызовы API (доступ к моделям с помощью запроса или подсказки). Perplexity не предоставила публичную информацию о ценообразовании, а просто направляет заинтересованные стороны на прямую связь по электронной почте.
Хотя масштабы использования новых моделей отдельными лицами и компаниями, для прямого использования или в новых приложениях, пока не ясны, Perplexity уже завоевала некоторых рьяных поклонников, которые считают ее будущим поиска, включая венчурного инвестора Джеремайю Оуянга из Blitzscaling Ventures.
Поскольку Google Bard уже споткнулся из-за некоторых спорных моментов и плохих отзывов, а следующий «убийца» GPT от Google под названием Gemini, по сообщениям, задерживается, момент идеально подходит для того, чтобы Perplexity зарекомендовала себя как альтернативное видение будущего поиска — такое, в котором с пользователем беседует ИИ-ассистент и выводит ответы из Интернета, вместо того, чтобы сам пользователь разбирался в результатах поиска, чтобы найти наилучшие.
*Meta признана экстремистcкой организацией в России.