Во вторник Meta* объявила о выпуске Llama 2 — нового открытого семейства языковых моделей искусственного интеллекта, которое отличается коммерческой лицензией, что позволяет интегрировать модели в коммерческие продукты. Они имеют размер от 7 до 70 миллиардов параметров и, по словам Meta*, «превосходят модели чат-ботов с открытым исходным кодом по большинству тестовых показателей».
«Это изменит ситуацию на рынке LLM», — написал главный исследователь по искусственному интеллекту Ян ЛеКун в своем твиттере. «Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других платформах».
По словам Meta*, их «предварительно обученные» модели Llama 2 (минимальные модели) обучены на 2 трлн токенов и имеют контекстное окно в 4 096 токенов (фрагментов слов). Контекстное окно определяет длину контента, которую модель может обработать за один раз. Meta* также утверждает, что модели Llama 2, разработанные для чат-приложений, похожих на ChatGPT, были обучены «более чем на 1 млн аннотаций, созданных людьми».
Хотя Llama 2 не может сравниться с GPT-4 от OpenAI по производительности, она, по-видимому, показывает хорошие результаты для модели с открытым исходным кодом. По словам Джима Фана, старшего исследователя по искусственному интеллекту в Nvidia, «70 млрд близко к GPT-3.5 по задачам рассуждений, но существует значительная разница по показателям кодирования. Она сопоставима или лучше PaLM-540B по большинству тестовых показателей, но все еще значительно уступает GPT-4 и PaLM-2-L». Более подробную информацию о производительности, тестовых показателях и структуре Llama 2 можно найти в исследовательской статье, опубликованной Meta* во вторник.
В феврале Meta* выпустила прототип Llama 2 — LLaMA — как открытую модель с лицензией на некоммерческое использование. Официально доступная только академикам с определенными аккредитациями, LLaMA вскоре утекла в Интернет, и быстро распространилась в сообществе искусственного интеллекта. Вскоре появились модифицированные версии LLaMA, такие как Alpaca, ставшие основой быстрорастущей подпольной разработки LLM.
Llama 2 более полно раскрывает эту деятельность благодаря возможности коммерческого использования, хотя потенциальные лицензиаты с «более чем 700 млн активных пользователей в предыдущем календарном месяце» должны запросить специальное разрешение у Meta* для использования ее, что может исключить бесплатное использование гигантами вроде Amazon или Google.
Сила и опасность ИИ с открытым исходным кодом
Модели искусственного интеллекта с открытым исходным кодом стали популярными среди энтузиастов и людей, ищущих нецензурированных чат-ботов, но они также вызвали споры. Meta* выделяется среди технологических гигантов, поддерживая основные модели с открытым исходным кодом, в то время как в закрытом исходном коде работают OpenAI, Microsoft и Google.
Критики говорят, что открытые модели искусственного интеллекта несут потенциальные риски, такие как злоупотребление ими в синтетической биологии или для генерации спама или дезинформации. Легко представить, что Llama 2 может быть использована в таких случаях, хотя такие использования противоречат условиям использования Meta*. В настоящее время, если кто-то совершает ограниченные действия с помощью ChatGPT API от OpenAI, доступ может быть отозван. Но с открытым исходным кодом, после того, как веса модели станут доступны, их уже невозможно забрать обратно.
Однако сторонники открытого искусственного интеллекта часто указывают на то, что открытые модели искусственного интеллекта способствуют прозрачности (в том, какая обучающая информация использовалась для их создания), способствуют конкуренции на рынке (не ограничивая технологию гигантским компаниям), поддерживают свободу слова (без цензуры) и демократизируют доступ к искусственному интеллекту (без ограничений платежей за использование).
Возможно, сознательно опережая возможную критику относительно открытого исходного кода, Meta* также опубликовала короткое заявление под названием «Заявление о поддержке открытого подхода Meta* к современному искусственному интеллекту», в котором говорится: «Мы поддерживаем открытый инновационный подход к искусственному интеллекту. Ответственная и открытая инновация дает каждому из нас интерес в процессе разработки искусственного интеллекта, обеспечивая прозрачность, контроль и доверие к этим технологиям. Открытие сегодняшних моделей Llama позволит каждому получить выгоду от этой технологии».
На вторник вечером это заявление подписали ряд руководителей и преподавателей, таких как Дрю Хьюстон (генеральный директор Dropbox), Мэтт Борнштейн (партнер Andreessen Horowitz), Жюльен Шомон (технический директор Hugging Face), Лекс Фридман (исследователь в MIT) и Пол Грэм (учредительный партнер Y Combinator).
Хотя Llama 2 имеет открытый исходный код, Meta* не раскрыла источник обучающих данных, использованных при создании моделей Llama 2, что было отмечено Абебой Бирхане, старшим исследователем по надежному искусственному интеллекту в Mozilla. Отсутствие прозрачности в обучающих данных до сих пор остается проблемой для некоторых критиков LLM, поскольку данные обучения, на основе которых эти модели «знают» информацию, часто являются несанкционированным сканированием Интернета с недостаточным вниманием к конфиденциальности или коммерческому влиянию. Meta* заявляет, что «приложила усилия по удалению данных с определенных сайтов, известных своим высоким объемом личной информации о частных лицах», в исследовательской статье Llama 2, но не указала, какие это сайты.
В настоящее время любой может запросить доступ для загрузки Llama 2, заполнив форму на веб-сайте Meta*. Ars Technica подал заявку на загрузку и получил ссылку на загрузку примерно через час, что говорит о том, что список может проходить ручную проверку.
*Meta признана экстремистcкой организацией в России.