После того, как команда, стоящая за Stability AI, помогла популяризировать генерацию изображений ИИ с помощью Stable Diffusion, она обратила свое внимание на генерацию кода.
Stability AI представила StableCode, небольшую модель всего в три миллиарда параметров. Она предназначена для использования в качестве инструмента, который помогает разработчикам писать код.
StableCode понимает различные языки программирования, включая Python, Go, Java, JavaScript, C, Markdown и C++.
Есть три версии StableCode: стандартная версия (StableCode-Completeion-Alpha-3b), версия с большим контекстным окном до 4к токенов (StableCode-Completion-Alpha-3b-4k) и версия с добавленной моделью инструкций (StableCode-Instruct-Alpha-3b). Все три доступны на странице Hugging Face от Stability.
Stability заявила, что хочет сделать StableCode доступным, чтобы помочь программистам в их повседневной работе.
«StableCode поможет следующему миллиарду разработчиков программного обеспечения научиться кодировать, обеспечивая более справедливый доступ к технологиям во всем мире», — говорится в объявлении Stability.
Технические подробности: как была сделана StableCode?
Базовая модель StableCode была обучена на языках программирования из набора данных BigCode. Затем Stability взяла популярные языки программирования, такие как Python, Go и JavaScript, и дополнительно доработала модель, чтобы улучшить её способность генерировать код. В общей сложности StableCode была обучена на 560 млрд токенов кода.
Затем к StableCode была добавлена модель инструкций, настроенная на конкретные случаи использования, чтобы помочь решать сложные задачи программирования. Потребовалось около 120 000 пар инструкций по коду и ответов в формате Alpaca, чтобы помочь с инструктивной частью StableCode.
Как StableCode по сравнению с другими?
Уже есть множество моделей генерации кода ИИ. В то время как модели, такие как ChatGPT и Bard, могут генерировать фрагменты кода в ответ на запросы пользователей, специально разработанные модели, такие как StarCoder от Hugging Face или Copilot X от GitHub, в основном обучены на коде, чтобы помочь человеку-разработчику.
Stability протестировала StableCode против других моделей генерации кода схожего размера с использованием метрики pass@1 в популярном бенчмарке HumanEval.
Результаты показали, что StableCode достиг чуть лучших результатов точности, чем Replit Coder и базовая модель StarCoder.
Stability запускает модель на японском языке
Продолжая тему Stability, компания ИИ также представила свою первую языковую модель на японском языке — Japanese StableLM Alpha.
Предназначенная для носителей японского языка, языковая модель общего назначения в семь миллиардов параметров может генерировать текст.
Есть две версии — базовая версия, доступная для коммерческого использования, и ориентированная на исследования версия с добавленной моделью инструкций, Japanese StableLM Instruct Alpha 7B.
Базовая версия была обучена на японском и английском тексте, а также исходном коде.
Также для обучения модели использовались специально созданные наборы данных, созданные японской командой Stability в сотрудничестве с японской командой проекта Polyglot от EleutherAI.
“Мы гордимся нашим первым большим шагом в сторону вклада в экосистему генеративного ИИ на японском языке”, — сказал Мэн Ли, руководитель проекта Japanese StableLM. “Мы с нетерпением ждем продолжения создания моделей в нескольких модальностях, построенных специально для отражения японской культуры, языка и эстетики”.