Компания Stability AI, возможно, наиболее известна своим набором генеративных моделей искусственного интеллекта для преобразования текста в изображение, но это далеко не все, чем она занимается.
Вчера Stability AI выпустила свою последнюю модель, StableLM Zephyr 3B, которая представляет собой большую языковую модель (LLM) с 3 миллиардами параметров, предназначенную для использования в чатах, включая генерацию текста, резюмирование и персонализацию контента. Новая модель представляет собой уменьшенную, оптимизированную версию модели генерации текста StableLM, о которой Stability AI впервые заговорила в апреле.
Преимущество StableLM Zephyr 3B заключается в том, что она меньше, чем модель StableLM с 7 миллиардами параметров, что дает ряд преимуществ. Меньший размер позволяет развертывать ее на более широком спектре аппаратных средств, с меньшими затратами ресурсов и при этом обеспечивать быстрые ответы. Модель была оптимизирована для вопросов и ответов, а также инструкций.
«StableLM обучалась дольше на более качественных данных, чем предыдущие модели, к примеру, на вдвое большем количестве токенов, чем LLaMA v2 7b, с которой она сравнялась по базовой производительности, несмотря на 40%-ный размер», — рассказал VentureBeat Эмад Мостак, генеральный директор Stability AI.
StableLM Zephyr 3B — это не совсем новая модель, скорее Stability AI определяет ее как расширение уже существующей модели StableLM 3B-4e1t.
Zephyr имеет подход к разработке, который, по словам Stability AI, вдохновлен моделью Zephyr 7B от HuggingFace. Модели HuggingFace Zephyr разработаны по лицензии MIT с открытым исходным кодом и предназначены для работы в качестве помощников. В Zephyr используется подход к обучению, известный как Директная Оптимизация Предпочтений (DPO), которым теперь пользуется и StableLM.
Мостак объяснил, что Директная Оптимизация Предпочтений (DPO) — это альтернативный подход к обучению с подкреплением, используемый в предыдущих моделях, чтобы настроить их на предпочтения человека. DPO обычно используется в больших моделях с 7 миллиардами параметров, а StableLM Zephyr — одна из первых, кто использует эту технику в моделях с меньшим размером параметров — 3 миллиарда.
Stability AI использовала DPO с набором данных UltraFeedback от исследовательской группы OpenBMB. В наборе данных UltraFeedback содержится более 64 000 запросов и 256 000 ответов. Сочетание DPO, меньшего по размеру и оптимизированного набора данных для обучения обеспечивает StableLM хорошие результаты в метриках, предоставленных Stability AI. Например, в оценке MT Bench модель StableLM Zephyr 3B смогла превзойти более крупные модели, такие как Llama-2-70b-chat от Meta* и Claude-V1 от Anthropric.
StableLM Zephyr 3B присоединяется к растущему списку новых моделей, выпущенных Stability AI в последние месяцы, поскольку стартап в области генеративного ИИ продолжает расширять свои возможности и инструменты.
В августе Stability AI выпустила StableCode — генеративную модель ИИ для разработки кода приложений. За этим релизом в сентябре последовал дебют Stable Audio — нового инструмента для генерации текста в аудио. Затем в ноябре компания перешла в сферу генерации видео, представив предварительный вариант Stable Video Diffusion.
Несмотря на то, что компания была занята экспансией в различные сферы, новые модели не означают, что Stability AI забыла об основах генерации текста в изображение. На прошлой неделе Stability AI выпустила SDXL Turbo, более быструю версию своей флагманской модели текста в изображение SDXL.
Мостак также дает понять, что у Stability AI впереди еще много инноваций.
«Мы верим, что небольшие, открытые, производительные модели, настроенные на основе собственных данных пользователей, превзойдут более крупные общие модели», — говорит Мостак. «С будущим полноценным релизом наших новых моделей StableLM мы надеемся на дальнейшую демократизацию генеративных языковых моделей».
*Meta признана экстремистcкой организацией в России.