ИИ-стартап Hugging Face предлагает широкий спектр инструментов для хостинга и разработки в области науки о данных, включая портал, подобный GitHub, для репозиториев ИИ-кода, моделей и наборов данных, а также веб-панели для демонстрации приложений, работающих на основе ИИ.
Но некоторые из наиболее впечатляющих и эффективных инструментов Hugging Face на сегодняшний день разработаны командой из двух человек, которая была сформирована только в январе.
Команда H4, как ее называют — «H4» означает «полезный, честный, безобидный и обнимающий», — ставит своей целью разработку инструментов и «рецептов», позволяющих сообществу ИИ создавать чат-боты на базе ИИ по образцу ChatGPT. По словам Льюиса Танстолла, инженера по машинному обучению из компании Hugging Face и одного из двух членов H4, именно выпуск ChatGPT послужил катализатором для создания H4.
«Когда в конце 2022 года OpenAI выпустила ChatGPT, мы начали мозговой штурм, чтобы повторить его возможности с помощью библиотек и моделей с открытым исходным кодом», — рассказал Танстолл в интервью TechCrunch по электронной почте. «Основным направлением исследований H4 является выравнивание, которое в широком смысле включает в себя обучение LLM поведению в соответствии с обратной связью от людей (или даже других ИИ)».
H4 стоит за растущим числом больших языковых моделей с открытым исходным кодом, включая Zephyr-7B-α, доработанную, ориентированную на чат версию одноименной модели Mistral 7B, недавно выпущенную французским ИИ-стартапом Mistral. H4 также создала подобие модели Falcon-40B, разработанной Институтом технологических инноваций в Абу-Даби, изменив ее таким образом, чтобы она более эффективно реагировала на запросы на естественном языке.
Для обучения своих моделей H4, как и другие исследовательские группы Hugging Face, использует специальный кластер из более чем 1 000 графических процессоров Nvidia A100. Танстолл и другой его коллега по H4, Эд Бичинг, работают удаленно в Европе, но получают поддержку от нескольких внутренних групп Hugging Face, в том числе от группы тестирования и оценки моделей.
«Небольшой размер H4 — это сознательный выбор, поскольку он позволяет нам быть более гибкими и адаптироваться к постоянно меняющемуся ландшафту исследований», — сообщил Бичинг TechCrunch по электронной почте. «У нас также есть несколько внешних коллабораций с такими группами, как LMSYS и LlamaIndex, с которыми мы сотрудничаем при выпуске совместных релизов».
В последнее время H4 исследует различные методы выравнивания и создает инструменты для проверки того, насколько хорошо работают методы, предложенные сообществом и промышленностью. В этом месяце команда выпустила справочник, содержащий весь исходный код и наборы данных, использованные при создании Zephyr, и H4 планирует обновлять справочник кодом своих будущих моделей ИИ по мере их выпуска.
На вопрос, не испытывает ли H4 давления со стороны руководства Hugging Face в отношении коммерциализации своей работы. Ведь компания привлекла сотни миллионов долларов от авторитетных инвесторов, среди которых Salesforce, IBM, AMD, Google, Amazon, Intel и Nvidia. Последний раунд финансирования Hugging Face оценивается в 4,5 млрд. долларов США, что, по некоторым данным, более чем в 100 раз превышает годовой доход компании.
Танстолл ответил что, H4 не занимается прямой монетизацией своих инструментов. Однако он признал, что эти инструменты используются в программе Hugging Face Expert Acceleration Program, ориентированной на предприятия и предоставляющей рекомендации командам Hugging Face по созданию индивидуальных решений в области ИИ.
Отвечая на вопрос, не видит ли он в H4 конкуренцию с другими инициативами в области ИИ с открытым исходным кодом, такими как EleutherAI и LAION, Бичинг сказал, что это не является целью H4. Скорее, по его словам, целью является «расширение возможностей» сообщества открытого ИИ путем выпуска обучающего кода и наборов данных, связанных с чат-моделями H4.
«Наша работа была бы невозможна без многочисленных вкладов сообщества», — сказал Бичинг.