Два видных бывших исследователя Google, один из которых был соавтором архитектуры искусственного интеллекта «трансформер», которая проложила путь для бума генеративного ИИ, объявили в четверг о создании новой ИИ-компании с штаб-квартирой в Токио.
Sakana AI, основанная Дэвидом Ха и Лайоном Джонсом, отказалась раскрывать детали финансирования.
Джонс является пятым автором статьи Google 2017 года «Внимание — это все, что вам нужно», в которой была представлена архитектура глубокого обучения «трансформер», которая впоследствии стала основой для вирусного чат-бота ChatGPT и нынешней гонки за разработку продуктов, основанных на генеративном ИИ. Ранее Ха был руководителем исследовательского отдела Stability AI и исследователем Google Brain.
После выхода знаменитой статьи прогресс в области фундаментальных моделей генеративного ИИ сосредоточился на том, чтобы делать модели на основе «трансформера» все больше и больше. Вместо этого Sakana AI сосредоточится на создании новых архитектур фундаментальных моделей, рассказал Рейтер Джонс.
«Вместо создания одной огромной модели, которая всасывает все эти данные, наш подход может заключаться в использовании большого количества меньших моделей, у каждой из которых есть свое уникальное преимущество и меньший набор данных, а эти модели общаются и работают друг с другом, чтобы решить проблему», — сказал Ха, хотя он уточнил, что это была всего лишь идея.
Все авторы статьи «Внимание — это все, что вам нужно» теперь покинули Google. Стартапы авторов привлекли миллионы долларов от венчурных инвесторов, в том числе Ноама Шазира, который запустил чат-бот стартап Character.AI, и Эйдана Гомеса, который основал компанию по созданию больших языковых моделей Cohere.