Компания Amazon инвестирует миллионы долларов в обучение амбициозной большой языковой модели (LLM), надеясь, что она сможет соперничать с лучшими моделями от OpenAI и Alphabet, сообщили Reuters два человека, знакомые с ситуацией.
Модель, получившая кодовое название «Olympus», имеет 2 триллиона параметров, сказали эти люди, что может сделать ее одной из крупнейших обучаемых моделей. Сообщается, что модель GPT-4 компании OpenAI, одна из лучших доступных моделей, имеет один триллион параметров.
Собеседники попросили не называть их имен, поскольку детали проекта еще не обнародованы.
Компания Amazon отказалась комментировать. Во вторник The Information сообщил о названии проекта.
Во главе команды стоит Рохит Прасад, бывший руководитель Alexa, который теперь напрямую подчиняется генеральному директору Энди Джесси. Будучи главным научным сотрудником по общему искусственному интеллекту (AGI) в Amazon, Прасад привлек исследователей, которые работали над искусственным интеллектом Alexa и научную команду Amazon, чтобы работать над обучением моделей, объединив усилия по искусственному интеллекту всей компании с выделенными ресурсами.
Amazon уже обучила меньшие модели, такие как Titan. Она также сотрудничала со стартапами в области ИИ-моделей, такими как Anthropic и AI21 Labs, предлагая их пользователям Amazon Web Services (AWS).
В Amazon считают, что наличие собственных моделей может сделать ее предложения более привлекательными для AWS, где корпоративные клиенты хотят получить доступ к лучшим моделям, сказали источники, знакомые с ситуацией, добавив, что конкретных сроков выпуска новой модели нет.
LLM — это базовая технология для инструментов ИИ, которые учатся на огромных наборах данных, чтобы генерировать ответы, похожие на человеческие.
Обучение более крупных ИИ-моделей обходится дороже из-за необходимых вычислительных мощностей. На телеконференции по доходам в апреле руководители Amazon заявили, что компания увеличит инвестиции в LLM и генеративный ИИ, одновременно сократив расходы на выполнение заказов и транспортировку в розничном бизнесе.