Несмотря на их цену от 30 000 долларов, графические процессоры Nvidia H100 пользуются большим спросом — настолько, что обычно находятся в списке ожидания. В начале этого года Google Cloud анонсировала закрытый предварительный запуск виртуальных машин A3 на базе GPU H100, в которых чипы Nvidia сочетаются с разработанными Google блоками обработки инфраструктуры (IPU) со скоростью 200 Гбит/с. Теперь, на своей конференции Cloud Next, Google объявила, что запустит A3 в общедоступный режим в следующем месяце.
Пока неясно, сможет ли Google Cloud удовлетворить спрос на эти чипы, учитывая, что они ориентированы на обучение и использование генеративных ИИ-моделей и больших языковых моделей.
Когда Google Cloud анонсировала A3 в прошлом году, компания заявила, что она будет обеспечивать до 26 эксафлопс производительности ИИ, а благодаря специальным IPU — до 10 раз большую пропускную способность сети по сравнению с предыдущим поколением машин A2.
«A3 создана специально для обучения, настройки и обслуживания чрезвычайно требовательных и масштабируемых генеративных ИИ и больших языковых моделей», — заявил Марк Ломейер, вице-президент и генеральный менеджер по вычислительной технике и машинному обучению в Google Cloud, во время пресс-конференции перед вчерашним анонсом. «Она использует ряд уникальных инноваций Google, включая сетевые технологии Google, такие как инфраструктурная обработка и разгрузка, которые помогают поддерживать огромный масштаб и производительность, необходимые для этих рабочих нагрузок».