Стартап Modular, создающий платформу для разработки и оптимизации систем ИИ, привлек 100 миллионов долларов в раунде финансирования под руководством General Catalyst при участии GV (Google Ventures), SV Angel, Greylock и Factory.
Это увеличивает общее финансирование Modular до 130 миллионов долларов. По словам генерального директора Криса Латтнера, вырученные средства будут направлены на расширение продукта, поддержку оборудования и развитие собственного языка программирования компании Mojo.
«Поскольку мы работаем в глубоко технической сфере, которая требует высокоспециализированных знаний, мы намерены использовать эти средства для поддержки роста нашей команды», — сказал Латтнер в интервью TechCrunch по электронной почте. «Эти средства не будут потрачены в первую очередь на вычислительные мощности ИИ, а скорее на улучшение наших основных продуктов и масштабирование для удовлетворения невероятного спроса со стороны клиентов».
Латтнер, бывший сотрудник Google, основал Modular в Пало-Альто в 2022 году вместе с Тимом Дэвисом, бывшим коллегой по Google в исследовательском подразделении Google Brain. Оба Латтнер и Дэвис почувствовали, что развитие ИИ сдерживается чрезмерно сложной и фрагментированной технической инфраструктурой, и основали Modular, сосредоточившись на устранении сложностей при построении и обслуживании систем ИИ в масштабе.
Modular предоставляет двигатель, который пытается повысить производительность вывода обученных моделей ИИ на ЦП — а начиная с конца этого года и на ГП — при экономии затрат. Совместимый с существующими облачными средами, фреймворками машинного обучения, такими как TensorFlow от Google и PyTorch от Meta*, а также с другими ускорителями ИИ, двигатель Modular, в настоящее время находящийся в закрытом предварительном просмотре, позволяет разработчикам импортировать обученные модели и запускать их до 7,5 раз быстрее по сравнению с их исходными фреймворками, утверждает Латтнер.
Другой флагманский продукт Modular — Mojo — это язык программирования, который стремится сочетать удобство использования Python с такими возможностями, как кэширование, адаптивная компиляция и метапрограммирование. В настоящее время доступный в предварительном просмотре для «сотен» ранних пользователей, Modular планирует выпустить Mojo в общем доступе в начале следующего месяца.
«Наша платформа разработчика позволяет нашим клиентам и разработчикам во всем мире дефрагментировать свои технологические стеки ИИ — внедрять больше инноваций в производство быстрее и получать больше отдачи от инвестиций в ИИ», — сказал Латтнер. “Мы боремся со сложностью, которая замедляет разработку ИИ сегодня, решая проблемы фрагментации, которые преследуют стек ИИ, начиная с того места, где программное обеспечение ИИ встречается с аппаратным обеспечением ИИ”.
Слишком амбициозно? Возможно. Но ничто из того, что предлагает Modular, которая насчитывает примерно 70 сотрудников, не выходит за рамки возможного.
Deci, поддерживаемый Intel, входит в число стартапов, предлагающих технологии для повышения эффективности — и производительности — обученных моделей ИИ. Еще одна компания в этой категории — OctoML, которая автоматически оптимизирует, тестирует и упаковывает модели для различного оборудования.
В любом случае, по словам Латтнера, спрос на ИИ быстро приближается к пределам устойчивости — что делает любые технологии для сокращения его вычислительных потребностей крайне желательными. Генеративные модели ИИ, популярные сегодня, в 10-100 раз больше, чем старые модели ИИ, как указывается в недавней статье в Wall Street Journal, и большая часть общедоступной облачной инфраструктуры не была построена для запуска этих систем — по крайней мере, не в таких масштабах.
Это уже оказало влияние. Как говорится в отчете о доходах, Microsoft столкнулась с нехваткой серверного оборудования, необходимого для запуска ИИ, настолько серьезной, что это может привести к сбоям в обслуживании. В то же время огромный аппетит к аппаратному обеспечению для вывода ИИ — в основном GPU — привел капитализацию поставщика GPU Nvidia к 1 триллиону долларов. Но Nvidia стала жертвой собственного успеха; сообщается, что лучшие ИИ-чипы компании распроданы до 2024 года.
По всем этим причинам и другим более половины лиц, принимающих решения в области ИИ в крупных компаниях, сообщают о столкновении с барьерами при внедрении последних инструментов ИИ, согласно опросу S&P Global 2023 года.
“Вычислительная мощность, необходимая для сегодняшних программ ИИ, огромна и неустойчива в рамках текущей модели”, — сказал Латтнер. “Мы уже видим случаи, когда не хватает вычислительных мощностей, чтобы удовлетворить спрос. Затраты взлетают вверх, и только крупные, мощные технологические компании имеют ресурсы для создания таких решений. Modular решает эту проблему и позволит реализовать продукты и услуги ИИ таким образом, который намного более доступен и устойчив для любого предприятия».
Это разумно. Но менее верится, что Modular сможет стимулировать широкое принятие своего нового языка программирования Mojo, когда Python так укоренился в сообществе машинного обучения. По данным одного опроса, по состоянию на 2020 год 87% специалистов по данным регулярно использовали Python.
Но Латтнер утверждает, что преимущества Mojo будут стимулировать его рост.
«Одно из распространенных заблуждений относительно приложений ИИ заключается в том, что это не только проблема высокопроизводительного ускорителя», — сказал он. «ИИ сегодня — это сквозная проблема данных, которая включает в себя загрузку и преобразование данных, предварительную обработку, постобработку и сетевую передачу. Эти вспомогательные задачи обычно выполняются на Python и C++, и только подход Modular с Mojo может объединить все эти компоненты для работы в единой технологической базе без ущерба для производительности и масштабируемости».
Возможно, он прав. По словам Латтнера, за четыре месяца, прошедшие с момента презентации продукта Modular в начале мая, сообщество Modular выросло более чем до 120 000 разработчиков, а «ведущие технологические компании» уже используют инфраструктуру стартапа, причем 30 000 находятся в списке ожидания.
«Самый главный враг Modular — это сложность: сложность в программных слоях, которые работают только в особых случаях, программное обеспечение, привязанное к определенному оборудованию, и сложность, обусловленная низкоуровневой природой высокопроизводительных ускорителей», — сказал он. “Именно то, что делает ИИ такой мощной и трансформирующей технологией, является причиной, по которой для достижения масштаба требуется столько усилий, столько талантов, вложенных в создание индивидуальных решений, и столько вычислительной мощности для получения стабильных результатов. Двигатель Modular и Mojo вместе выравнивают игровое поле, и это только начало».
*Meta признана экстремистcкой организацией в России.