Поскольку искусственный интеллект все больше перемещается из облака в устройство, как узнать, будет ли на том или ином новом ноутбуке приложение с генеративным ИИ работать быстрее, чем на конкурирующих готовых ноутбуках — или настольных компьютерах, или моноблоках, если уж на то пошло? Знание этого может означать разницу между несколькими секундами ожидания генерации изображения и несколькими минутами — а, как говорится, время — деньги.
MLCommons, отраслевая группа, стоящая за рядом стандартов бенчмаркинга оборудования, связанного с искусственным интеллектом, хочет облегчить процесс сравнения, выпустив бенчмарки производительности, ориентированные на «клиентские системы» — то есть потребительские ПК.
Сегодня MLCommons объявила о создании новой рабочей группы, MLPerf Client, целью которой является создание бенчмарков ИИ для настольных компьютеров, ноутбуков и рабочих станций под управлением Windows, Linux и других операционных систем. MLCommons обещает, что бенчмарки будут «ориентированы на сценарии», сфокусированы на реальных случаях использования конечными пользователями и «основаны на обратной связи с сообществом».
С этой целью первый бенчмарк MLPerf Client будет посвящен моделям генерации текста, в частности, Llama 2 от Meta*, которая, как отмечает исполнительный директор MLCommons Дэвид Кантер, уже была включена в другие бенчмарки MLCommons для аппаратного обеспечения центров обработки данных. Meta* также проделала большую работу над Llama 2 совместно с Qualcomm и Microsoft, чтобы оптимизировать Llama 2 для Windows — что очень полезно для устройств, работающих под управлением Windows.
«Пришло время привнести MLPerf в клиентские системы, поскольку искусственный интеллект становится ожидаемой частью вычислений повсюду», — сказал Кантер в пресс-релизе. «Мы с нетерпением ждем совместной работы с нашими членами, чтобы привнести передовые достижения MLPerf в клиентские системы и открыть новые возможности для всего сообщества».
Членами рабочей группы MLPerf Client являются AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia и Qualcomm — но, разумеется, не Apple.
Apple также не является членом MLCommons, а технический директор Microsoft Яннис Минадакис является сопредседателем группы MLPerf Client, что делает отсутствие компании не совсем удивительным. Неутешительным результатом, однако, является то, что какие бы эталоны ИИ ни создавал MLPerf Client, они не будут протестированы на устройствах Apple — по крайней мере, в ближайшей перспективе.
Тем не менее, интересно посмотреть, какие тесты и инструменты появятся благодаря MLPerf Client, с поддержкой macOS или нет. Если предположить, что технология генеративного ИИ останется — а нет никаких признаков того, что пузырь скоро лопнет, — то будет неудивительно, что подобные метрики будут играть все большую роль в принятии решений о покупке устройств.
В лучшем случае бенчмарки MLPerf Client будут сродни многочисленным инструментам сравнения сборки ПК в Интернете, давая представление о том, какой производительности ИИ можно ожидать от конкретной машины. Возможно, в будущем они распространятся даже на телефоны и планшеты, учитывая участие Qualcomm и Arm (обе компании вкладывают значительные средства в экосистему мобильных устройств). Очевидно, что все это только начинается, но будем надеяться.
*Meta признана экстремистcкой организацией в России.