Благодаря чипам Advanced Micro Devices, суперкомпьютер LUMI — недавно признанный самым быстрым суперкомпьютером в Европе, а также одним из самых энергоэффективных — дал возможность группе TurkuNLP быстро создавать новые модели.
Такие достижения будут стимулировать интерес к большим языковым моделям (LLM), благодаря которым были созданы генеративные решения искусственного интеллекта, такие как ChatGPT. Хотя LLMs развиваются успешно, их тренировка требует огромных вычислительных мощностей, а модели, подобные ChatGPT, обычно либо проприетарны, либо основаны на английском языке.
Когда Сампо Пюссало, научный сотрудник Университета Турку, захотел расширить возможности LLM для более широких исследовательских приложений, ему понадобилась производительность для тренировки моделей в разумные сроки. Суперкомпьютер LUMI, построенный на архитектуре HPE Cray EX и работающий на процессорах AMD Epyc и графических процессорах AMD Instinct, предоставил необходимый масштаб вычислительной нагрузки.
Для понимания масштабов достижения: LUMI в два раза больше предыдущего поколения доступных компьютеров в Финляндии. Ранее команде требовалось полгода для предварительного обучения языковой модели с миллиардом параметров на компьютере, а сейчас LUMI обрабатывает около 40 миллиардов токенов, состоящих из символов, слогов или слов, всего за две недели, сообщает AMD.
Специалист по машинному обучению Вяйно Хатанпяя из CSC заявил: «Возможности вычислительных мощностей и способность дальнейшего масштабирования LUMI позволяют нашим клиентам расширять границы машинного обучения/искусственного интеллекта».
Открытие больших языковых моделей
Целью Пюссало вместе с партнерами Ристо Луукконеном и Вилле Комулайненом из TurkuNLP было открытие доступа к большим языковым моделям для академического использования.
«Крупные игроки — это крупные международные корпорации, которые держат свои модели закрытыми», — сказал он в заявлении. «В академии мы хотим иметь практический доступ к таким моделям, поэтому мы сами создаем их, и это требует ресурсов суперкомпьютера».
Финский язык был естественным отправным пунктом для университета, базирующегося в Финляндии, такого как Turku.
Построение больших языковых моделей зависит от передовых инструментариев искусственного интеллекта и машинного обучения. Пюссало работал для этого с Hugging Face. Модели такого размера требуют огромного вычислительного масштаба, и здесь LUMI оказался незаменимым.
LUMI, принадлежащий EuroHPC Joint Undertaking, был финансирован на 50/50 EuroHPC JU и консорциумом LUMI, включающим десять европейских стран. Он базируется в Финляндии в Центре информационных технологий для науки CSC и размещается консорциумом LUMI. Раздел GPU LUMI-G превосходит другие разделы GPU, размещенные в CSC.
Система Mahti AI организации состоит из 24 узлов GPU, а система Puhti предлагает 80 узлов GPU, каждый с четырьмя GPU на узел. В отличие от этого LUMI может похвастаться 2560 узлами, работающими на процессорах AMD Epyc, каждый из которых оснащен четырьмя акселераторами AMD Instinct MI250x, всего 10 240 графических процессоров и 20 480 вычислительных ядер (GCDs).