Глубокие нейронные сети генерируют большую часть захватывающего прогресса, связанного с генеративным ИИ. Но их архитектура опирается на конфигурацию, которая является виртуальным барьером, гарантируя, что максимальная эффективность не может быть достигнута.
Нейронные сети, построенные с отдельными блоками для памяти и обработки, сталкиваются с высокими требованиями к системным ресурсам для связи между двумя компонентами, что приводит к снижению скорости и снижению эффективности.
IBM Research пришла к лучшей идее, обратившись к идеальной модели для вдохновения создания более эффективного цифрового мозга: человеческому мозгу.
В статье «A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference», опубликованной в Nature Electronics 10 августа, исследователи IBM заявили, что они применили новый подход к современному чипу искусственного интеллекта со смешанным сигналом, который обещает повысить эффективность и снизить расход заряда батареи в проектах ИИ.
«Человеческий мозг способен достичь замечательной производительности, потребляя при этом мало энергии», — сказал один из соавторов исследования Танос Василопулос из исследовательской лаборатории IBM в Цюрихе, Швейцария.
Действуя аналогично тому, как синапсы взаимодействуют друг с другом в мозге, чип смешанных сигналов IBM имеет 64 аналоговых ядра в памяти, каждое из которых содержит массив синаптических клеток. Преобразователи обеспечивают плавные переходы между аналоговым и цифровым состояниями.
Чипы, по данным IBM, достигли точности 92,81% в наборе данных CIFAR-10, широко используемой коллекции изображений, используемых при машинном обучении.
«Мы демонстрируем точность, близкую к программному эквиваленту, с помощью ResNet и сетей с долгой краткосрочной памятью», — сказал Василопулос. ResNet, сокращение от «остаточная нейронная сеть», представляет собой модель глубокого обучения, которая позволяет проводить обучение на тысячах слоев нейронной сети без снижения производительности.
«Для достижения комплексного снижения задержки и энергопотребления AIMC должен сочетаться с цифровыми операциями на кристалле и коммуникациями на кристалле», — заявил Василопулос. «Здесь мы представляем многоядерный чип AIMC, разработанный и изготовленный по 14-нм комплементарной металлооксидной полупроводниковой технологии со встроенной памятью на основе фазового перехода».
По словам Василопулоса, благодаря такой улучшенной производительности «большие и более сложные рабочие нагрузки могут выполняться в средах с низким энергопотреблением или с ограниченным энергопотреблением». Это будет включать в себя мобильные телефоны, автомобили и камеры.
«Кроме того, облачные провайдеры смогут использовать эти чипы для снижения затрат на электроэнергию и их углеродного следа», — сказал он.
IBM заявила, что с будущими улучшениями в цифровых схемах, позволяющими передавать активацию от уровня к уровню, и промежуточное хранение активации в локальной памяти позволит выполнять полностью конвейерные рабочие нагрузки сквозного вывода на этих чипах.
В своем личном блоге, обсуждая последнее достижение IBM, Василопулос сказал: «Благодаря этой работе многие компоненты, необходимые для полной реализации перспектив Analog-AI для производительного и энергоэффективного ИИ, были проверены на кристаллах».
Он предложил технический обзор чипа в отдельной статье под названием «Analog in-memory computing coming of age», опубликованной в журнале Electrical and Electronic Engineering 10 августа.
Назвав чип «первым в своем роде», он описал его как «полностью интегрированный вычислительный чип смешанного сигнала в памяти, основанный на встроенной памяти на основе фазового перехода (PCM) по 14-нм комплементарной металлооксидной полупроводниковой технологии (CMOS)».
Далее определяя проект, он сказал: «Чип состоит из 64 ядер AIMC, каждое из которых имеет массив памяти из 256×256 элементарных ячеек. Элементарные ячейки состоят из четырех устройств PCM, что в общей сложности составляет более 16 миллионов устройств. В дополнение к массиву аналоговой памяти, каждое ядро содержит легкий цифровой процессор, выполняющий функции активации, накопления и масштабирования.