Аниме, японское искусство анимации, включает в себя нарисованные от руки эскизы в абстрактной форме с уникальными характеристиками и преувеличениями реальных объектов. Хотя генеративный искусственный интеллект (ИИ) нашел применение в создании контента, такого как аниме-портреты, его использование для усиления человеческого творчества и управления рисованием от руки оказывается сложной задачей.
Основная проблема заключается в генерации подходящих эталонных изображений, соответствующих незавершенным и абстрактным штрихам, сделанным в процессе рисования от руки. Это особенно актуально, когда штрихи, созданные в процессе рисования, неполные и не дают достаточно информации для генеративного ИИ, чтобы предсказать окончательную форму рисунка.
Чтобы решить эту проблему, исследовательская группа из Японского института передовых наук и технологий (JAIST) и Университета Васэда в Японии разработала новый генеративный инструмент ИИ, который предлагает поэтапную помощь в рисовании и помогает генерировать аниме-портреты из набросков от руки.
Инструмент основан на обучении по принципу «эскиз-изображение» (S2I) с использованием глубокого обучения, которое сопоставляет необработанные эскизы со скрытыми векторами генеративной модели. Он использует двухэтапную стратегию обучения на основе предварительно обученной Style Generative Adversarial Network (StyleGAN) — передовой генеративной модели, использующей состязательные сети для генерации новых изображений.
Группа под руководством доктора Чжэнъю Хуана из JAIST, включая доцента Хаоран Се и профессора Кадзунори Мията, а также преподавателя Цукасу Фукусато из Университета Васэда, предложила в латентном структурном коде StyleGAN новую стратегию «распутывания на уровне штрихов», которая связывает входные штрихи свободного наброска с атрибутами, связанными с краями.
Такой подход позволяет пользователям манипулировать параметрами атрибутов, тем самым обеспечивая большую автономию над свойствами генерируемых изображений. Доктор Хуан говорит: «Мы ввели в StyleGAN стратегию обучения на уровне штрихов, которая позволяет автоматически сопоставлять грубые эскизы с редкими штрихами с соответствующими локальными участками на аниме-портретах, не требуя при этом семантических меток».
Это исследование будет представлено на ACM SIGGRAPH 2023, ведущей конференции по компьютерной графике и интерактивным техникам и единственной конференции с рейтингом CORE уровня A* в соответствующих областях исследований во всем мире.
Что касается разработки инструмента, доцент Се добавляет: «Сначала мы обучили кодировщик изображений, используя предварительно обученную модель StyleGAN в качестве учителя-кодировщика. На втором этапе мы имитировали процесс рисования сгенерированных изображений без дополнительных данных для обучения кодировщика эскизов для неполных прогрессивных эскизов. Это помогло нам генерировать высококачественные портретные изображения, которые согласуются с распутанными представлениями кодировщика-учителя».
Чтобы еще больше подчеркнуть эффективность и удобство использования AniFaceDrawing для помощи пользователям в создании аниме-портретов, команда провела исследование с участием пользователей. Они пригласили 15 аспирантов нарисовать цифровые портреты в стиле аниме от руки с использованием инструмента AniFaceDrawing, с возможностью переключения между режимами грубых и детальных подсказок для линейного рисунка.
В то время как первый предоставлял подсказки для конкретных частей лица, последний предоставлял подсказки для полного портрета лица на основе прогресса рисования пользователя. Участники могли закрепить сгенерированную подсказку, как только она соответствовала их ожиданиям, и дальше уточнять свой входной эскиз. Этот инструмент также позволял участникам выбрать опорное изображение для генерации цветного портрета их входного эскиза. Затем они оценили инструмент по удовлетворенности пользователя и соответствию подсказок через опрос.
Команда отметила, что система последовательно обеспечивала высококачественные подсказки для лица и эффективно поддерживала создание портретов в стиле аниме, не только улучшая пользовательские эскизы, но и генерируя желаемые соответствующие цветные изображения. Профессор Фукусато отмечает: «Наша система могла успешно превратить грубые эскизы пользователя в высококачественные аниме-портреты. Исследование пользователей показало, что даже новички могут делать разумные эскизы с помощью системы и получать в итоге высококачественные цветные художественные рисунки».
«Наша генеративная ИИ-система позволяет пользователям, независимо от их уровня навыков и опыта, создавать профессиональные аниме-портреты даже из неполных рисунков. Наш подход последовательно производит результаты генерации изображений высокого качества на протяжении всего процесса создания, независимо от порядка рисования или насколько плохи первоначальные эскизы», — резюмирует профессор Мията.
В долгосрочной перспективе эти выводы могут помочь демократизировать технологию ИИ и помочь пользователям с творческими задачами, тем самым увеличивая их творческий потенциал без технологических барьеров.