Ученые-компьютерщики из Тель-Авивского университета в сотрудничестве с исследователями Facebook разработали новую вычислительную технику, которая позволяет пользователям очень реалистично анимировать неподвижные изображения. Метод позволяет оживить объекты на неподвижной фотографии и выразить различные эмоции. Например, когда пользователь «лайкает» фотографию на Facebook или ставит отметку «большой палец вверх», выражение лица его или ее фотографии профиля может автоматически отреагировать улыбкой или выразить эмоцию одобрения или счастья. Исследователи демонстрируют свою технику на различных изображениях лиц, включая селфи, старые портреты и лицевые аватары.
Их результаты позволили показать ожившие портреты, изображающие человека на фотографии так, как будто он действительно дышит, например, улыбается или хмурится.«Выражения лица у людей передают не только основные эмоции, но и тонкие вариации, довольно тонкое представление об эмоциональном состоянии человека», — сказал Хадар Авербух-Элор, доктор компьютерных наук из Тель-Авивского университета и ведущий автор исследования. . «Эту выразительность мы пытаемся уловить и оживить в своей работе».Соавторами исследования «Создание портретов» являются Дэниел Коэн-Ор, профессор компьютерных наук в Тель-Авивском университете, и ученые-исследователи Facebook Майкл Ф. Коэн и Йоханнес Копф.
Команда представит свои инновационные работы на выставке SIGGRAPH Asia 2017 в Бангкоке с 27 по 30 ноября. На этой ежегодной конференции и выставке представлены ведущие мировые профессионалы, ученые и творческие люди, занимающие передовые позиции в области компьютерной графики и интерактивных технологий.
На основе одного изображения метод исследователей автоматически генерирует фотореалистичные видеоклипы, которые выражают различные эмоции. Предыдущие методы лицевой анимации обычно предполагают наличие видео с целевым лицом, которое демонстрирует различные позы и выражения. В этой работе исследователи используют в качестве входных данных только одно изображение лица цели для его анимации.
«Это делает наш метод более применимым к почти бесконечному количеству портретов и селфи в Интернете», — пояснил Коэн. «Мы анимируем одно целевое изображение лица из видео о вождении, позволяя целевому изображению — неподвижной фотографии — оживать и имитировать выразительность объекта в видео вождения».С этой целью целевое изображение на неподвижной фотографии анимируется серией геометрических деформаций, имитирующих преобразования лица в видео вождения. Предыдущие работы пока ограничивались анимацией только области лица, но, в определенных пределах, этот новый метод может анимировать всю голову и верхнюю часть тела. Исследователи манипулируют лицом с помощью легких 2D-деформаций и могут создавать умеренные движения головы, которые отображаются очень реалистично, без необходимости конвертировать или проецировать изображение в 3D.
Технически, по словам исследователей, основная задача заключалась в том, чтобы сохранить личность человека на неподвижной фотографии, манипулируя им с помощью деформаций и черт, взятых и перенесенных из кадров видео вождения.Новый метод также включает непрерывную передачу мелкомасштабных деталей, таких как морщины и складки на лице, избегая при этом так называемых «выпадающих» морщин, которые возникают из-за отбрасываемых теней или несовпадения искаженных видеокадров.
При необходимости их вычислительная техника также может автоматически заполнять «скрытые» детали лица. Например, внутренняя часть рта может быть изображена, даже если рот человека на целевой фотографии закрыт.В пользовательском исследовании участникам было представлено 24 случайно выбранных видео, восемь из которых были настоящими.
Их попросили оценить их как настоящие или ненастоящие в зависимости от того, как выглядела анимация, что означает, что 50 процентов будут идеальной оценкой. Анимационные видеоролики исследователей были определены как настоящие в 46% случаев. «Счастливые» анимации воспринимались как самые настоящие (идентифицировались как настоящие в 58% случаев), а «неожиданные» — как менее реальные (идентифицировались как настоящие в 37% случаев).
В будущем команда намерена продолжить эту работу, объединив свою технику с 3D-методами или соединив ее с искусственным интеллектом для создания интерактивного аватара, начиная с одной фотографии.