Ученые из Института связи Фраунгофера, Института Генриха Герца, HHI в Берлине разработали метод, с помощью которого реалистичное изображение человека может быть передано в виртуальный мир; и, как и в научно-фантастических фильмах, изображение получается полноразмерным и трехмерным. Изображение можно рассматривать с разных сторон, и зритель может даже обойти его — как в фильме. До сих пор это было невозможно; даже у виртуальной реальности (VR) есть свои пределы. Людей можно представить в виде искусственных трехмерных моделей (так называемых аватаров), которые можно увидеть, когда зритель надевает очки виртуальной реальности.
Тем не менее, эти искусственные фигуры не имеют естественного вида и естественного движения. Другой вариант — воспроизвести видеоизображение человека спереди в очках VR. Однако зритель не может обойти изображение. В результате вся сцена выглядит искусственно при движении по виртуальному миру.
Человек всегда поворачивает к зрителю свой двухмерный фронт.20 стереокамерНапротив, исследователи HHI усовершенствовали трехмерное изображение.
Для этого они разработали систему камеры, которая снимает человека. Ядром этой системы является стереокамера: так же, как люди делают с двумя глазами, камера записывает человека с двумя линзами. Такое стереоскопическое зрение позволяет хорошо оценить расстояния, потому что оба глаза смотрят на объект под немного другим углом. Результат — трехмерное впечатление.
Для детальной записи человека со всех сторон требуется более одной камеры. «В настоящее время мы используем более 20 стереокамер, чтобы отобразить человека», — говорит Оливер Шрир, руководитель исследовательской группы Immersive Media. Коммуникация »в HHI.
Каждая камера фиксирует только часть человека. Задача состоит в том, чтобы объединить изображения отдельных камер вместе, чтобы получить реалистичное общее изображение.Система включает в себя больше, чем просто камеру.
Исследователи разработали алгоритмы, которые могут быстро извлекать информацию о глубине из изображений стереоскопической камеры. Это необходимо для расчета трехмерной формы захваченного человека.
Компьютер вычисляет виртуальную модель человека, которая затем переносится в виртуальную сцену. Камеры воспринимают форму поверхности с множеством деталей.
Таким образом даже небольшие морщинки, например, на одежде человека, могут быть показаны. Модель имеет естественный и реалистичный вид.«При разработке этих алгоритмов особое внимание было уделено тому, чтобы они работали эффективно и быстро, поэтому движения партнеров по диалогу можно очень быстро преобразовать в динамическую модель», — говорит Шреер, поскольку это единственный способ, которым движения будут выглядеть естественный.
Изображения с одной пары камер можно обрабатывать в реальном времени.Показывая каждый жестОбъединение трехмерной информации с различных изображений с камеры занимает несколько секунд.
Однако иллюзия уже отработана. Система быстро передает трехмерную динамическую модель человека в виртуальную реальность.
Человек может свободно перемещаться в выделенной зоне захвата. Виртуальное изображение реалистично передает каждый жест и движение. «Наша цель состоит в том, чтобы в будущем реалистичная копия изображения человека могла напрямую взаимодействовать с виртуальным миром — например, позволять ему захватывать виртуальные объекты», — говорит Шрир.В будущем новую систему камер планируется использовать и для других областей применения. Например, исследователи работают над приложением для виртуальной видеоконференцсвязи.
Его также можно использовать для информационно-развлекательных приложений. Вместо пассивного фронтального просмотра телезритель мог бы непосредственно участвовать в сцене фильма с помощью очков виртуальной реальности. Зритель мог бы не только увидеть трехмерное изображение сцены по телевизору, но и виртуально прогуляться внутри нее и, например, стать частью приключений своих фантастических героев.
Альтернатива отслеживанию движения«Мы также можем представить установку системы камер в разных местах небольших студий», — говорит Шрер. «Кинопродюсеры могли использовать его для более простой передачи движения актеров в сценах, чем когда-либо прежде». Пока это обходится очень дорого. Как правило, движения актера записываются с использованием метода отслеживания движения. В рамках этого процесса лицо и тело актера помечаются маленькими точками.
Компьютер отслеживает движение точек и преобразует его в созданное компьютером искусственное изображение актера — например, звезду боевиков, прыгающую с небоскреба на небоскреб. Однако с помощью отдельных маркерных точек методы отслеживания движения могут обнаруживать движения и, особенно, мимические выражения лица очень неточно или с очень большими техническими усилиями. Это означает, что художникам, занимающимся компьютерной графикой, потребуется много пост-обработки, пока сцена не станет более реалистичной. «Однако с помощью нашей системы камер наша цель состоит в том, чтобы представить человека и его движение в будущем с гораздо большей детализацией», — говорит Шреер.В настоящее время исследователи совершенствуют свою систему камер и сопутствующее программное обеспечение для анализа.
Пока неизвестно, сделают ли они оба этих продукта доступными в качестве услуги или передадут их производственным компаниям по лицензии.