Распространение недорогих по цене налобных дисплеев виртуальной реальности предоставляет пользователям реалистичный зрительный опыт с эффектом присутствия. Но дисплеи, закрепленные на голове, закрывают верхнюю половину лица пользователя и мешают распознаванию перемещений лица по всему лицу. Для решения данной проблеме профессор компьютерных наук Бингемтонского университета Лицзюнь Инь и его команда создали новую структуру, которая интерпретирует жесты рта как среду для сотрудничества в виртуальной реальности в настоящем времени.Команда Инь протестировала приложение на группе аспирантов.
В то время, когда пользователь надевал на голову дисплей, ему была представлена ??упрощенная игра; Целью игры было совершить аватара игрока по лесу и съесть как вероятно больше пирожных. Игроки должны были выбирать направление собственного перемещения, используя вращение головы, двигаться, используя жесты рта, и имели возможность имеется торт, только радуясь. Совокупность смогла обрисовать и классифицировать перемещения рта пользователя и достигла высоких показателей верного распознавания.
Совокупность также была продемонстрирована и проверена при помощи приложения виртуальной реальности в настоящем времени.«Мы сохраняем веру сделать это применимо более чем к одному человеку, быть может, двум. Поразмыслите об интервью и общении по Skype», — сказал Инь. «Представьте, что вы показались в одном геометрическом пространстве лицом к лицу, и компьютерная программа может действенно изобразить выражение вашего лица и воспроизвести его так, чтобы оно смотрелось настоящим».Без оглядки на то, что разработка все еще находится на стадии прототипа, Инь не сомневается в том, что его разработка применима во множестве областей.
«Виртуальный мир рекомендован не только для развлечения. К примеру, здравоохранение использует виртуальную реальность для помощи больным с ограниченными возможностями», — сказал Инь. «Медицинские работники или помимо этого воины смогут проходить тренировки, каковые невозможно выполнить в действительности. Эта разработка разрешает сделать опыт более реалистичным».Студенты Умур Айбарс Чифтчи и Син Чжан внесли свою лепту в это изучение.
Документ «Распознавание и взаимодействие частично закрытого лица в приложениях виртуальной реальности» был представлен на Интернациональной конференции по мультимедиа и выставкам IEEE 2017 года.