Это комбинированный опыт дополненной и смешанной действительности, но не тот, что предполагает ношение наголовного дисплея или использование портативного устройства. Вместо этого, окружение оснащено инструментами, а не индивидуумом, что разрешает людям делиться чудесным опытом как пара.Люди, сидящие на Magic Bench, смогут видеть себя в зеркальном изображении на большом экране перед собой, создавая точку зрения от третьего лица. Сцена реконструируется с применением датчика глубины, что разрешает участникам фактически занимать то же трехмерное пространство, что и созданный компьютером персонаж или объект, вместо того, чтобы накладывать один видеопоток на другой.
«Эта платформа формирует мультисенсорный иммерсивный опыт, в котором пара может напрямую взаимодействовать с анимированным персонажем», — сказал Моше Малер, основной цифровой художник Disney Research. «Отечественной мантрой для этого проекта было: услышать приближение персонажа, подметить, как он входит в пространство, и почувствовать, как он сидит рядом с вами».Исследовательская пара представит и продемонстрирует Magic Bench на SIGGRAPH 2017, конференции по компьютерной графике и интерактивным методам, которая начнется 30 июля в Лос-Анджелесе.Исследователи использовали датчик глубины и цветную камеру для трехмерной реконструкции скамейки, окружающей обстановки и участников с текстурой HD-видео в настоящем времени. Способ реконструирует сцену, согласовывая эти камеры RGB с информацией датчика глубины.
Чтобы устранить тени от глубины, каковые появляются в регионах, где датчик глубины не имеет прямой видимости с цветной камерой, модифицированный способ формирует двухмерный фон. Трехмерные и двухмерные реконструкции находятся в виртуальном пространстве и заполняются трехмерными персонажами и эффектами так, что результирующий рендеринг в настоящем времени представляет собой бесшовную композицию, целиком и полностью гениальную взаимодействовать с виртуальной физикой, светом и тенями.«Сама скамья играется решающую роль», — сказал Малер. «Он не только содержит тактильные приводы, но и элегантно ограничивает для нас пара проблем. Мы знаем местоположение и количество участников и можем сделать вывод об их взгляде.
Он формирует сцену с передним и задним планами, с сидящие участники на среднем уровне. Он помимо этого служит в качестве контролера; опыт смешанной действительности не начинается, пока кто-то не сядет, а различные группы людей, сидящих на сиденье, не создадут разные типы переживаний ».
Прекрасная скамья — это работа большой группы исследователей Disney Research. Не считая Малера, в него входят Кина Макинтош, Джон Марс, Джеймс Провале, Джим Макканн, Александр Ривера, Джейк Марсико, Али Исрар и Шон Лоусон.