Во время третьего совместного заседания Американского акустического общества и Европейской акустической ассоциации, которое состоится 25-29 июня в Бостоне, штат Массачусетс, во время Acoustics ’17 Boston, Иван Дж. Ташев и Ханнес Гампер совместно с группой Microsoft Audio and Acoustics Research Group проведут объясните, как они используют передаточные функции, связанные с головой (HRTF), для создания иммерсивной звуковой среды.
HRTF — это диаграммы направленности человеческого уха, и, поскольку каждый человек уникален, захват HRTF человека эквивалентен снятию отпечатков пальцев. Уши каждого человека уникальны, поэтому отпечаток анатомии одного человека на звуке полностью отличается от отпечатка анатомии другого человека.«Звук взаимодействует не только с пространством, но и с самим слушателем», — сказал Гампер. Звук не попадает прямо в ухо слушателя.
Он взаимодействует с формой головы, плеч и ушей слушателя. «Все физические взаимодействия со звуком создают этот уникальный акустический отпечаток пальца, который мозг обучен понимать или декодировать», — сказал Гампер. «Этот отпечаток хранится в HRTF».Используя базу данных измерений HRTF от 350 человек, самую большую такую ??базу данных HRTF, Ташев, старший архитектор проекта, и Гампер, исследователь, работают над созданием более персонализированной, иммерсивной звуковой среды. В смешанной реальности, где цифровое изображение запечатлено в вашей реальной среде, эта технология добавит звук к этому изображению.
Если в углу комнаты есть дракон, вы его не только увидите, но и услышите.«Чтобы создать иллюзию пространственного звука где-то в космосе, мы должны обмануть мозг», — сказал Гампер.В работе Ташева и Гампера есть три основных компонента: пространственный звук, отслеживание головы и персонализация пространственного слуха. Пространственный звук — это концепция фильтрации звука, исходящего из определенного измерения.
При отслеживании головы звук меняется по мере того, как слушатель двигает головой. Пространственный слух, способность определять направление звука уникален для каждого человека.
Третий — персонализация пространственного слуха: способность определять направление звука.«За счет этих трех компонентов наша пространственная аудиосистема и пространственные фильтры слуха улучшают восприятие пользователя, чтобы он мог сказать:« Да, этот звук пришел оттуда! »», — пояснил Ташев.«Вся цель персонализации — сделать [опыт] более убедительным, сделать его более точным, а также в конечном итоге улучшить его качество», — сказал Ташев.
Чтобы эта персонализация работала, исследователям требуется много данных. Все 350 человек в их базе данных HRTF имели трехмерное сканирование с высоким разрешением, которое включало детали вокруг ушей, головы и туловища. Для меньшего количества данных, но все же большого объема персонализации, исследователи могут запросить определенные пользовательские показатели, такие как высота головы, глубина и ширина, а затем выполнить поиск в своей базе данных из 350 человек для поиска близкого соответствия.
В конце концов, по их словам, можно будет взять одно изображение с камеры глубины или XBox Kinect и использовать модели для сопоставления шаблона из трехмерного сканирования этого изображения.«Мы заботимся о том, чтобы положительно влиять на жизнь людей», — сказал Ташев.