Известно, что визуальная речевая информация, такая как движение губ, влияет на восприятие голосовой информации ушами при разговоре с кем-то лицом к лицу. Например, движение губ может помочь человеку лучше слышать в шумных условиях.
Напротив, дублированный контент из фильма, в котором движение губ противоречит голосу говорящего, создает у слушателя иллюзию того, что он слышит другой звук. Эта иллюзия называется «эффектом МакГерка».Согласно анализу предыдущих поведенческих исследований, носители японского языка не подвержены влиянию визуальных движений губ в такой степени, как носители английского языка. Для дальнейшего изучения этого явления исследователи из Университета Кумамото измерили и проанализировали паттерны взгляда, мозговые волны и время реакции для идентификации речи между двумя группами из 20 носителей японского языка и 20 носителей английского языка.
Разница была очевидна. Когда естественная речь сочетается с движением губ, носители английского языка сосредотачивают взгляд на губах говорящего еще до того, как издается какой-либо звук. Однако взгляд носителей японского языка не так пристально.
Кроме того, носители английского языка могли быстрее понимать речь благодаря сочетанию звуковых и визуальных сигналов, тогда как носители японского языка демонстрировали задержку понимания речи при движении губ."Носители английского языка пытаются сузить круг кандидатов на входящие звуки, используя информацию из губ, которая начинает двигаться за несколько сотен миллисекунд до начала вокализации.
Носители японского языка, с другой стороны, делают упор только на слух, а визуальная информация кажется "требуется дополнительная обработка", — пояснил профессор Университета Кумамото Каору Сэкияма, возглавляющий исследование.Затем исследователи из Университета Кумамото объединились с исследователями из Медицинского университета Саппоро и Международного института перспективных телекоммуникационных исследований (ATR) Японии для измерения и анализа паттернов активации мозга с помощью функциональной магнитно-резонансной томографии (фМРТ). Их целью было выяснить различия в активности мозга между двумя языками.
Функциональная взаимосвязь в мозге между областью, отвечающей за слух, и областью, отвечающей за визуальную информацию о движении, первичной слуховой и средней височной областями соответственно, была сильнее у носителей английского языка, чем у носителей японского языка. Этот результат убедительно свидетельствует о том, что слуховая и визуальная информация связаны друг с другом на ранней стадии обработки информации в мозгу говорящего по-английски, тогда как ассоциация устанавливается на более позднем этапе в мозгу говорящего по-японски. Было показано, что функциональная связь между слуховой и визуальной информацией и способ, которым два типа информации обрабатываются вместе, явно различаются между двумя носителями языка.«Было сказано, что видеоматериалы дают лучшие результаты при изучении иностранного языка.
Однако также сообщалось, что видеоматериалы не имеют очень положительного эффекта для носителей японского языка», — сказал профессор Секияма. «Возможно, существуют уникальные способы, которыми японцы обрабатывают аудиоинформацию, которые связаны с тем, что мы показали в нашем недавнем исследовании, которые стоят за этим явлением».Эти результаты были опубликованы в журнале Scientific Reports.