Komunikacja: to co widzimy wpływa na to co słyszymy

- W twarzą w twarz język to znacznie więcej niż mowa - mówi Hans Rutger Bosker z Instytutu Maxa Plancka. - Mówcy używają różnych środków (ust, dłoni i twarzy), aby przekazać wiadomość. Chcieliśmy zrozumieć, w jaki sposób ludzie wykorzystują te różne strumienie informacji, kiedy kogoś słuchają - dodaje. W znanej iluzji zwanej „efektem McGurka", ludzie słyszą dźwięk (jak „b" w „ba") jako inny dźwięk (na przykład „pa" lub „fa"), w zależności od ruchów ust, które widzą. Zastanawiano się jednak, czy istnieje również „ręczny" efekt McGurka? Czy to, co słyszymy, zależy od gestów, które obserwujemy?

Eksperci wybrali zestaw holenderskich słów, które różniły się jedynie schematem akcentowania. Na przykład słowo „PLAto" (czyli Platon) - z akcentem na pierwszą sylabę - odnosi się do filozofa ze starożytnej Grecji. Jednak „plaTO", wymawiane z akcentem na drugą sylabę, dotyczy plateau (czyli płaskowyżu lub czasu stabilizacji). Uczestnicy obejrzeli film, na którym badacz wypowiada słowa (z niejednoznacznym akcentem) podczas wykonywania rytmicznych i musieli zdecydować, czy usłyszeli PLAto czy plaTEAU.

Słuchacze częściej słyszeli akcent na sylabie, gdy jej wypowiadaniu towarzyszył rytmiczny gest. Ten „ręczny efekt McGurka" wystąpił zarówno w przypadku słów, jak i nie-słów (np. wypowiadaniu „BAAGpif" lub „baagPIF"?). Co jeszcze bardziej zaskakujące, gesty rytmiczne wpływały na to, jakie samogłoski słyszeli ludzie (długie lub krótkie „a" w „baagpif / bagpif"), ponieważ długość samogłoski zwykle ma związek ze sposobem akcentowania.

- Słuchacz słucha nie tylko uszami, ale także oczami - mówi Hans Bosker. - Te odkrycia są pokazują, że rytmiczne gesty wpływają na to, jakie dźwięki mowy słyszysz - dodaje. Według ekspertów efekt rytmicznych gestów może być jeszcze większy w prawdziwym życiu. W hałaśliwych warunkach akustycznych mogą być jeszcze ważniejsze dla skutecznej komunikacji.

- Nasze odkrycia mogą poprawić interakcję człowiek-komputer i ulepszyć multimodalne systemy rozpoznawania mowy. Jak się wydaje, takie systemy powinny uwzględniać coś więcej niż tylko mowę. Będziemy dalej analizować, wykorzystując wirtualną rzeczywistość, na ile specyficzne są te efekty - czy są one wywoływane tylko przez gesty, czy też przez inne rodzaje komunikatów, takie jak kiwanie głową i ruchy brwi - zapowiada Hans Bosker.