脳の不思議:マガーク効果と腹話術効果について

日刊 English Motivator from HEA 2023年5月6日 Vol.43

みなさんこんにちは!!
ゴールデンウィークも終盤になりました。
今年はどこへも行けませんでしたが、毎朝YOGA+夜は近場の銭湯に行くことができました😻
大したことはできなかったのですが、息子が無類の温泉好きのため、連休中に一緒に行けて良かったです♨️


さてさて今回は「マガーク効果 (mcgurk effect) 」「腹話術効果」という、脳が起こす不思議な現象について書いてみました。
なぜこれを書いたかというと、英語の発音力、リスニング力を鍛えるために少し関係するからです。

既にご存知の方もいるかもしれませんが、マガーク効果とは
「耳で聞こえる音と、目で見える口元の動きの情報が一致しない場合、全く別の第三の音と認識することがある」
という脳の錯覚現象です。

つまり、音だけを聞いたときと、目で口元を見ながら聞いた場合では、違った音として認識されることがあるというのです・・・!

この先に実験動画を紹介していますので、是非ご自身でも試してみてください。
今回の記事は少しマニアックな内容になりますが、ちょっとした小ネタとして楽しんでいただければ幸いです✨

ではこちらの動画を見てみてください。

この動画では、同じ人の顔が左右に並べられ、ある音とともに左右別々に口を動かしています。
左右の画像を見比べると、全く同じ音が聞こえているはずなのに、右と左の口元を見ていると、別々の音が流れていると感じたのではないでしょうか?
皆さんは左右見比べてどんな音が聞こえてきましたか?

私は左の画像を見ると“bar”と聞こえたのに対し、右側の画像を見たら“far”と聞こえました。
またさらに面白いことに、目を閉じたら・・・ある音が聞こえました。

これは我々が英語の発音がマスターできていないから・・・というわけではなく、ネイティブにとっても違った音に聞こえるようです。

さらにこちらをご覧ください。

日本のバラエティ番組がマガーク効果について取り上げたものですね。
この動画は口元は「ba」という動きをしているものの、音声は「ga」という音が流れています。

そのとき目から入った情報と耳から入った情報が違うことで脳が錯覚を起こし、第三の「da」という音が聞こえてくるという映像ですね。

この動画のコメント欄と先に紹介した動画のコメント欄を見比べると、最初の動画の方がマガーグ効果が現れた人が圧倒的に多いことがわかります。

今回の動画は「dadaに聞こえた!」と発言するネイティブもいるなか「どっちもbabaに聞こえる!」と言っている人もわりと多くいるようです。
個人的には、この動画は両方とも全く同じ音「baba」に聞こえましたが。
みなさんは比べてみて何か違いがありましたか?

これらの実験でわかったことは、人間の耳は視覚情報の影響を受けることがあるということです。
まさに脳が起こすイリュージョンと言ってもいいかもしれません。
人間の感覚は耳からの聴覚情報よりも、視覚情報の方を優先する傾向にあるようです。

これと似た脳のトリックとして「腹話術効果」というものもあります。
腹話術効果とは、腹話術師が実際に声を出して話しているというのに、手元の人形が話しているかのように誤認してしまう脳の誤認効果のことをいいます。

つまり、われわれは腹話術師である「いっこく堂」氏が声を出していると分かっていながらも、実際に彼が口元を動かしている人形が喋っているかのように思い込んでしまうのです。
(マガーク効果と同様、脳が音声より視覚を優位にとらえることからおこります)

マガーク効果と腹話術効果で分かることは、「われわれは視覚的な情報を優先してものごとを認知しがちである」ということです。

ちょっと古い話になりますが、歴史上にこの視覚情報の優位性を利用したある戦略家がいます。
舞台はみなさんが生まれる遥か昔(?)の1960年大統領候補選挙演説で民主党ジョン・F・ケネディと共和党リチャード・ニクソンの間で起こった話です。

画像

けっこう有名な話なので「ああ・・・あれか!!」とピンときた方も多いかもしれません。
この演説でとくに話題になったのは、ジョン・F・ケネディ候補が視覚によるイメージ戦略としてテレビメディアを活用し、絶大な効果をあげたことです。

当時のアメリカ大統領選では、ケネディが彼よりも優勢だったリチャード・ニクソンを破って大統領になれたのは、全米で初めて行われたテレビ討論会でのイメージ戦略によるものだったといわれています。

「内容こそが大事である」と考えていたニクソンは、とくに見た目のことは全く気にせず、うすいグレーのスーツにグレーのネクタイを着用し、白黒テレビで見るとぼんやりと背景に溶け込んでいました。

さらに病み上がりだったことから表情も重く、時折ハンカチで汗を拭いたりしていたので、受け答えにうまく答えられず「焦っている」かのような印象を与えました。

一方、ケネディはテレビ用にメークを施し、白黒テレビに映えやすい濃いブルーのスーツと黒いネクタイを着用し、生き生きとした表情をキープしました。

結果は皆さんもご存知のとおり。
この討論会で明らかになったのは、テレビで視聴していた人とラジオで聞いていた人の人々の二人に対するイメージがかなり違っていたことです。

この演説をラジオで聞いた大多数の人々は「ニクソンが優勢だ」と感じたのに対し、同じ討論をテレビで視聴していた多くの人々は「ケネディが優勢だ」と感じました。

当時アメリカで一般的に普及していたテレビを見た視聴者から圧倒的な支持を受け、ケネディが勝利することになったのでした。
このケネディの視覚によるイメージ戦略は後の大統領選挙にも多大な影響を与えました。
(ケネディが勝ったのは彼がイケメンだったというのもかなりプラスに働いてそうですね・・・)

それにしてもわれわれの目(視覚)が与える影響って凄まじいですね。
さて、ここである考えがよぎりました。

もしも、視覚情報が聴覚情報よりも優先されるのであれば、全く音声が聞こえないときに視覚情報をもとに勝手に音声が聞こえてくることもあるのでは・・・?と。
そんなことあるわけない!と思う反面、もしかしたら・・・と調べてみました。

するとなんと・・・私の考えをそっくり具現化した面白い投稿をtwitterで発見したのです。
こちらのtwitter投稿に貼られているGIFを見てみてください。

これは音声が入っていない簡単な動画(GIF)です。
音が入っていないはずなのに、多くの人の脳内では音が再生されるようなのです。

この投稿にはアンケート機能がついており、これによれば、315,483人のうち、約67.3%の人(約21万人)の人が音のついていない画像に「音声が聞こえる」と回答しているのです・・・!

みなさんは何か聞こえてきましたか?
脳が存在しない音を作り出して、本当は聞こえていないのに聞こえるように感じることがあるなんて、本当に不思議ですよね。

今回の記事ははじめは視覚情報と聴覚情報が矛盾するとき、目で見た情報を優先させてしまうということを紹介していましたが、最終的には音がなくとも視覚情報の刺激だけで、存在するはずのない音を作り出すことも可能だということが分かりました。

さらに興味深いことに、視覚による影響力に関しては、個人差があることはもちろん、文化や民族にも深く関わっているようなのです。

熊本大学文学部認知心理学研究室がこの分野の研究をしていますが、同研究室によると、英語圏の人々は相手の口元を見ながら話すことが多く、視覚が音を認定するときに非常に大事な役割を果たすことに対し、日本人は口元を見て音を認識する人が少なく(目を見たり、別のところをみていることが多く)、他の人種よりマガーク効果が現れにくいそうです。

日本人は効果が現れにくいだけでなく、口の動きに視線を集中させると逆に音の判断が遅くなったという研究結果さえあります。

では我々は口元をよく見て意識をしながら会話をすることで、マガーク効果が同じように現れやすくなるか?というと、そういう単純な話でもないようです。

熊本大学ではこれに関する実験を行い、口に注視するように指示を与えたグループと、そうでないグループに差があるかを調べたところ、その結果はそれぞれのグループに変化が現れなかったというのです。

すなわち、この実験から得たことは「口に注視して声を聞く経験は、おそらく幼少の頃から繰り返すことによってのみ、音声処理における視覚と聴覚を結びつける脳内の体制に結実する」ということです(参照:熊本大学 “耳を澄ませて声を「聴く」日本人」”)

つまり、我々が英語や語学を習得する際に、音だけではなく、話者の視覚情報も用いる動画は必ずしも全員にとって効果的ではない可能性があるということがわかります。

逆にいうと、ラジオ英会話や音声学習は侮れない・・・ということとも捉えられます。
これはなかなか考えさせられる結果ですね。

個人的なことですが、この効果についてハッキリ知らない段階からこれまで殆ど音声だけを聞いて発音矯正をしていました。

自分の場合は音を聞いてどのような口の形で発音をしているかが分かることと、実際に発音しているときの画面を見ない方がより正確に矯正できるような気がしていました。

生徒さんに関しては、視覚情報が有効になる方もいらっしゃるので場合によっては画面越しに指導をすることもあるのですが、それでも殆どの方には音声だけで受けていただくことをおすすめしていました。

このマガーク効果について知ったのは大分後になってからですが、これまでの感覚もあり、妙に腹落ちしたことを覚えています。

私にとって効果的に発音力を身につけることにかなり関心があるので、音が脳にどのように影響を与えるか、また他の影響を受けるかについて知れたのはとっても有意義でした。

それにしても人間の脳や認知力ってほんとうに面白いですよね。
われわれが普段認識している感覚は自分の中では「確かなもの」だと思っているのに、それ自体が錯覚の可能性があると知り・・・あれ?自分が普段感じていることって・・・何の影響を受けているんだろう?なんてことが気になったりもしました。

私は耳から得られる情報のみに絞る実験をしたりしています。
たとえばYouTubeとPodcastで全く同じ内容のスピーチを聞いたりすることがあります。

個人的な感想なのですが、Podcastでスピーチを聞いた方が用語やフレーズを早く暗記できるような感覚があります。

対してYouTube動画でスピーチを見た場合、話者の表情に注目するので、スピーチの内容がより強く心に残る感覚もあります。
これに関してはハッキリとしたデータはないのですが・・・。

みなさんはどのように感じますか?
今回はちょっとマニアックな内容でしたよね(笑)
もし好評であれば、今後このような記事も書いていきたいと思います😊

関連動画

Try this bizarre audio illusion! 👁️👂😮 – BBC

McGurk effect – Auditory Illusion – BBC Horizon Clip

熊本大学 “耳を澄ませて声を「聴く」日本人”

https://www.kumamoto-u.ac.jp/daigakujouhou/kouhou/pressrelease/2016-file/release161013.pdf

記事:Miyo a.k.a kiki @miyoEng
わかりやすい発音指導を目指す、英語の音に魅せられた発音講師。
これまで指導してきた生徒は初級者から海外在住研究者、医師、英語講師など上級者も多く、どんなレベルでも対応可。
英検1級。全国通訳案内士(英語)。英語発音指導士®。
レッスン詳細→→→ 講師Miyo紹介ページ  Miyo提供のコース・料金詳細

おわりに

『日刊 English Motivator from HEA』をご購読いただきありがとうございます。

お気に入りの記事を見つけたらぜひとも感想や要望をお送りくださいね。
どんなささいな感想でもかまいません。私たちみんなの励みになります。

ほかにも行ってほしい企画や要望なども随時募集しています。
ぜひとも送ってくださいね。

あて先はこちらです。
weekly.magazine.hea@gmail.com

このメールマガジン・記事をお友だちやお知り合いに広めていただけるとさいわいです。
よろしくお願いいたします。

また明日も元気で会えますように。