NICT、感覚入力のタイミングを知覚するための神経機構を解明、VRやARへの活用も可能に

NICT 脳情報通信融合研究センター（CiNet）の天野薫主任研究員らは、ヒトは光や音が意識に上るより前の時点に遡って、そのタイミングを知覚していることを発見した。

視覚、聴覚等の様々な感覚情報から成る外界の知覚は、それぞれの感覚情報が脳内の別々の経路で処理された後、統合されることによって生じる。その情報統合において、タイミングの情報は重要な手がかりとなる。例えば、ボールが壁に当たった際の視覚情報と音情報は脳内で別々に処理されますが、両者がほぼ同時に生じることからそれらの対応関係を認識できるわけだ。光や音が生じたタイミングの知覚は、その知覚に要する時間（光が見えた瞬間あるいは聞こえた瞬間）とは必ずしも一致しないが、その脳内メカニズムは分かっていなかった。

NICTは今回、脳磁計（Magnetoencephalography: 　MEG）による非侵襲脳計測と心理物理計測を組み合わせた実験を行うことで、タイミング知覚のメカニズムを解明しようと試みた。被験者は、多数のドットがランダムに動いている画面から、ドットの一部（その割合をコヒーレンスと呼ぶ。）が右又は左に動く画面に切り替わる動画を見ながら、二つの課題を行った。

単純反応課題では、右又は左の運動が見えたら、できるだけ早くボタン押しによって回答し、同時性判断課題では、運動が見えたタイミングと、その前後に鳴った音とが同時であるか否かを回答した。前者は、運動が知覚に上るまでの時間を、後者は、運動が生じたタイミングの知覚を調べることができる。その結果、前者の反応時間はコヒーレンスの減少とともに大きく増大するのに対して、同時性判断はあまり影響を受けなかった。

運動が切り替わる際の脳活動をMEGによって計測し、脳活動から二つの行動指標の説明を試みた結果、運動の知覚に要する時間（単純反応課題で測定）と、運動が生じた時間の知覚（同時性判断課題で測定）は、いずれも感覚入力に対する脳活動の積分信号が閾値を超えた時間によって説明可能であることが分った。

両者の違いは、同時性判断の閾値が単純反応よりも低いことだった。すなわち、視覚入力や聴覚入力が生じたタイミングは、これらの入力が知覚された瞬間より前の時間に遡って知覚されている（過去から未来を推定するプリディクションと対比してポストディクションと呼ばれる）ことが示唆されたことになる。

光や音に気付いた瞬間と、それらが生じたと感じるタイミングが異なるというのは一見直感に反するが、上述のように、タイミングの情報を正確に知覚することは情報の統合において不可欠であり、より早い時間帯に刺激の強度などにあまり依存しないタイミング情報を取得することは合理的なメカニズムであると考えられる。

光や音が生じたタイミングの知覚は冒頭に述べたように、視覚と聴覚の情報を結び付ける上でも非常に重要で、今回得られた成果は、テレビ通話や仮想現実（Virtual Reality: VR）、拡張現実（Augmented Reality: AR）などにおける音声と画像の遅延の許容範囲の解析などに応用が可能だという。