物をつかむ際の“触覚情報と視覚情報が統合される脳内メカニズム”を特定
脳機能の知見を活用したマルチモーダル情報のXR技術･AI技術の実現に期待
2025年4月22日
国立研究開発法人情報通信研究機構（NICT）
ポイント
■ 手で物をつかむ際に“指を動かして感じる触覚情報”と“指の動きの視覚情報”が脳内で統合されるメカニズムを世界で初めて特定
■ 高磁場のfMRI装置に持ち込める力覚提示デバイスを独自開発することで、触覚と視覚の情報統合に関わる脳内ネットワークの一端を解明
■ 脳機能の知見を活用した効果的･効率的なマルチモーダル情報のXR技術･AI技術の実現に期待
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）ユニバーサルコミュニケーション研究所（UCRI）及び未来ICT 研究所脳情報通信融合研究センター（CiNet）は、手で物をつかんでその硬さ･柔らかさを感じ取るといった能動的な触知覚（アクティブタッチ）において、“指を動かして感じる触覚情報”と“指の動きの視覚情報”が統合される脳内メカニズムを機能的磁気共鳴撮像法（fMRI）実験により世界で初めて特定しました。
今回の実験では、fMRI装置内の高磁場に影響されない力覚提示デバイスを独自に開発することで、触覚情報と視覚情報を独立に操作することが可能になり、異種感覚情報（異なる感覚器官からの情報）の整合性判断と統合に関わる脳内ネットワークの一端を解明することに成功しました。
このような脳機能の知見をマルチモーダル情報のXR技術やAI技術の開発に活用することにより、実在感や行為の主体感が感じられるXR空間の効率的な構築や人に共感し人と協調するAI技術の実現が期待されます。
本成果は2025年3月5日（水）に、米国科学雑誌「Imaging Neuroscience」にオンライン掲載されました。
背景
視覚･聴覚･触覚等の五感情報を含むマルチモーダル情報を統合して活用する技術の実現が期待されていますが、ユーザにとって効果的かつ効率的な技術はまだ十分には確立されていません。その要因の一つとして、ヒトの脳内でこれらの異なる感覚器官からの情報がどのように統合･処理されているかに関して未解明な点が多いことが挙げられます。
今回の成果
今回、アクティブタッチにおいて、“指を動かして感じる触覚情報”と“指の動きの視覚情報”が統合される脳内メカニズムをfMRI実験により世界で初めて特定しました。
今回の実験では、fMRI装置の高磁場に影響されない力覚提示デバイスを独自に開発･活用することで、触覚情報と視覚情報を独立に操作して提示することが可能になり、これらの異種感覚情報の整合性判断と統合に関わる脳内ネットワークの一端を解明することに成功しました。
これらの実験では、実験参加者に、指の動きを示すバーを見ながら、力覚提示デバイスのプレートを親指と人差し指でつかむ動作を行ってもらい、硬さの知覚判断を行ってもらいました（図1 a参照）。その結果、実験参加者が指を動かして知覚する「硬さ」は、力覚提示デバイスが実際に指に与える触覚情報だけでなく、 指の動きの視覚情報にも影響されることが行動実験により定量的に示されました。
図1 a. fMRIの実験環境、b. 視覚情報と触覚情報の統合に関連した脳部位
第一のfMRI実験では、触覚情報と視覚情報を単独で提示する条件より、視覚と触覚の両者を提示した条件で活動が高まる脳部位が特定され、その部位で視覚と触覚の統合処理が行われている可能性が示されました（図1 b参照）。
第二のfMRI実験では、触覚と視覚が不整合な時より、整合している時に活動が高まる脳部位が特定されました（図2 a参照）。
さらに、動的因果モデリング（DCM: Dynamic Causal Modeling）の手法を用いてこれらの脳部位間のネットワークを解析した結果、視覚情報と触覚情報の整合性判断に関わる脳部位（MCC）から、触覚処理に関わる脳部位（S1･PO）への情報の流れが示されました（図2 b参照）。これにより、触覚情報のボトムアップ処理に対して、視覚と触覚が一致しているか否かの整合性判断のトップダウン情報が関与する可能性が明らかになりました。
図2 a. 動的な視覚情報と触覚情報が整合している場合に活動する脳部位、
b. 脳内ネットワークにおける整合性判断に基づくトップダウン処理機構
今後の展望
脳内の感覚情報の統合処理に関する知見は、効果的かつ効率的なマルチモーダル情報のXR技術やAI技術の実現にとって有益と考えられます。
XR技術においては、脳の統合処理に合致した方式を採ることで、XR空間における実在感や行為の主体感（sense of agency）の向上効果が期待できるとともに、例えば、触覚情報が不十分でも視覚情報で補うことができるため、触覚処理にかかる多大なコストを抑えたより効率的なXR空間の再現が期待できます。
また、AI技術においては、人の感覚処理の仕組みを理解することで、人に共感し人と協調するマルチモーダルAI技術の実現が期待されます。
今後は、感覚情報の脳の統合メカニズムのさらなる解明を進めるとともに、脳機能の知見を活かしたマルチモーダル情報のXR技術･AI技術の開発を進めていきます。
論文情報
著者: Juan Liu a,b, Akiko Callan c, Atsushi Wada b, Hiroshi Ando a,b
所属: a 情報通信研究機構ユニバーサルコミュニケーション研究所（UCRI）
b 情報通信研究機構未来ICT研究所脳情報通信融合研究センター（CiNet）
c 国際電気通信基礎技術研究所（ATR）
論文名: Neural substrates underlying multisensory stiffness perception via active touch and dynamic visual feedback
掲載誌: Imaging Neuroscience
DOI: 10.1162/imag_a_00493
URL: https://doi.org/10.1162/imag_a_00493
なお、今回実施したすべての実験は、NICTの倫理委員会の承認を得ており、実験参加者には実験内容を事前説明の上、参加への同意を取っています。
前の記事へ
