2022年4月20日

迷路を探索する際の予測および確信度を脳活動から解読

　京都大学大学院情報学研究科（兼、株式会社国際電気通信基礎技術研究所（ATR）脳情報解析研究所、東京大学国際高等研究所ニューロインテリジェンス国際研究機構）石井信教授、片山梨沙同博士課程学生、オックスフォード大学Nuffield医療神経科学部（兼、株式会社国際電気通信基礎技術研究所（ATR）認知機構研究所）吉田和子博士による国際共同研究グループは、バーチャルリアリティ(VR)による部分観測迷路において、探索中に予想した周辺の風景（シーン予測）とその予測に対する自信の度合い（主観的確信度）が、脳活動から解読できることを明らかにしました。
　上頭頂小葉では、被験者のシーン予測に対する確信度レベルによって、シーン予測の解読精度に差が生じることを示しました。
　人工知能モデルを用いた解析により、実験参加者の位置推定に対する客観的確信度を推定し、その客観的確信度によって、下頭頂小葉でシーン予測の解読精度に差が生じることも示しました。
　本成果は、2022年４月19日に米国の国際学術誌「Communications Biology」にオンライン掲載されました。
　われわれのいる実世界はしばしば曖昧さを含みますが、人はそのような曖昧な状況でも適切な意思決定を行うことができます。例えば、ターミナル駅など見た目が似通った構造が多く存在するような複雑な環境では、自分がどこにいるかがわからなくなり、その結果、目的地に向かってどう移動するかを決めるのが難しくなることがあります。こうした状況では、人は周辺の風景（シーン）などを手掛かりとして現在の位置に当たりをつけて、それを踏まえて目的地まで移動しようとします。この時、移動しながらこの後で出現するシーンを予想し、その予想と新たに得られる観測とを比較することで、自分の位置の予想を正しいものへと更新していきます。この際の「予想」はこれから得られるであろう観測に対するもので、脳の中に自身が創り出した「仮想現実」です。また、直感的に、自身にとって予想に自信があるかないかは、この仮想現実の表現に影響があると思われます。今回の研究では、こうした脳の中の仮想現実が、脳活動から人工知能(AI)により取り出せる（再現できる）か、また、人が内省的に考える自信もAIにより取り出せるか、さらには、それらの再現性の間に関連があるのか（つまり、自信がある際に仮想現実が良く再現できるのか）を調べました。そのために、実験参加者が、自身の位置が分からないまま未知のゴールを目指すバーチャルリアリティ(VR)迷路内で空間移動ゲームを行う際の脳活動を計測し、AI技術を用いた脳情報解読解析を行いました。 　実験参加者に、核磁気共鳴画像(fMRI)装置内で空間移動ゲームに取り組んでもらい、脳活動を計測しました（図１）。ゲームは、格子状に部屋が並んだVR迷路内を探索しながら、移動する先の部屋のシーンを、ドアを開ける前に予測し、また、その予測に対する自信（確信度）を回答するというものです。
　事前に迷路の地図を記憶した実験参加者は、スタート位置や探索中の現在位置を教えて貰えないにも関わらず、自分の意思で探索を進めるにつれてシーン予測に正解できるようになり、予測に対する自信も高くなりました。このことは、実験参加者がこれまでのシーンの観測を用いて迷路内での自身の位置を推定し、その位置推定と記憶した地図に基づいて、次に進む部屋のシーンの予測を行っていることを示しています。また実験参加者は、予測に自信がある（確信度が高い）時に、自信がない（確信度が低い）時と比較してより素早く予測シーンを回答していました。このことは、予測に対する確信度が高い時、実験参加者がより明瞭に予測シーンを思い浮かべられることを示唆しています。
　実験参加者が次の部屋のシーンを予測している時に強い活動を示した脳領域（図２ａ）を対象に、AI技術を用いて、実験参加者の脳活動から予測シーンとその予測に対する確信度が解読できるかを調べました。その結果、予測シーンは上頭頂小葉¹・下頭頂小葉²と背側運動前野³から（図２ｂ）、予測に対する確信度はこれらの領域に加え前部前頭前野⁴からも解読できることが示されました（図２ｃ）。また上頭頂小葉では、実験参加者のシーン予測に対する確信度が高い時、予測したシーンの解読精度も高くなることが明らかになりました（図２ｄ）。このことは、予測に対する自信が強い場合、予測シーンを表現する脳活動がより明瞭になることを意味しています。さらに、実験参加者が直接回答していない、迷路内での位置の予想に対する確信度をAI技術を用いて推定したところ、下頭頂小葉では、AIが推定した（客観的な）自信の強さによって予測シーンの解読精度に差があることがわかりました。このことから、下頭頂小葉では迷路内の位置の予測が、上頭頂小葉ではその位置予測から導かれるシーンの予測が表現されている可能性があると考えられます。
　本研究でのシーン予測とは部屋のドアの様子としていましたが、さらに一般化して、人間がイメージする快適な部屋や昔住んでいた家や街の様子を脳活動に基づき再現するなど、ブレイン・マシン・インターフェース⁵など新しいコミュケーションツールの開発につながる可能性があります。こうした空間移動（ナビゲーション）に付随するシーンの脳活動からの再現は、人を身体の拘束から解き放つメタバース⁶研究の課題の一つとなっています。また、われわれの空間移動に伴うシーンの予測は、ドローンや車両などの移動人工物に対して、脳と人工知能(AI)とをつないだ制御法など新しい応用につながります。例えば、移動人工物が交差点を曲がる際に、交差点の先の状態に関する人間の予測レベルの評価ができれば、人間とAIとの協調的制御が車の運転などに使える可能性があります。この例の場合ですと、交差点の先のシーン予測の確信度が低い場合、AIへの依存度を高め慎重に制御を行うなどが想定されます。さらに、人間の予測という心的世界の再現、また、それへの内省的評価（メタ認知）の再現は、われわれの自己意識の根源を探る意味で、学際的な意義があると思われます。 　本研究は、日本学術振興会 科学研究費助成事業 新学術領域研究（研究領域提案型）「脳情報動態解明に資する多階層・多領野データ統合モデリング法の開発」（17H06310、研究代表者：石井信）、基盤研究(B)「脳の転移可能な機能単位からみる個性とメタ学習能力」（19H04180、研究代表者：石井信）、新学術領域研究(研究領域提案型)「脳情報動態を規定する多領野連関と並列処理」（17H06314、研究分担者：吉田和子）の助成を受けて実施されました。


石井　信（いしい　しん）
京都大学情報学研究科システム科学専攻・教授
TEL：075-753-4909 / 090-5648-8477 FAX：075-753-4907
E-mail：ishiii.kyoto-u.ac.jp 京都大学　総務部広報課国際広報室
TEL：075-753-5729 FAX：075-753-2094
E-mail：commsmail2.adm.kyoto-u.ac.jp

(株)国際電気通信基礎技術研究所(ATR)　経営統括部　企画・広報チーム
TEL：0774-95-1176
E-mail：pratr.jp
図１. シーン予測課題と解析手法の概念図
実験参加者は事前に学習したグリッド構造のバーチャルリアリティ迷路内を、未知の初期位置から探索する。探索中、移動方向選択後に実験参加者は次に現れるシーンを予測し、その予測に対する確信度を評価するよう指示される。実験参加者は迷路内での現在位置を教示されないため、シーン予測課題に正答するためには、探索中の行動（どちらに移動したか）および観測シーンの履歴から現在位置を推定する必要がある。次に現れるシーンを予測している時の脳活動を計測し、人工知能(AI)による解析によって予測シーンおよび確信度を解読する。また、データセットを確信度レベルに応じて分割し、予測シーンの解読精度を比較する。 図２. 脳画像解析および統計解析の結果
上・下頭頂小葉、背側運動前野、前頭前野前部がシーン予測中に有意に強い活動を示した（ａ）。これら４つの脳領域のうち、シーン予測は上・下頭頂小葉および背側運動前野の脳活動（ｂ）、予測に対する確信度は４つの脳領域全ての脳活動から解読可能だった（ｃ）。また、上頭頂小葉では、実験参加者のシーン予測に対する確信度が高い時、よりシーン予測の解読精度が高くなった（ｄ）。