プレスリリース
************************************************
<報道発表資料>
概要
映画「マトリックス」の世界では、ヒトの脳とコンピュータがつながり、 主人公はコンピュータ上のバーチャル空間で活躍する。このようなSF的空想を現実のものとするためには、 ヒトが何を知覚し意図しているかを脳信号から解釈する技術が不可欠である。 （株）国際電気通信基礎技術研究所（「けいはんな学研都市」略称ATR）・ 脳情報研究所の神谷之康研究員とプリンストン大学（New Jersey, USA）のフランク・トング助教授は、 手書き文字認識等に用いられるパターン認識技術をヒトの脳画像に応用することにより、 ヒトの主観的知覚内容を正確に予測することに成功した。この成果は、脳信号から「心を読む」ことを現実化し、 脳を直接介した新たな情報伝達（ブレイン・ネットワーク・インターフェース）の可能性を切り拓くものである。
近年脳活動を非侵襲的に（組織を傷つけることなく）画像化する技術が進歩し、ヒトの脳機能の解明が進んでいる。 しかし、個々の神経細胞の活動を記録できる動物実験に比べ、ヒトの脳機能画像の解像度は非常に低い。 とくに、この研究で神谷研究員らが対象とした縞図形の傾き情報は、脳画像の画素より小さい「コラム」 とよばれる構造に表現されていると考えられており、ヒトの脳画像でその構造を直接見ることはできない。
神谷研究員らは、縞図形を見ているときに記録される機能的磁気共鳴画像（fMRI） をパターン認識アルゴリズムを用いて解析することにより、 脳画像だけからヒトがどのような傾きの縞を見ているかを予測することに成功した。 さらに、複数の縞図形が重なっているとき、ヒトがどの縞に注意を向けているかを正確に予測できることも明らかにした。 本発見は、脳画像の「パターン」から詳細な知覚情報を抽出することができ、さらに、 本来そのヒトにしか知りえない主観的な心理状態も予測できることを世界で初めて示したものである。
本成果は「ネイチャー・ニューロサイエンス」オンライン版（平成17年4月24日、米国東部時間；日本では4月25日） に掲載される。なお、本研究は、日本学術振興会、米国立衛生研究所の援助を受けて行われた。 また研究の一部は、情報通信研究機構（NICT）からの研究委託「人間情報コミュニケーションの研究開発」 プロジェクトにより実施したものである。
研究実施機関
（株）国際電気通信基礎技術研究所（ＡＴＲ）脳情報研究所
研究員 神谷之康（かみたにゆきやす）
プリンストン大学心理学科（現 ヴァンダービルト大学）
助教授 フランク・トング (Frank Tong)
連絡先
ATR脳情報研究所 神谷之康
京都府相楽郡精華町光台2-2-2
電話：0774-95-1212
Fax：0774-95-1236
Email：kmtn@atr.jp
解禁時間
テレビ、ラジオ： 平成17年4月25日午前2:00
新聞： 平成17年4月25日付朝刊
研究の背景と詳細
大脳視覚野の傾き選択的コラム
ネコやサルを使った実験から，大脳視覚野には線分の傾きに応じて選択的に発火する神経細胞があり、 また、同じ傾きに応答する細胞群が100μｍ（1/10mm）程度のコラム構造を形成していることが知られている （この傾き選択的神経細胞を発見したD.H. HubelとＴ.N. Wieselは1981年にノーベル医学生理学賞を受賞している）。 このような視覚的傾きを検出する機構は、輪郭の検出や物体の認識といった視覚情報処理の基礎をなしている。 また，大脳のコラム構造は、視覚的傾きの検出に限らずさまざまな脳機能の単位を構成していると考えられている。 視覚的傾きに応答する神経細胞やコラム構造はヒトにも存在すると信じられているが、 個々の神経細胞の活動をヒトの脳で記録することは困難で、これまで実験的に確たる証拠はなかった。
機能的脳画像の解像度
今回の研究で用いた機能的磁気共鳴画像（functional Magnetic Resonance Imaging, fMRI）は、 現在ヒトの脳研究で使われている計測手法の中では、高い空間解像度を誇る（1画素、3x3x3mm程度ものの、 コラム構造（1/10mm程度）を直接可視化（マッピング）するには十分でない。従来の脳機能研究で、 fMRIはもっぱらヒトの脳の大まかな機能分担を調べるのに用いられてきた。
本研究のアプローチ（１）：脳画像のパターン認識と「アンサンブル特徴選択性」 したがって、ヒト視覚野の傾き選択性を調べるのは非常に困難である。その困難を克服するため、神谷研究員らは、 手書き文字の認識や遺伝子の解析など近年さまざまな分野で用いられているパターン認識技術を脳画像に応用した。 脳画像の個々の画素（voxel）は多くのコラムの活動の平均値を表していると考えられ、 非常に弱い傾き選択性しか持たない。しかし、多くの画素を適当な重みで組み合わせるパターン認識技術を用いることで、 脳画像全体として高い選択性（「アンサンブル特徴選択性」）が得られるのではないだろうか？ 本研究はこの仮説にもとづいて行われた。
本研究のアプローチ（２）：脳信号のデコーディング（復号化）
本研究のもう一つの方法論的特徴は、 脳画像から刺激図形や認知状態を予測する点にある（図1）。
これは、刺激や実験条件を与えて、そのとき脳がどのように応答するかを観察する従来の脳機能研究のアプローチと対照的である。 刺激や実験条件を「情報源」、脳活動・脳信号を「符号」とみなす現代のシステム神経科学の考え方にしたがえば、 従来のアプローチはエンコーディング（符号化）、本研究のアプローチはデコーディング（復号化）に相当する。 脳信号のデコーディングは、多数のチャンネルから記録される脳活動を要約し、われわれが理解しやすい知覚・ 認知内容に「翻訳」する。また、後で述べるように，デコーディングは， 発話や身体運動によらず直接脳を介して情報を伝達する技術の基礎となるものでもある。
本研究の成果（１）：視覚入力のデコーディング
本研究では、プリンストン大学にある標準的な機能的磁気共鳴画像装置（fMRI装置）を用い、被験者（４人） がさまざまな傾きの縞を見ているときの脳画像を記録した。 それぞれの被験者について、大脳視覚野に相当する部分の画素を抽出しパターン解析を行った（図2）。 パターン解析は以下の２ステップからなる。
まず、記録した脳画像データの一部を用いて、パターン識別器（「デコーダー」）を学習させる。 この学習ステップでは、デコーダーの出力が正しい図形の傾きになるよう、脳画像の画素の重 みを最適化する。次に、新しい脳画像を使って、学習したデコーダーが正しい傾きを予測するかをテストする。
パターン解析の結果、視覚1次野と2次野の画素を用いると非常に高い精度で（平均20度程度の誤差） 刺激図形の傾きを予測できることがわかった。脳画像のどの画素を使っても正しく傾きを予測できるわけではなく、 視覚3次野、4次野と高次の視覚野になるほど予測の精度は低下する。 これは低次視覚野の方が傾き選択性が高いことを示すサルの実験結果と一致する。これらの成果は、 ヒト視覚野の傾き選択性を初めて直接的・体系的に測定したものといえる。
本研究の成果（２）：「マインド・リーディング」（読心術）
上記の視覚入力を予測するデコーダーを用いて、主観的な知覚内容を予測することはできないだろうか？
本研究ではさらに、重なった２つの縞図形が提示され、被験者がそのどちらかに注意を向けているときの脳画像も記録した。 これらの脳画像を、上記のデコーダーで解析したところ、 デコーダーの予測は、被験者が注意を向けている縞の傾きに大きく偏ることがわかった（図3）。 これは、被験者がある傾きに注意を向けているとき、 その傾きの縞だけを見ているときと類似した脳活動が生じていることを示している。さらに、このことを利用すると、 本来外部から知りえない主観的な注意の対象を、脳画像から予測することが可能となる。この成果は、 脳画像だけからヒトの主観的心理状態を予測する「マインド・リーディング」（読心術）の世界初の試みである。
研究の意義と今後の展望
今回の研究成果は、ヒトの脳の微細な構造に表現されている詳細な知覚・認知情報を非侵襲的脳信号から抽出する方法を提唱し、 ヒトの脳機能研究の新たな地平を切り拓くものである。
本研究で示した実験結果は視覚的傾きに関するものであるが、同じ手法はさまざまな視覚的特徴（色，運動方向）， 他の感覚モダリティ（聴覚、触覚）、身体運動（手・足の動き）、認知状態（記憶、意図）などに応用することができる。 神谷研究員のグループは、すでにこの手法を用いてさまざまな知覚・運動機能の解明を進めており、 興味深い結果が得られつつある。
また、本研究で有効性を示した非侵襲的脳信号のデコーディング手法は、 脳活動を直接介してコンピュータやロボットを操作する技術（Brain-machine interface; Brain-network interface） に応用可能である。
現在、世界のいくつかの研究室でBrain-machine interfaceの研究が行われているが、その多くは，大脳運動野に直接電極を挿入する侵襲的アプローチか、 脳波などの非侵襲的脳信号を被験者自らがコントロールできるよう長時間トレーニングするアプローチかのいずれかをとる。
一方、本研究の結果は、数ミリ程度の比較的粗い解像度の非侵襲的脳信号からでも、従来考えられていた以上に詳細な認知状態の推定が可能であること示唆している。 したがって、自然な認知状態を高精度でデコーディンすることにより、非侵襲的な脳信号を用いながらも長時間のトレーニングを必要としない、 人に優しいBrain-machine interfaceの実現が期待できる。
図１：エンコーディング vs. デコーディング
図2：視覚入力のデコーディング
図3：マインド・リーディング
<報道発表資料>
脳画像から心を読む
―脳を直接介した情報伝達の可能性を拓く ―
論文名 Decoding the visual and subjective contents of the human brain
（ヒトの脳における視覚的・主観的内容のデコーディング［復号化］）
「ネイチャー・ニューロサイエンス」に掲載
―脳を直接介した情報伝達の可能性を拓く ―
論文名 Decoding the visual and subjective contents of the human brain
（ヒトの脳における視覚的・主観的内容のデコーディング［復号化］）
「ネイチャー・ニューロサイエンス」に掲載
映画「マトリックス」の世界では、ヒトの脳とコンピュータがつながり、 主人公はコンピュータ上のバーチャル空間で活躍する。このようなSF的空想を現実のものとするためには、 ヒトが何を知覚し意図しているかを脳信号から解釈する技術が不可欠である。 （株）国際電気通信基礎技術研究所（「けいはんな学研都市」略称ATR）・ 脳情報研究所の神谷之康研究員とプリンストン大学（New Jersey, USA）のフランク・トング助教授は、 手書き文字認識等に用いられるパターン認識技術をヒトの脳画像に応用することにより、 ヒトの主観的知覚内容を正確に予測することに成功した。この成果は、脳信号から「心を読む」ことを現実化し、 脳を直接介した新たな情報伝達（ブレイン・ネットワーク・インターフェース）の可能性を切り拓くものである。
近年脳活動を非侵襲的に（組織を傷つけることなく）画像化する技術が進歩し、ヒトの脳機能の解明が進んでいる。 しかし、個々の神経細胞の活動を記録できる動物実験に比べ、ヒトの脳機能画像の解像度は非常に低い。 とくに、この研究で神谷研究員らが対象とした縞図形の傾き情報は、脳画像の画素より小さい「コラム」 とよばれる構造に表現されていると考えられており、ヒトの脳画像でその構造を直接見ることはできない。
神谷研究員らは、縞図形を見ているときに記録される機能的磁気共鳴画像（fMRI） をパターン認識アルゴリズムを用いて解析することにより、 脳画像だけからヒトがどのような傾きの縞を見ているかを予測することに成功した。 さらに、複数の縞図形が重なっているとき、ヒトがどの縞に注意を向けているかを正確に予測できることも明らかにした。 本発見は、脳画像の「パターン」から詳細な知覚情報を抽出することができ、さらに、 本来そのヒトにしか知りえない主観的な心理状態も予測できることを世界で初めて示したものである。
本成果は「ネイチャー・ニューロサイエンス」オンライン版（平成17年4月24日、米国東部時間；日本では4月25日） に掲載される。なお、本研究は、日本学術振興会、米国立衛生研究所の援助を受けて行われた。 また研究の一部は、情報通信研究機構（NICT）からの研究委託「人間情報コミュニケーションの研究開発」 プロジェクトにより実施したものである。
研究実施機関
（株）国際電気通信基礎技術研究所（ＡＴＲ）脳情報研究所
研究員 神谷之康（かみたにゆきやす）
プリンストン大学心理学科（現 ヴァンダービルト大学）
助教授 フランク・トング (Frank Tong)
連絡先
ATR脳情報研究所 神谷之康
京都府相楽郡精華町光台2-2-2
電話：0774-95-1212
Fax：0774-95-1236
Email：kmtn@atr.jp
解禁時間
テレビ、ラジオ： 平成17年4月25日午前2:00
新聞： 平成17年4月25日付朝刊
研究の背景と詳細
大脳視覚野の傾き選択的コラム
ネコやサルを使った実験から，大脳視覚野には線分の傾きに応じて選択的に発火する神経細胞があり、 また、同じ傾きに応答する細胞群が100μｍ（1/10mm）程度のコラム構造を形成していることが知られている （この傾き選択的神経細胞を発見したD.H. HubelとＴ.N. Wieselは1981年にノーベル医学生理学賞を受賞している）。 このような視覚的傾きを検出する機構は、輪郭の検出や物体の認識といった視覚情報処理の基礎をなしている。 また，大脳のコラム構造は、視覚的傾きの検出に限らずさまざまな脳機能の単位を構成していると考えられている。 視覚的傾きに応答する神経細胞やコラム構造はヒトにも存在すると信じられているが、 個々の神経細胞の活動をヒトの脳で記録することは困難で、これまで実験的に確たる証拠はなかった。
機能的脳画像の解像度
今回の研究で用いた機能的磁気共鳴画像（functional Magnetic Resonance Imaging, fMRI）は、 現在ヒトの脳研究で使われている計測手法の中では、高い空間解像度を誇る（1画素、3x3x3mm程度ものの、 コラム構造（1/10mm程度）を直接可視化（マッピング）するには十分でない。従来の脳機能研究で、 fMRIはもっぱらヒトの脳の大まかな機能分担を調べるのに用いられてきた。
本研究のアプローチ（１）：脳画像のパターン認識と「アンサンブル特徴選択性」 したがって、ヒト視覚野の傾き選択性を調べるのは非常に困難である。その困難を克服するため、神谷研究員らは、 手書き文字の認識や遺伝子の解析など近年さまざまな分野で用いられているパターン認識技術を脳画像に応用した。 脳画像の個々の画素（voxel）は多くのコラムの活動の平均値を表していると考えられ、 非常に弱い傾き選択性しか持たない。しかし、多くの画素を適当な重みで組み合わせるパターン認識技術を用いることで、 脳画像全体として高い選択性（「アンサンブル特徴選択性」）が得られるのではないだろうか？ 本研究はこの仮説にもとづいて行われた。
本研究のアプローチ（２）：脳信号のデコーディング（復号化）
本研究のもう一つの方法論的特徴は、 脳画像から刺激図形や認知状態を予測する点にある（図1）。
これは、刺激や実験条件を与えて、そのとき脳がどのように応答するかを観察する従来の脳機能研究のアプローチと対照的である。 刺激や実験条件を「情報源」、脳活動・脳信号を「符号」とみなす現代のシステム神経科学の考え方にしたがえば、 従来のアプローチはエンコーディング（符号化）、本研究のアプローチはデコーディング（復号化）に相当する。 脳信号のデコーディングは、多数のチャンネルから記録される脳活動を要約し、われわれが理解しやすい知覚・ 認知内容に「翻訳」する。また、後で述べるように，デコーディングは， 発話や身体運動によらず直接脳を介して情報を伝達する技術の基礎となるものでもある。
本研究の成果（１）：視覚入力のデコーディング
本研究では、プリンストン大学にある標準的な機能的磁気共鳴画像装置（fMRI装置）を用い、被験者（４人） がさまざまな傾きの縞を見ているときの脳画像を記録した。 それぞれの被験者について、大脳視覚野に相当する部分の画素を抽出しパターン解析を行った（図2）。 パターン解析は以下の２ステップからなる。
まず、記録した脳画像データの一部を用いて、パターン識別器（「デコーダー」）を学習させる。 この学習ステップでは、デコーダーの出力が正しい図形の傾きになるよう、脳画像の画素の重 みを最適化する。次に、新しい脳画像を使って、学習したデコーダーが正しい傾きを予測するかをテストする。
パターン解析の結果、視覚1次野と2次野の画素を用いると非常に高い精度で（平均20度程度の誤差） 刺激図形の傾きを予測できることがわかった。脳画像のどの画素を使っても正しく傾きを予測できるわけではなく、 視覚3次野、4次野と高次の視覚野になるほど予測の精度は低下する。 これは低次視覚野の方が傾き選択性が高いことを示すサルの実験結果と一致する。これらの成果は、 ヒト視覚野の傾き選択性を初めて直接的・体系的に測定したものといえる。
本研究の成果（２）：「マインド・リーディング」（読心術）
上記の視覚入力を予測するデコーダーを用いて、主観的な知覚内容を予測することはできないだろうか？
本研究ではさらに、重なった２つの縞図形が提示され、被験者がそのどちらかに注意を向けているときの脳画像も記録した。 これらの脳画像を、上記のデコーダーで解析したところ、 デコーダーの予測は、被験者が注意を向けている縞の傾きに大きく偏ることがわかった（図3）。 これは、被験者がある傾きに注意を向けているとき、 その傾きの縞だけを見ているときと類似した脳活動が生じていることを示している。さらに、このことを利用すると、 本来外部から知りえない主観的な注意の対象を、脳画像から予測することが可能となる。この成果は、 脳画像だけからヒトの主観的心理状態を予測する「マインド・リーディング」（読心術）の世界初の試みである。
研究の意義と今後の展望
今回の研究成果は、ヒトの脳の微細な構造に表現されている詳細な知覚・認知情報を非侵襲的脳信号から抽出する方法を提唱し、 ヒトの脳機能研究の新たな地平を切り拓くものである。
本研究で示した実験結果は視覚的傾きに関するものであるが、同じ手法はさまざまな視覚的特徴（色，運動方向）， 他の感覚モダリティ（聴覚、触覚）、身体運動（手・足の動き）、認知状態（記憶、意図）などに応用することができる。 神谷研究員のグループは、すでにこの手法を用いてさまざまな知覚・運動機能の解明を進めており、 興味深い結果が得られつつある。
また、本研究で有効性を示した非侵襲的脳信号のデコーディング手法は、 脳活動を直接介してコンピュータやロボットを操作する技術（Brain-machine interface; Brain-network interface） に応用可能である。
現在、世界のいくつかの研究室でBrain-machine interfaceの研究が行われているが、その多くは，大脳運動野に直接電極を挿入する侵襲的アプローチか、 脳波などの非侵襲的脳信号を被験者自らがコントロールできるよう長時間トレーニングするアプローチかのいずれかをとる。
一方、本研究の結果は、数ミリ程度の比較的粗い解像度の非侵襲的脳信号からでも、従来考えられていた以上に詳細な認知状態の推定が可能であること示唆している。 したがって、自然な認知状態を高精度でデコーディンすることにより、非侵襲的な脳信号を用いながらも長時間のトレーニングを必要としない、 人に優しいBrain-machine interfaceの実現が期待できる。
図１：エンコーディング vs. デコーディング
図2：視覚入力のデコーディング
図3：マインド・リーディング