プレスリリース
‐高速度カメラを用いた分析によって初めて明らかに‐
（株）ATR人間情報通信研究所
（株）ATR知能映像通信研究所
平成12年3月15日
（株）ATR知能映像通信研究所
平成12年3月15日
|
【要旨】 （成果を一言で） ATR人間情報通信研究所とATR知能映像通信研究所では、 顔の表情変化を高速度カメラで撮影した映像を分析することにより、 演技のように意図的に作られた表情と自発的に表出された自然な表情との間で、顔の各部の動きには、 通常のテレビカメラでは捉えられなかった微妙な時間的パターンの違いがあることを確認しました。 （本研究の位置づけ） 本研究は、ATR人間情報通信研究所が従来進めている「コンピュータで顔の感性的イメージを探る」 研究とATR知能映像通信研究所が進めている｢コンピュータで人間の表情を分析・合成する｣研究の一環として、 人間の内的な情動を反映して自発的に表出される表情がどのような顔面の動きをともなっているのかを明らかにするために、 表情を作る訓練による教示を受けて意図的に表情を表出した場合と対比する形で、 表出動作の時間パターンの分析を行ったものです。 （本成果の意義） 本研究は、 意図的に表情を作った場合と情動によって自発的に表出される表情の場合との顔面の動きの微妙な時間パターンの違いを、 高速度カメラを使って計測し定量的に分析した初めての試みと思われます。 今回の分析結果は、人間が表情表出にともなう顔のどのような動きから微妙な感情を読みとることができるのか、 という表情認知のメカニズムを明らかにしていく上で貴重な第一歩になるとともに、 人間にとって違和感のない自然な顔表情をコンピュータグラフィックスによって生成する技術の研究に対して、 有用な知見を与えるものと期待されます。 （成果の発表先） 本研究の成果は、2000年3月21日に東京・機械振興会館（東京都港区芝公園3-5-8）において開催される、電子情報通信学会ヒューマン・コミュニケーション・グループ大会で、ATRの内田英子研究員によって以下のタイトルの講演として発表される予定です。（会場 地下3階2号室、時間11:40～12:00） 内田英子1,3、四倉達夫2,4、森島繁生2,4、山田寛1,5、大谷淳2、赤松茂1："高速度カメラを用いた顔面表情の動的変化に関する分析" 1 ATR人間情報通信研究所 2 ATR知能映像通信研究所 3 サンフランシスコ州立大学 4 成蹊大学 5 日本大学 以下に、この研究の背景と内容の詳細について説明します。 【背景と詳細な説明】 （なぜ ATR は顔の研究に取り組んでいるのか） 人間のコミュニケーションにおいて、顔は言葉によらないさまざまなメッセージを伝えています。こうした顔が伝えるメッセージをコンピュータも読み取ったり、作り出したりできるようになれば、コンピュータという機械は人間との自然なインタフェースを獲得し、人に優しく使いやすい存在となって、さまざまな新しい応用が開けるものと期待されます。 ところで顔から発信される情報の多くは、それを受けとめる側の人間の知覚や主観を通して初めて具体化するものであって、人間の感性によって顔の視覚パターンから生成されるイメージが重要であると考えられます。したがってコンピュータが顔の伝える情報を自由自在に取り扱えるようにするためには、人間が認知するイメージが顔という対象のどのような要因にもとづいているのかを理解することが必要です。このため人間のイメージ認知メカニズムに関する実験心理学的な研究にとりくむ必要があります。ヒューマンコミュニケーションにおける顔の重要性を認識し、トランスディシプリナリな（超分野的）研究の推進を社是とするATR人間情報通信研究所では、「コンピュータで顔の感性的イメージを探る」という研究プロジェクトに取り組んできています。 一方、ATR知能映像通信研究所では、仮想的シーンを介したコミュニケーション環境の実現に取り組んでいます。人間同士が対話するように、臨場感のあるフェーストゥーフェースの対話を仮想空間上で実現するためには、どうすべきかというのが重要な課題です｡こういう環境では実空間での人間の表情や体の動きをアバタ（３次元人物モデル）で実時間再現する必要があります｡また人間とアバタとのコミュニケーションを実現する際に、アバタのもつ表情や印象が、実際の人間と同じくらいリアルに再現されているかという点が技術的ポイントとなります｡したがって表情の分析技術と合成技術の双方を研究する必要があるわけです｡ （本研究で明らかにしようとした具体的な課題） 顔が伝えるさまざまな情報のうち、内面の心理状態やさまざまな意図が表出される顔の表情はヒューマンコミュニケーションにおいて重要な役割を演じています。そこで、人間は内的な心理状態をどのような顔表情として表出するのか、また、顔の表情をみて人間はそこからどのようなイメージを認知するのかを解明することが重要な課題となっています。しかしながら従来の表情の表出と認知に関する研究は、多くの場合、表情表出者によって意図的に作られた顔表情を対象として行われてきました。これに対して実際の日常生活の中で自発的に喚起される表情については、未だに明らかでない点が多いといえます。本研究では、なんらかの情動喚起に伴って自発的に現れる自然な表情は、意図的に作られた表情と表出のパターンはどのように異なるのか、特に顔パターンの動的変化の違いについて実験的に検討しました。このような２つの表出条件の下で顔面表情がどのように変化するかを250フレーム/秒の高速度カメラで撮影することによって、これまでの通常のテレビカメラを用いて撮影された動画像では捕らえることができなかった表情の微妙な動的変化を分析することを目指しました。 （観測の条件） 本実験では、20～35歳の日本人の被験者24名（男12名、女12名）について、自発的な表情と意図的に作られた表情の表出される模様を、250フレーム／秒の高速度カメラで撮影しました。なお、被験者と高速度カメラとの間にはプロンプターを設置し、被験者に自分自身の顔の動きや映像刺激を提示しながら、その顔を正面から撮影できるようにしました。 |
||
|
|
（実験の手続き） 実験は、以下のように３つのセッションに分けて、トレーニング（セッション１）、自発的な表情表出 （セッション２）、意図的な表情表出 （セッション３）の順番で行いました。 セッション１： トレーニング 被験者に実験環境に慣れてもらいまた自然な表情が出易いように、ウォーム・アップに実験者の指示にもとづいてEkman & Friesen (1978)の FACS (Facial Action Coding System) マニュアルに基づいた表情の筋肉を動かすフェイシャル・エクササイズを行いました。 セッション２： 自発的な表情表出 被験者にさまざまな感情に対応した自然な表情を自発的に表出させるために、Gross & Levenson (1995) によって標準化された喜び、驚き、怒り、悲しみ、嫌悪、恐れの６つの情動に対する情動喚起映像（ビデオ映像）を採用し、これらの映像が提示された時の被験者の表情表出の模様を撮影しました。 セッション３： 意図的な表情表出 このセッションでは被験者に、Ekman & Friesen (1978)の FACS (Facial Action Coding System)のマニュアルが定めるアクション・ユニットの組み合わせとして定義される表情をスムースに表出できるように訓練した後、リラックスした顔（ニュートラル）から基本６表情（喜び、驚き、悲しみ、恐れ、嫌悪、怒り）の顔に、そしてまた再びニュートラル顔に戻るという、意図的な表情表出の過程を撮影しました。 （分析の方法） セッション２、３の表情表出過程を高速度カメラによって録画した動画像の各フレーム画像から、目視によって特徴点を決定することにより特徴点位置のトラッキング（追跡）を行いました。非熟練者でも簡単にトラッキングできるようにGUIベースのトラッキングツールを作成して利用しています。本実験では、追跡する特徴点として左右眉輪郭部4点、左右目輪郭部4点、鼻輪郭部5点、唇輪郭部6点、そして顎部1点、の合計28点を選んでいます。 |
|
|
|
（分析の結果） 自発的な表情表出と意図的な表情表出の過程を比較した一例として、 同じ被験者による喜びの表情表出における特徴点追跡の結果を紹介します。 2つの表情表出条件を比較すると、顔表情の変化は各器官ごとに微妙に異なることがわかります。 目と唇端の動作は類似していますが、上唇の動作は微妙に異なっています。 自発的表出条件では唇端と上唇の動作がほぼ同時であるのに対して、 意図的表出条件では唇端と上唇の動作に時間差があることがわかりました。 |
|||||
|
|
||||
|
（考察） 本研究は、 自発的な表情表出と意図的な表情表出とにおける顔パターンの動的な特性を高速度カメラを使って定量的に計測したおそらく初めて報告だと思われます。 一連の実験結果から、両者の類似点および相違点が明らかになりました。 また250フレーム/秒という高速度カメラを用いることによって、これまで通常のカメラ（30フレーム/秒） では捕らえられなかった顔パターンの非線型な時間変化を捕らえることができました。近年、 モーフィングという画像合成技術を用いて顔表情の時間的変化を統制した動画像を生成することができるようになり、 これを実験用刺激として用いることで、 人間による顔表情の認知と顔画像の動的な特徴との関係を探る研究が進展しています。 しかし、実際の表情表出時に顔の部位がそれぞれどのような動的特性をもって変化しているのかが明らかではなかったため、 これまでの研究では、顔表情の変化は各器官が同時に、しかも時間とともに線形に変化すると仮定していました。 本研究で得られる表情表出時の顔の動的特性に関する知見は、 このように顔表情の認知メカニズムを探る研究におけるパラメータの精緻化に役立つものと思われます。 また、コンピュータグラフィックスを用いて、人間にとって違和感のない自然な顔表情を生成する技術の進展にも有用な知見をもたらすものと期待されます。 |
|||||
※ATR人間情報通信研究所とATR知能映像通信研究所は2001年に研究プロジェクトを終了しております。