プレスリリース
音声翻訳技術のための国際評価ワークショップIWSLTを開催
-多言語翻訳技術に関する世界初の公開性能評価を実施-
(株)国際電気通信基礎技術研究所
（株）国際電気通信基礎技術研究所（けいはんな学研都市 社長 畚野信義 略称ATR）は、多言語翻訳技術の評価に関する国際ワークショップを、音声翻訳に関する国際コンソーシアムである
C-STAR * の協力を得て、下記のように開催いたします。
翻訳技術の良し悪しをどのように判定するかは重要な研究課題ですが、これまで各研究開発機関が開発条件をそろえることなく、独自の要素技術を用いて翻訳システムを構築してきたため、異なる翻訳システム間で翻訳結果を比較したとしても、どの要素技術がどのくらい効果的かを明らかにすることは困難でした。そのため、翻訳技術の性能は、各機関が独自に準備した測定手法ならびに測定データを用いて個別に評価してきていました。ところが、近年コーパスベース翻訳技術という、大量の翻訳事例に基づいて翻訳システムを構築するというアプローチが盛んになってきたことで、共通の翻訳事例を用いてシステムを開発することにより、どのような翻訳技術が有効かを比較することか可能となる機運が世界的に高まってきました。
そこでATR音声言語コミュニケーション研究所（ATR音声研）では、多言語翻訳技術の評価に関する公開国際評価ワークショップを主催し、翻訳技術の比較および測定手法の比較を行ないました。これまで、非公開の形でこのような評価ワークショップを行なったケースはありましたが、完全に公開の評価ワークショップの実施は今回が世界初の試みとなります。測定手法とそれに基づく測定結果の評価につきましては、東京大学の辻井潤一教授を委員長とする評価委員会により様々な観点から検討を実施しました。
今回の評価対象は、近年アジア言語の重要性が増していることを念頭において、日本語から英語、および中国語から英語への翻訳技術といたしました。実際の評価の手順は、ATRから配布された、大量の翻訳事例に基づいて、評価参加14団体が翻訳システムを構築・改良し、特定の期間を定めてATRから配布された新たな評価文を各団体が一斉に翻訳し、翻訳結果をATRがC-STARの協力の下で測定するという形で行なわれました。測定は、英語ネイティブスピーカによる、fluency（流暢さ）とadequacy（適切さ）に関する人手評価およびBLEU、NISTといった自動評価指標による評価の2通りが実施されました。測定結果に基づく評価の詳細は、9月30日から始まる国際評価ワークショップIWSLTにて報告されますが、概要は、10月５日より韓国で開催される世界最大規模の音声言語処理に関する国際会議ICSLPでも報告されます。本ワークショップを皮切りに、今後は音声認識など音声翻訳の技術も含めた形で評価ワークショップを継続して行う予定です。
| 記 会議名： International Workshop on Spoken Language Translation (IWSLT) (http://www.slt.atr.jp/IWSLT2004/) 日時： 2004年9月30日(木) 8:50-16:25、 10月1日(金) 9:00-17:50 参加登録者： 約100名 会場：（株）国際電気通信基礎技術研究所 (https://www.atr.jp) （〒619-0288 けいはんな学研都市２丁目２番地２） 評価参加団体：１４団体 ２８システム（ATR、東大、独・アーヘン工科大、伊・IRST、中・CAS、米・南カリフォルニア大、カーネギーメロン大など） |
 |
本研究成果は独立行政法人情報通信研究機構(NICT)からの研究委託「大規模コーパスベース音声対話翻訳の研究開発」プロジェクトにより実施したものです。
(*) C-STAR（Consortium for Speech Translation Advanced Research）は、ATR、米・カーネギーメロン大、中・CAS、韓・ETRI、伊・IRSTなどの世界の７つの研究機関で構成されています。