機械翻訳・AI翻訳の「良さ」をどう測る?ルールベースからAI評価まで
近年、機械翻訳・AI翻訳の性能は驚くほど向上しています。それでも、いつも正確な翻訳をするとは限りません。機械翻訳・AI翻訳を使う上で、「この訳はどの程度良いのか?」と気になる場面も多いのではないでしょうか。訳文の品質を自動的に評価する方法はないものでしょうか。
実は、そのような自動評価方法は、これまでにさまざま提案されてきました。この記事では、TER、BLEU、COMETといった代表的な評価手法をいくつか取り上げ、それぞれの長所と短所を紹介します。
目次 [非表示]
ルールベースの評価手法
従来から使われている手法が、ルールベースの評価方法です。これは、人手による正解訳(参照訳)と機械訳とを比較して、似ている度合いを数値化するアプローチです。正解訳と機械訳の類似度が高ければ機械訳の品質が良いという考え方に基づいています。
編集距離:どれだけ書き換える必要があるか?
類似度を計算する方法には「編集距離」を使うものがあります。もっともよく知られているのはレーベンシュタイン距離(Levenshtein Distance)でしょう。これは、ある文を別の文に変えるために必要な「挿入・削除・置換」の回数を数えます。少ない数の操作で一方を他方に変えることができれば、2つの文は似ていると判定されます。
編集距離を翻訳評価向けに拡張した指標として、TER(Translation Edit Rate)があります。TERでは、単語を操作の単位とし、「挿入・削除・置換」に加えて「シフト(位置ずらし)」も1つの操作として数えます。そして、文の長さ(通常は正解訳の単語数)で割って数値化します。
そのため、TERは、人手でポストエディットをするときの作業負荷と相関が高いと考えられます。TERが低ければ、修正に必要な手間が少なく、したがって訳文の質がよいとみなせます。
一方、単語を操作単位とするため、日本語・中国語・タイ語のような単語分かち書きをしない言語では、事前に単語に分割する必要があります。また、日本語のように語順や表現の揺れが大きい言語では、機械訳の意味が参照訳とほとんど同じで、実際の翻訳品質としては問題がないのに、類似度が下がってしまい、評価が下がるということが起こりやすくなります。
nグラム一致:どのくらい表現が一致しているか?
類似度を測る別の方法として、文から単語列や文字列を取り出して、それらの一致度を見る方法があります。単語や文字がn個並んだものをnグラムと言いますが、正解訳と機械訳の両方でn グラムを列挙したとき、一致するnグラムの数が多ければ、正解訳と機械訳が類似しており、機械訳の品質が高いと考えられます。
翻訳評価で最も有名な指標の一つがBLEU(Bilingual Evaluation Understudy)です。これは、単語nグラムの一致率をもとにスコアを計算します。翻訳エンジンの性能を評価する場面では、かなり早い時期に人手評価との高い相関を示したため、翻訳業界で事実上の標準として使われてきました。
ただし、単語ベースであるため、単語分かち書きしない言語では事前の単語分割が必要です。また、もともと翻訳エンジン自体の性能を測る目的で作られているため、文単位で品質を評価する場面ではスコアの信頼性が低下します。
その欠点を補う指標として、chrF(character n-gram F-score)があります。これは文字nグラムの一致に基づくので、言語を問わず使用でき、文ごとの評価にも向いています。訳抜けに対するペナルティを重視したバリエーションであるchrF2もよく使われます。
AIによる評価
これまで紹介してきたルールベースの評価には、共通した欠点があります。文の表面上の類似度しか測ることができないので、意味が同じ言い換えがあると評価が下がってしまいますし、機械訳が不自然な文になっていても評価が高くなることがあります。
ところが、近年のAIの性能向上により、AIを使って意味や流暢さの観点から訳文を評価できるようになりました。

AIによる評価指標としてよく使われているものに、COMET(Crosslingual Optimized Metric for Evaluation of Translation)があります。これは、人手評価の結果を学習させたニューラルネットワークモデルを使って訳文を評価します。意味を基準に品質を判定するため、言い換えや語順の違いの影響を受けにくいという長所があります。
なお、COMETにはいくつかのモデルが用意されていて、モデルによって実行方法や評価能力が異なります。モデルによって利用ライセンスも異なっているので、商用利用する場合にはモデルのライセンスを確認する必要があります。また、ニューラルネットワークの特性として、固有名詞や数値の間違い(誤訳)、情報の追加(湧き出し)や欠落(訳抜け)などを見落とす場合があることが指摘されています。そのため、最近は、ルールベースの表面的な評価とAIを使った意味の評価を併用することが多くなっています。
さらに新しい流れとして注目されているのが、GPTやGemini、ClaudeといったLLM(大規模言語モデル)を評価者として使う方法です。このような手法は一般にLLM-as-a-judgeと呼ばれています。LLM-as-a-judgeで訳文を評価する場合、重視したい観点を指定して評価させることができるので、用途に合わせた柔軟な品質評価が可能です。
ただし、実務で大量の訳文をまとめて評価しようとすると、チャットの画面では限界があります。そんなときは、弊社のStructFlowが役に立つかもしれません。StructFlowなら、大量のデータに対してAIに任意の指示を実行させることができます。
まとめ
従来、機械翻訳・AI翻訳の評価では、参照訳との表面的な類似度を測る方法が一般的でした。今では、AIを使って、意味や流暢性の評価もできるようになりました。そして、それらより信頼性の高い評価方法として、人手評価も忘れてはいけません。
ルールベースの評価にもAIの評価にも、それぞれ長所と短所があります。人手評価にも、時間とコストがかかるという欠点があります。そのため、さまざまな評価方法の特性を理解した上で、要件に合った方法を選択し組み合わせることが大切ではないでしょうか。
参考文献
A Study of Translation Edit Rate with Targeted Human Annotation
Bleu: a Method for Automatic Evaluation of Machine Translation
chrF: character n-gram F-score for automatic MT evaluation
COMET: A Neural Framework for MT Evaluation
BLEU Meets COMET: Combining Lexical and Neural Metrics Towards Robust Machine Translation Evaluation
Pitfalls and Outlooks in Using COMET
川村インターナショナルの翻訳サービス
川村インターナショナルでは、機械翻訳・AI翻訳活用プラットフォーム「XMAT®(トランスマット)」を提供しています。XMATでは翻訳文字数を気にせず、高品質かつ安全な機械翻訳・AI翻訳を提供することができます。テキスト・ドキュメント翻訳に加え、翻訳エディター機能や生成AI(LLM)による修正機能もご利用いただけます。また、機械翻訳・AI翻訳サービスの提供だけではなく、より円滑な翻訳業務ができるよう、様々なご提案をさせて頂いています。
翻訳の課題をお持ちの法人・個人のお客様はお気軽にお問い合わせください。