翻訳・機械翻訳・ポストエディットなど翻訳に関連する情報を発信
機械翻訳・AI翻訳の「良さ」をどう測る?ルールベースからAI評価まで

機械翻訳・AI翻訳の「良さ」をどう測る?ルールベースからAI評価まで

近年、機械翻訳・AI翻訳の性能は驚くほど向上しています。それでも、いつも正確な翻訳をするとは限りません。機械翻訳・AI翻訳を使う上で、「この訳はどの程度良いのか?」と気になる場面も多いのではないでしょうか。訳文の品質を自動的に評価する方法はないものでしょうか。

実は、そのような自動評価方法は、これまでにさまざま提案されてきました。この記事では、TER、BLEU、COMETといった代表的な評価手法をいくつか取り上げ、それぞれの長所と短所を紹介します。

 

目次 [非表示]

ルールベースの評価手法

従来から使われている手法が、ルールベースの評価方法です。これは、人手による正解訳(参照訳)と機械訳とを比較して、似ている度合いを数値化するアプローチです。正解訳と機械訳の類似度が高ければ機械訳の品質が良いという考え方に基づいています。

編集距離:どれだけ書き換える必要があるか?

類似度を計算する方法には「編集距離」を使うものがあります。もっともよく知られているのはレーベンシュタイン距離(Levenshtein Distance)でしょう。これは、ある文を別の文に変えるために必要な「挿入・削除・置換」の回数を数えます。少ない数の操作で一方を他方に変えることができれば、2つの文は似ていると判定されます。

編集距離を翻訳評価向けに拡張した指標として、TER(Translation Edit Rate)があります。TERでは、単語を操作の単位とし、「挿入・削除・置換」に加えて「シフト(位置ずらし)」も1つの操作として数えます。そして、文の長さ(通常は正解訳の単語数)で割って数値化します。

そのため、TERは、人手でポストエディットをするときの作業負荷と相関が高いと考えられます。TERが低ければ、修正に必要な手間が少なく、したがって訳文の質がよいとみなせます。

一方、単語を操作単位とするため、日本語・中国語・タイ語のような単語分かち書きをしない言語では、事前に単語に分割する必要があります。また、日本語のように語順や表現の揺れが大きい言語では、機械訳の意味が参照訳とほとんど同じで、実際の翻訳品質としては問題がないのに、類似度が下がってしまい、評価が下がるということが起こりやすくなります。

nグラム一致:どのくらい表現が一致しているか?

類似度を測る別の方法として、文から単語列や文字列を取り出して、それらの一致度を見る方法があります。単語や文字がn個並んだものをnグラムと言いますが、正解訳と機械訳の両方でn グラムを列挙したとき、一致するnグラムの数が多ければ、正解訳と機械訳が類似しており、機械訳の品質が高いと考えられます。

翻訳評価で最も有名な指標の一つがBLEU(Bilingual Evaluation Understudy)です。これは、単語nグラムの一致率をもとにスコアを計算します。翻訳エンジンの性能を評価する場面では、かなり早い時期に人手評価との高い相関を示したため、翻訳業界で事実上の標準として使われてきました。

ただし、単語ベースであるため、単語分かち書きしない言語では事前の単語分割が必要です。また、もともと翻訳エンジン自体の性能を測る目的で作られているため、文単位で品質を評価する場面ではスコアの信頼性が低下します。

その欠点を補う指標として、chrF(character n-gram F-score)があります。これは文字nグラムの一致に基づくので、言語を問わず使用でき、文ごとの評価にも向いています。訳抜けに対するペナルティを重視したバリエーションであるchrF2もよく使われます。 

 

AIによる評価

これまで紹介してきたルールベースの評価には、共通した欠点があります。文の表面上の類似度しか測ることができないので、意味が同じ言い換えがあると評価が下がってしまいますし、機械訳が不自然な文になっていても評価が高くなることがあります。
ところが、近年のAIの性能向上により、AIを使って意味や流暢さの観点から訳文を評価できるようになりました。

blog_brain_at_desk

AIによる評価指標としてよく使われているものに、COMET(Crosslingual Optimized Metric for Evaluation of Translation)があります。これは、人手評価の結果を学習させたニューラルネットワークモデルを使って訳文を評価します。意味を基準に品質を判定するため、言い換えや語順の違いの影響を受けにくいという長所があります。

なお、COMETにはいくつかのモデルが用意されていて、モデルによって実行方法や評価能力が異なります。モデルによって利用ライセンスも異なっているので、商用利用する場合にはモデルのライセンスを確認する必要があります。また、ニューラルネットワークの特性として、固有名詞や数値の間違い(誤訳)、情報の追加(湧き出し)や欠落(訳抜け)などを見落とす場合があることが指摘されています。そのため、最近は、ルールベースの表面的な評価とAIを使った意味の評価を併用することが多くなっています。

さらに新しい流れとして注目されているのが、GPTやGemini、ClaudeといったLLM(大規模言語モデル)を評価者として使う方法です。このような手法は一般にLLM-as-a-judgeと呼ばれています。LLM-as-a-judgeで訳文を評価する場合、重視したい観点を指定して評価させることができるので、用途に合わせた柔軟な品質評価が可能です。

ただし、実務で大量の訳文をまとめて評価しようとすると、チャットの画面では限界があります。そんなときは、弊社のStructFlowが役に立つかもしれません。StructFlowなら、大量のデータに対してAIに任意の指示を実行させることができます。

KIマーケティングチーム

KIマーケティングチーム

川村インターナショナルWebマーケティングチームです。開催予定セミナーやイベントの告知、ブログ運営などを担当しています。

この記事がお役に立ったらシェアをお願いします!

ホワイトペーパーはこちら

ブログまとめ ChatGPTと機械翻訳の意外な関係

ChatGPTに代表される生成AIが機械翻訳の分野で培われた技術に基づいていることはご存じでしょうか?生成AIの成り立ちから、生成AIと機械翻訳との性能の違い、LLMとNMTを翻訳で利用する際の注意点などについて、人気ブログの記事をまとめました。

コンテンツIP海外展開に向けた多言語運用のご案内

IR翻訳に求められるスピードと品質を両立できる新しいサービス「ハイブリッドポストエディット」のご紹介です。


新着記事

機械翻訳・AI翻訳の「良さ」をどう測る?ルールベースからAI評価まで
AIだけで契約書翻訳は大丈夫?知っておきたいメリットとリスク
技能実習制度でニーズ拡大中 - ネパール語について
「ギガがない」はもう当たり前?日常に広がるIT用語とことばの変化
英語に「同じ意味の単語」が多い理由 - ゲルマン系・フランス語・ラテン語の三層構造