昨今、ChatGPTに代表される生成AI（generative AI）が話題になっています。生成AIとは画像、文章、音楽などを生成することのできる人工知能のことです。そのような生成AIの多くが、機械翻訳の分野で培われた技術に基づいている、という事実をご存知でしょうか。この記事では、翻訳会社の視点から生成AIを眺めてみたいと思います。

自然言語処理を変えた2つの技術

ChatGPTは、GPT（Generative Pre-trained Transformer）と呼ばれる言語モデル※を基盤としています。この「Transformer」は、現在では多くの生成AIに使われている技術ですが、実は機械翻訳の発展の中で生み出されました。

※言語モデル：人間が話したり書いたりする言葉を単語の出現確率でモデル化したもの。文が途中まで与えられたときに次の単語を予測することが可能

2016年に公開され翻訳業界に激震をもたらしたGoogleのニューラル機械翻訳（Neural Machine Translation: NMT）には、2つの革新的な技術が使われました。サブワード分割（sub-word segmentation）と注視機構（attention）です。

サブワード分割により、文を単語より細かい単位（トークン）に分けることで、語彙のサイズを抑えながら未知語を少なくすることができます。また、注視機構は、トークン間の関連についての情報を与え、長い文の翻訳精度向上に寄与します。

さらに2017年、Googleは、注視機構に全面的に依存したTransformerモデルを発表し、機械翻訳の性能を大幅に引き上げました。ほどなく、主要な機械翻訳サービスは、弊社の「みんなの自動翻訳@KI」も含め、軒並みTransformerモデルに移行しました。

NMTにおけるTransformerとサブワード分割の成功を受けて、ほかの自然言語処理※でも、これらの技術を使った言語モデルが作られるようになりました。GPTもその1つです。

※自然言語処理：人間が日常的に使っている自然言語を機械に処理させること

汎用大規模言語モデル

NMTは、原文を処理する前半部分（エンコーダー）と訳文を生成する後半部分（デコーダー）に大きく分けることができます。GPTは、NMTのデコーダーと同じ処理を行う言語モデルであり、文が途中まで与えられたときに、その続きを生成できます。

AIに翻訳を学習させるには、教師データとなる対訳集を人間が用意しなければなりません（教師あり学習: supervised learning）。一方、続きの生成なら、人間が書いた文章を大量に与えておけば、AIが自分で問題とその答えを作って学習できます（自己教師あり学習: self-supervised learning）。

このようにして大量の文章を学習させた言語モデルを、大規模言語モデル（Large Language Model: LLM）と言います。LLMは、ある意味で大量の文章を「覚えて」います。いわば、事前学習された（pre-trained）汎用言語モデルです。

LLMを基盤モデルとして、各タスク向けの教師データでファインチューニング※することで、高性能言語モデルをつくることができます。ChatGPTは、GPTをチャット用にファインチューニングしたものというわけです。

※ファインチューニング：学習済みのモデルに別のタスク用のデータを再学習させてモデルを微調整すること

なお、ChatGPTが従来のチャットボットと一線を画す点は、不適切な文の生成を防ぐためにRLHF（Reinforcement Learning from Human Feedback）と呼ばれる強化学習をしていることにあるのですが、この記事では説明を割愛します。

ChatGPTにできることとできないこと

GPTは、いくら高性能といっても、あくまで言語モデルであり、人間と同じ意味での知識は持っていません。したがって、ChatGPTに知識を問う質問をしても、その答えは信頼できません。

たとえば、筆者が住んでいる福岡市の動物園にビントロングという動物がいますが、ChatGPTに「ビントロングは何を食べる？」と尋ねたところ、ビントロングはヒツジだから草を食べると言ってみたり、フクロウだから小動物と言ってみたり、回答を生成するたびに異なった答えが返ってきて、そのほとんどが誤っていました。

また、言語モデルは論理的推論ができません。ChatGPTに次の質問を何度かしてみましたが、正答することは一度もありませんでした。

A: 「Bは嘘つきだ」B: 「Cは嘘つきだ」C: 「Aは正直だ」
この中で嘘つきが一人だけいるとすると、嘘つきは誰ですか？

そのため、言語モデルが生成する文章は、表面上はもっともらしいのですが、内容が論理的に破綻していることがあります。

このような生成AIの限界は、NMTの限界とよく似ています。現在の機械翻訳も、流暢さでは人並みで、表面上はもっともらしい訳文を生成しますが、誤訳や訳抜け・湧き出しがしばしば見られ、正確性では人間の翻訳者におよびません。逆に言えば、ChatGPTは、内容の正確性を、人間が担保できるようなタスクに向いています。具体的には、長い文章の要約や文法的な誤りの訂正などです。とは言え、それらも完璧にこなすというわけではありません。

機械翻訳の性能が向上したとき、翻訳者の仕事が機械に奪われるのではないかと考えた人が少なからずいました。しかし実際には、翻訳者の仕事は、変わりこそすれ、なくなってはいません。現在の機械翻訳が、訳文をそのままエンドユーザーに届けられる水準に達していないからです。

生成AIも同じでしょう。生成AIは副操縦士（co-pilot）だと言われることがあります。最終成果物を生み出す操縦士はあくまで人間であり、生成AIは人間を補助するものと位置付けるのがよいように思います。

機械翻訳エンジンとしてのChatGPT

ChatGPTのような生成AIに人間が与える指示をプロンプト（prompt）と呼びます。プロンプトによっては、ChatGPTに翻訳をさせることも可能です。

試しに、ChatGPTの紹介文をChatGPTに訳してもらいましょう。

と質問すると、

と英日翻訳をしてくれます。「challenge」を誤訳していますが、機械翻訳としては及第と言ってよいでしょう。

ChatGPTは、一般的な機械翻訳エンジンと異なり、1つのモデルで多言語の翻訳をこなします。このような多言語翻訳モデルは、一部の機械翻訳サービスでも実用化が始まっていますが、十分な量の対訳データがある言語対では、まだ従来の二言語一方向翻訳モデルに分があるようです。

また、ChatGPTは翻訳専用でないため、「次の文を訳してください」のようなプロンプトが必要です。これは一見デメリットのようですが、逆手にとれば、従来の翻訳エンジンにはない使い方が可能になります。プロンプトを変えることで訳文を変えることができるのです。

たとえば、先ほど誤訳した「challenge」の訳語を指定してみましょう。

と質問すると、下記の回答が得られました。

これで誤訳がなくなりました。「唱えたり」と正しく活用しているところは流石ですね。

このようにプロンプトを工夫して望みの結果を得ることを、プロンプトエンジニアリング（prompt engineering）と言います。機械翻訳の訳文をカスタマイズする方法として、追加学習と用語適用がありますが、プロンプトエンジニアリングはひょっとして第3のカスタマイズ手法になるかもしれません。

まとめ

現在、世界中で話題となっているChatGPTと機械翻訳の関係についてご説明しました。少し専門的ではありましたが、理解いただけたでしょうか。弊社が提供するAPIサービス「LDX hub」でもChatGPTを活用したサービスをご案内しております。ご興味のある方はぜひお問い合わせください。

関連記事

• 特許翻訳DXのススメ＜明細書翻訳における機械翻訳活用方法＞
• 機械翻訳の出力結果をより良く簡単に！XMAT®で用語集を活用する方法
• 流行りのDeepLも使い放題！機械翻訳界の超新星「XMAT」とは⁉