機械翻訳は人間を超えるのか

昨今のAIの急速な発達で、仕事の自動化と雇用の減少が懸念されています。

私が所属している部署は様々な文書を翻訳するチームであり、もはや必要なくなるかもしれない部署のうちの一つです。そこで今回は本当に翻訳ツールは人間を超えるのか、我々の仕事は不要になってしまうのか、業務中に感じたことをまとめてみました。

実例

様々な翻訳ツールがありますが、ChatGPTを例に挙げてみようと思います。（※今回はChatGPT-3.5 <無料版>で検証しました。）

英語は日本語と異なり主語や目的語が省略されないため、ChatGPTは英→日の（大意を知るための）翻訳には優れていると思います。ですが、日→英の翻訳において、正確で端的な表現が要求される場面ではポイントがずれたり、対応関係を誤ったり、文が冗長になる傾向があるようです。

＜例①＞文意を読み取れない

◆日本語文

ここで言う個人情報保護とは、同意の上で個人情報を提供してもらうと言うことです。

◆機械翻訳

The protection of personal information here means that you will be provided with personal information with your consent.

◆人間翻訳

The protection of personal information here means that personal information will be provided upon your consent.

日本語の文意は「個人が、同意のもとで個人情報を提供すること」です。 一方で、機械翻訳の意味は「個人情報の提供を受けるにあたって同意を要すること」になり、日本語の文意に一致しません。 日本語内に主語がないことから、機械翻訳が文意を汲み取れていない一例です。

＜例②＞目的語の取り違い

◆日本語文

AIサービスのリスクについて、法的な規制の動きも出ています。

◆機械翻訳

There are moves to regulate the risks of AI services.

◆人間翻訳

There are several movements for regulating AI services.

「リスクについて」との記載があることから、機械翻訳では「リスク」を目的語（規制の対象）と捉えています。 しかしながら、規制の動きはAIサービスに対して出ているものであり、背景の汲み取りが難しい機械翻訳で訳しきれていない一例です。

以前私が書いたブログで、短い/単純な文章にはどの翻訳ツールを使っても大差がなく、どれも精度が高そうに感じられると述べましたが、前後の文章やその内容における前提・背景が分かっていないと、例え短文でも例①②のような現象が起こるようです。

＜例③＞違和感・冗長的

弊社が公開しているYouTube動画「量子コンピュータ、はじめの一歩 #devio2020」においての翻訳です。

◆日本語文

量子コンピュータは今までのコンピュータと違い、先程説明した量子ビットを使うのだけれども、何が嬉しいのでしょうか。これには、同時に扱える計算量が増えるということが挙げられます。例えば、ビットが2つのときを考えてみましょう。今2つのビットがあります。それが0と1というビットだったとしましょう。（中略）同じように、今度は量子ビットが2つのときを考えてみましょう。この時、量子ビットは0と0、0と1、1と0、1と1のどれになるかということは、観測するまで確定していません。

◆機械翻訳

What makes quantum computers exciting and different from traditional computers, as mentioned earlier, is their use of quantum bits. So, what are the advantages? One of the major advantages is the increased computational capacity that can be handled simultaneously. Let's consider an example with two bits. We have two bits, and let's say they are 0 and 1. （中略）Similarly, let's now consider the case of having two quantum bits. At this point, the quantum bits can be in any of the four possible states: 0 and 0, 0 and 1, 1 and 0, or 1 and 1. The actual state remains undetermined until observed.

◆人間翻訳

Unlike classical computers, quantum computers use qubits explained earlier. So what's good about it? One is that qubits help us increase the computational capacity to be processed simultaneously. For example, say we have two bits, which are 0 and 1.（中略）Likewise, say that we now have two qubits. The states of the qubits, whether they go 0 0, 0 1, 1 0, or 1 1, are not determined until observed.

ChatGPTは「言葉の文字通りの意味」にとらわれて焦点が定まっていない翻訳をしています。省略すべき点と強調すべき点の違いを判断できておらず、すべてをフラットに解釈して翻訳しているせいで、逆に意味が変わっています("What makes…the advantages?" 等)。また、余計なフレーズが混ざっていたり ("Let's consider...0 and 1." 等)、センテンスの繋がりに違和感があったり ("...and 1. The actual..." 等)、「言ってることは分かるけど、なんかズレてる」文章です。 この「なんかズレてる」といった（全体の文脈や流れの関係で生まれる直観的な）感覚を持てないのがChatGPTの弱点のような気がします。 また文字数も、人間訳が392、ChatGPT訳が590で1.5倍の長さです。

こんな意外な見解、メッセージも

チームメンバーがChatGPTについて調べていくうちに意外で面白い記事を見つけてくれたので共有します。

香港大学でChatGPTについて下記のような論文を発表しました。

"despite its powerful abilities, anecdotal reports on ChatGPT have consistently shown significant remaining challenges - for example, it fails in some elementary mathematical and commonsense reasoning tasks it hallucinates with human-like fluency and eloquence on things that are not based on truth and as a general-purpose language model trained from everything on the web, its language coverage is questionable. CEO tweeted that 'It's a mistake to be relying on [ChatGPT] for anything important right now'... "

「その優れた能力にもかかわらず、ChatGPTに関する様々な経験的報告は、ChatGPTに残された大きな課題を一貫して示している。例えば、初歩的な数学的問題、常識的な推論タスクで失敗したり、人間らしい流暢さで幻覚を起こし（*hallucination:人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象)、事実に基づかないことを雄弁に語り、Web上のあらゆるものから学習した汎用言語モデルとしては、その言語的対応力には怪しいものがある。OpenAI社のCEOは『現時点では、何であれ重要な事柄についてChatGPTに頼るのは間違いだ』とツイートしている。」

そのOpenAI社のCEOがしたツイートがこちら

CEO自身が「信用しないでね」と言っているのが意外でした。

まとめ

私は決してChatGPTや機械翻訳ツールを否定しているわけではありません。

以前私が翻訳の整合性について書いたブログでも述べましたが、ChatGPTにおいては口調・文章レベルの指定ができますし、元々の翻訳性能が高いので、作業工数・時間を大きく削減してくれると思います。実際私も翻訳機能としてだけでなく、業務中様々な場面で利用しています。

こちらはChatGPTの公式ドキュメントです。

"It cannot verify facts, provide references, or perform calculations or translations. It can only generate responses based on the context it has (user inputted information, training data)"　"While the model may appear to give confident and reasonable sounding answers, these limitations are important to keep in mind."

「事実の確認、参考資料の提供、計算や翻訳を行うことはできません。ユーザーが入力した情報、学習データなどの文脈に基づき、あくまでレスポンスを生成することしかできません。...(ChatGPTの)モデルは一見、自信に満ちたもっともらしい答えを出すように見えるかもしれませんが、こうした限界に留意することが重要です。」

繰り返しになりますが、昨今の機械翻訳ツールは大変優れています。ですが、公の場に出す内容や、翻訳された内容の整合性が確認できない方は、ChatGPTの公式ドキュメントで上記のように述べているように、完全に信用してそのまま利用することは危ないのではないかと感じています。

よって、現段階においては、翻訳・通訳者の仕事はまだまだ必要であると思いました。