「AIは間違うことがある」と知っていても、なぜ信じてしまうのか
読みやすいと、正しく見える
人間には、文章が読みやすい・話し方がスムーズというだけで、内容そのものを検討する前に「これは正しそうだ」と感じてしまう傾向があります。
これは、意識してもなかなか抑えられるものではありません。「一見正しそうに見えても、間違っていることがある」と頭では理解していても、人間は判断を誤ります。目の錯覚と似たような構造です。「これは錯覚だ」と知識として知っていて、また実際に錯覚だとわかっても、見え方自体はそれほど変わらないものです。
この傾向は人間同士で問題にならなかったのか
流暢さを信頼や正しさの手がかりにするという判断の癖は、人間同士の会話においては、それなりに理にかなったものでした。
論理的に系統立てて説明できることは、その人がその話題について繰り返し考えたり調べたりした経験を反映していることが多いかと思います。また、自信を持って断定すれば、それが誤りだった場合に信用を失うという社会的なリスクを人間は負います。このリスクがあるからこそ、人は根拠のない断定を無意識のうちに避けています。
流暢さや自信を手がかりに真偽を判断するという習慣は、あくまでも人間同士の会話という条件下においては、それなりに機能する経験則だったということです。
詐欺や扇動の話法においても、難しい言葉を使う、断定的に話す、大量の情報で圧倒するというように、似たようなことが起きます。ただ、詐欺に対しては「これは怪しい」と気づく余地（詐欺という行為における挙動、背景となる利害関係、よく知られた詐欺特有の状況）がありえます。一方で生成AIには、悪意も、悪意を感じさせるサインもありません。
生成AIはこの前提を壊している
生成AIには、経験の蓄積も、誤ったときに信用を失うという社会的なリスクもありません。生成AIが間違ったことを言ってきたときに、「詐欺だ」と責めることもできません。そういう存在でありながら、一見整合が取れているかのように思える自信満々の文体は生み出せてしまいます。
特定の分野では一定以上の有用な確率で正しいことを言うのに、別の分野ではからっきしということもあります。正当性に疑問があるかどうかの区別なく、一切の検証はなされません。正しさについて検証されていないものの、その出力はある程度の高い確率で結果的に正しく、AI駆動開発など特定の分野ではその検証コストをかなり低く抑えることができるので、現実的な活用が可能となっています。機械的な検証が可能だからこそ、それが成立しています。
その検証を人間が行わなくてはいけない場合、事情は違ってきます。流暢さや自信とその裏にある根拠の確からしさという、人間同士の社会ではある程度結びついていた二つの要素を、生成AIという存在は完全に切り離してしまったと捉えることもできるでしょう。長い歴史の中で人間が培ってきた、ある意味では認知的な共感に基づいた判断基準が、この相手に対しては機能しません。それなのに、そういった手がかりに頼る判断の癖は、無意識のうちに出てきてしまうのです。
心構えは対処の代用にならない
ここで、「流暢な回答に惑わされないよう気をつけよう」という心構えは、実際の判断の場面ではほとんど機能しないと考えた方が良いでしょう。重要なのは、人間の意識に頼らない、具体的な手順を判断の前段階に組み込むことです。
- 回答を「事実」「計算・論理の筋道」「解釈・推測」に分けて、種類ごとに扱いを変える
- 確認できることは、AIの説明で終わらせず、実際に計算し直す・元の資料に当たる
- 「確実です」といった自信のある口調は、判断材料として使わない
- 箇条書きに要約させるなどして、文章の修飾を削った状態で中身を判断する
- 「元の資料で確認できていない内容には、その旨を明記すること」とあらかじめ指示し、確認済みの部分しか意思決定に使わないというルールを決めておく
錯覚に気をつけるだけではなく、定規を使って確かめる
「生成AIが間違える」こと自体が問題なのではありません。人間がずっと頼ってきた「流暢であることは信頼の証」という経験則が、生成AIに対しては成立しないにもかかわらず、そういう判断の癖だけが残っている、という点こそが問題です。だからこそ、生成AIを業務プロセスに導入する上では、ただ心構えを持つだけではなく、仕組みとして確認の手順を業務プロセスに組み込むことが重要です。
