AIはなぜ、もっともらしい間違いを自信ありげに答えるのか？「ハルシネーション」の仕組みと、独学で間違いやすい質問

AIに聞くと、迷いのない文章で答えが返ってきます。ところが調べ直すと、年号や人名、論文の題名がまちがっていた。しかも、まちがっているときも口調は自信たっぷり。独学でAIを使っていると、こうした経験に戸惑うことがあります。これは偶然の故障ではなく、AIの作られ方と評価のされ方から起きやすいことが、研究で説明されています。

01 悩みの正体AIは、なぜ自信ありげにまちがえる？

AIは「次に来そうな言葉」を予測するように作られており、めったに出てこない事実は当てにくいからです。さらに、推測で答える方が評価で得をする仕組みが、まちがいを残してしまいます。

AIがもっともらしい誤りを答えることをハルシネーションと呼びます。Kalaiらは、その原因を2段階で説明しました[1]。

1つ目は、作り始めの学習です。AIは大量の文章から「次に来る言葉」を予測するように学びます。文法やつづりのように何度も出てくる決まりは身につきます。ところが、ある人の誕生日のように学習データに一度しか出てこない事実は、パターンとして学べません。著者らは、データにまちがいが1つもなくても、こうした誤りはなくならないことを理論的に示しました。

2つ目は、その後の評価です。AIの性能は、多くの場合「正答率」で比べられます。正答率では「わからない」は0点で、推測が当たれば1点です。著者らはこれを、難しい試験問題で、空欄にせずに推測で埋める受験生にたとえています。推測が得になる採点が続くかぎり、AIは自信がなくても答えを作りがちになります。

口調が自信ありげなのは、正しさとは別の話です。AIの説明が「わかった感じ」を強める仕組みは、AIの説明を読むとわかった気になるのはなぜ？にまとめています。

02 科学的にわかっていることAIのまちがいは、どのくらい起きる？

文献を挙げさせた調査では、実在しない文献が2割〜9割の割合で混ざっていました。同じ質問をくり返すと答えがぶれる所は、まちがいを見つける手がかりになります。

ここで紹介した数字は、調べた時点のAIと課題での結果です。AIは改良が続いており、まちがいの割合は変わっていきます。それでも、一度しか出てこない細かい事実が外れやすいという仕組みは、勉強でAIを使うときの注意点として役に立ちます。

03 今日からできる小さな一歩勉強中、AIのまちがいに気づくには？

数字・人名・年号・文献など「細かい1つの事実」は、必ず教科書や公式の資料で確かめます。迷ったら、同じ質問を聞き直して答えがぶれないかを見ます。

04 続けるためのコツAIで勉強を続けながら、まちがいを覚えないためには？

AIの答えをそのままノートに写さず、確かめた事実だけを残す習慣にします。すでにまちがって覚えたときの直し方もあります。

• 「わからない」と言ってよいと伝える。質問の最後に「確かでなければ、わからないと答えて」と書き添えます。推測を有利にしない採点のしかたを、著者らが提案していることにもとづく、この記事の応用です[1]。効果を確かめた研究ではありません。
• 使う前・使った後の確認を決めておく。確かめる項目はAIで勉強するときのチェック表にまとめています。
• まちがって覚えてしまったら。正しい答えに覚え直すやり方はAIの答えが間違っていて、誤ったまま覚えてしまったらにあります。

05よくある質問

新しいAIなら、もうまちがえない？

まちがいは減ってきていますが、なくなってはいません。研究者は、学習データに一度しか出てこない事実のまちがいは、データに誤りがなくても残ると理論的に示しています[1]。文献の調査でも、新しいGPT-4の方が少なかったものの、実在しない文献が18%ありました[4]。

AIが自信ありげに答えたら、正しいと考えていい？

口調の自信は、正しさの目安になりません。AIは自信がなくても推測で答えた方が評価で得をしやすい、と研究者は指摘しています[1]。数字や人名など細かい事実は、口調にかかわらず確かめます。

同じ質問を何回聞けば安心？

何回なら安心という決まりはありません。答えがぶれる所はまちがいの手がかりになりますが[2]、毎回同じまちがいをすることもあります。大事な事実は、教科書や公式の資料で確かめるのが確実です。

関連記事

AIと独学

AIに作文を添削させると上達するのか。AIの添削（自動フィードバック）と学習の研究

AIと独学

AIに頼りすぎて、自分では解けなくなった。どう立て直す？AIなしで解ける力を取り戻す研究と手順

AIと独学

AIの説明を読むとわかった気になるのはなぜ？説明のなめらかさと「説明深度の錯覚」の研究