AIの答えが間違っていて、誤ったまま覚えてしまった。どう覚え直す？訂正と記憶の研究

AIの説明で覚えた内容が、教科書と違っていた。模試で自信を持って書いた答えが、実はAIの間違いだった。気づいたとき、「どこまで信じていいのか」と不安になる人は少なくありません。研究からわかるのは、誤って覚えたことは訂正できること、ただし「違う」と知るだけでは残りやすく、なぜ違うかまで確かめて思い出し直す必要があることです。

01 悩みの正体AIの間違いを覚えてしまうのはなぜ？

人は、読んだ内容の正しさを、読みながら確かめるとは限らないためです。もともと知っていたことでも、読んだ誤りに置き換わることが実験で確かめられています。

AIの説明は、文章がなめらかで、自信がありそうに書かれています。そのため、内容の正しさを確かめる前に「わかった」と受け入れやすくなります。

誤りの入った物語を読ませる実験では、2週間前の一般常識テストで正しく答えられていた問題でも、物語の誤りをそのまま答える人がいました。最も自信を持って正解していた問題でも同じことが起きました[2]。知っているから大丈夫、とは限らないのです。

そして、AIは間違えます。どれくらい間違えるかは分野で大きく違い、全体の誤り率を示した研究はまだありません。ただ、たとえば文献リストを作らせた研究では、実在しない文献がかなりの割合で混じっていました[1]。

02 科学的にわかっていること誤って覚えたことは、正しく覚え直せる？

覚え直せます。ただし、誤りだと知るだけでは一部が残りやすく、なぜ違うのかを詳しく示す訂正と、後で正しい答えを思い出す練習が効果を高めます。

ここで紹介した研究の多くは、実験室で短い文章や問題を使ったものです。AIで資格や語学を学ぶ社会人を、直接調べた研究ではありません。手順は、わかっていることを独学に当てはめたものです。

03 今日からできる小さな一歩AIの間違いを覚えた後、どう覚え直せばいい？

一次資料で正しい答えを確かめ、「誤→正」と違う理由を1枚に書きます。誤った説明は読み返さず、日をあけて正しい答えを思い出す練習を2〜3回します。

AIの答えのうち、特に確かめたいものを表にしました。表の分け方は、上の研究をもとにこの記事で整理したものです。

AIの答えの中身	確かめ方
論文・本・出典の名前	図書館や論文データベースで実在を確かめる。実在しない文献の例が多く報告されている[1]
数字・年・条文の番号	教科書や原文で1つずつ照合する。実在する文献でも巻・ページ・年の誤りが多かった[1]
自分がすでに知っているつもりの内容	知っていても誤りを覚えることがある[2]。違和感があれば、その場で印をつける
試験に出る定義・公式	覚える前に教科書の表現と比べる。違えば教科書を優先する

04 続けるためのコツAIの間違いをまた覚えないためには？

AIの答えは「確かめる前の下書き」として扱い、覚える前に一次資料と照合する手順を決めておきます。AIを使うことをやめる必要はありません。

• AIで調べた内容には「未確認」の印をつけ、一次資料で確かめたら印を消してから覚える。
• 訂正カードは1か所にまとめ、週1回、「正」を隠して答える。
• AIの説明でわかった気になる理由は、AIの説明でわかった気になる研究の記事にまとめています。
• 使う前・使っている間・使った後の確認は、AIで勉強するときのチェック表が使えます。

05よくある質問

一度間違って覚えたことは、正しく覚え直せますか？

覚え直せます。記憶の研究では、間違えた後に正しい答えを示されると、その答えが後まで残りやすくなりました。自信を持って間違えた答えほど、訂正されやすいこともわかっています。ただし誤りは訂正後も一部残りやすいので、日をあけて正しい答えを思い出す確認をします。

「この答えは間違い」とメモするだけでは足りませんか？

足りない可能性があります。52の効果をまとめたメタ分析では、誤りだと告げるだけの訂正より、なぜ違うのかを詳しく示す訂正の方が効果が大きくなりました。正しい答えと、違う理由を1文で書き添えるのが研究に合っています。

AIの答えは、どれくらい間違っているのですか？

分野やAIの種類で大きく変わり、全体の誤り率を示した研究はまだありません。2023年の研究では、ChatGPTが作った文献リストのうち、GPT-3.5では55%、GPT-4では18%が実在しない文献でした。数字・固有名詞・出典は、一次資料で確かめる前提で使います。

関連記事

AIと独学

AIで勉強するときのチェック表（使う前・使っている間・使った後）。答えを写さずに力をつける9項目と記録表

AIと独学

AIに答えを聞くと勉強は身につかないのか。研究でわかった「使い方の分かれ目」

AIと独学

AIの説明を読むとわかった気になるのはなぜ？説明のなめらかさと「説明深度の錯覚」の研究