AIの答えの「裏取り表」。答えの種類ごとに、どこで・どう確かめるか（横読みとAIの誤りの研究から）

約8分で読めます

本と虫めがね — Photo: João Silas / Public domain / Wikimedia Commons

AIによる調査公開された研究をAIが調べて整理しました（独自の実験ではありません。出典は末尾）。

AIの説明はなめらかで、正しそうに見えます。けれど、AIが挙げた文献の18〜55%が実在しなかったという調査もあります。とはいえ、答えを全部調べ直す時間はありません。この記事では、プロの事実確認者が使う「横読み」と、AIのまちがいの研究をもとに、答えの種類ごとに「どこで・どう確かめるか」をまとめた裏取り表と記録表を紹介します。

3行でわかる

答えを読み込む前に、ページの外で「誰が言っているか」「ほかでも確かめられているか」を調べるのが横読み。米国の大学の授業で教わった学生は、61.0%が事後テストで1問以上を横読みして正しく判定できた（教わる前は全体で7.0%）。
AIに「本当？」と確かめさせるだけでは足りない。AIの事実確認を見た2,159人は、本当と嘘の見分けがよくならなかった。人が書いた事実確認を見た人はよくなった。
表1で、文献・数字・定義・計算・新しい情報など答えの種類ごとに確かめる場所を決める。ノートに書く前に1か所だけ確かめ、表2に1行残す。

01 悩みの正体AIの答えをそのまま信じると、なぜ危ない？

AIは、まちがった答えも正しい答えと同じなめらかな文で返すからです。読んでいるだけでは見分けにくいので、答えの外に出て確かめる手順を先に決めておきます。

AIがもっともらしいまちがいを答える理由はハルシネーションの記事で、「合ってる？」と聞くと合っていると言われやすい理由はAIの迎合の記事で扱いました。

この記事は、その先の「では、どう確かめるか」に絞ります。答えの中身をいくら読み込んでも、まちがいは見つけにくいものです。大事なのは、AIの画面を離れて、別の情報源と突き合わせることです。

02 科学的にわかっていることAIの答えを確かめるのに、役立つ方法は？

ページの外で確かめる「横読み」は、授業で教わると使えるようになり、短い助言でも使う人が増えました。一方、AIに判定させた事実確認は、正しい情報まで疑わせることがありました。

Brodskyら（2021）[1]

大学の授業で、事実確認の4つの手順（信頼できる情報源の記事を探す・元の情報を見つける・発信元を調べる・最初に戻る）を教えた。事後テストで、1問以上を横読みして正しく判定できた学生は61.0%（136人中83人）。問題の種類ごとでは14.2〜43.7%で、ふつうの授業の学生94人では0〜1.2%だった。

対象: 米国ニューヨーク市立大学の学生230人。授業3回で教え、授業3回と自宅の課題3回で練習した／限界: くじ引きではなく、クラス単位で比べた。4問すべてを正しく横読みできた学生はまれで、効果が続くかも調べていない。

Panizzaら（2022）[2]

SNS風の投稿が科学的に正しいかを判定させる2つの実験（合計5,387人）。「ほかのサイトで調べる」「検索結果の上のほうだけを見ない」とすすめるポップアップを出すと、こうした確かめ方を使う人が増えた。判定の正確さが上がったのは、発信元がよく知られていない投稿のときだった。

対象: オンラインで集めた英国在住の成人。事前登録した実験／限界: 1回だけの判定課題。著者らは、ネットに慣れた人に偏っている可能性を挙げている。

DeVernaら（2024）[3]

本当と嘘が半分ずつの政治ニュース40本を見せた、事前登録のランダム化実験（2,159人）。ChatGPT（3.5）は嘘のニュースの90%を見抜いたが、本当のニュースを正しく判定したのは15%で、20%を「嘘」とし、65%は「わからない」とした。AIの判定を見た人は、本当と嘘の見分けがよくならなかった。AIが嘘とした本当のニュースは信じにくくなり、AIが「わからない」とした嘘のニュースは信じやすくなった。人が書いた事実確認を見た人は見分けがよくなった。

対象: 米国の成人／限界: 政治ニュースとChatGPT（3.5）での結果。勉強の内容やほかのAIで同じになるかは確かめられていない。

Farquharら（2024）[4]

AIに同じ質問への答えを何回か作らせ、意味がばらつくかを測ると、その場しのぎのでたらめな答えをある程度見分けられた。30通りの課題とAIの組み合わせの平均で、見分ける力の指標（0.5が当てずっぽう、1が完全）は0.790だった。

対象: 5つの質問集と複数のAI ／限界: 研究者が自動で計算した方法で、人が手で聞き直したときの精度ではない。AIが毎回同じまちがいをする場合は見分けられないと、著者ら自身が書いている。

WaltersとWilder（2023）[5]

ChatGPTに42のテーマで短いレポートを書かせ、挙げられた636件の文献を調べた。実在しない文献は、GPT-3.5で55%、GPT-4で18%。実在する文献でも、大事な誤りがあったのはGPT-3.5で43%、GPT-4で24%だった。

対象: AIが書いた84本のレポート／限界: 当時のモデルでの結果で、新しいAIでは割合が変わりうる。

03 使える表AIの答えは、何をどこで確かめればいい？

表1で、答えの種類ごとに確かめる場所を決めます。ノートに書く前に1か所だけ確かめ、結果を表2に1行残します。

表1 AIの答えの裏取り表。研究の結果を、独学向けにこのサイトがまとめたものです。所要時間と聞き直す回数は目安で、研究で決められた数字ではありません。

AIの答えの種類	確かめる場所・やり方	目安	もとになった研究
本・論文・出典	題名と著者名で検索し、実在するかを見る。見つからなければ使わない	1分	実在しない文献が18〜55%[5]
数字・年・人名など細かい事実	AIの画面を離れ、教科書・公的機関・元の資料を開く。2か所で一致するかを見る	3分	ページの外で確かめる横読み[1][2]
用語の定義・試験のルール	教科書・公式テキスト・試験を行う団体の資料で確かめる。食いちがえばそちらを優先	3分	元の情報を見つける手順[1]
計算・解き方	自分で手順をたどり直し、答えを元の式に入れて確かめる	5分	-
新しい制度・最近の出来事	公式の発表を開き、日付を見る。AIの答えだけで覚えない	3分	著者らは、新しい出来事はAIが判定しにくいと指摘[3]
AIが「たぶん」「わからない」と言った所	確かめるまでノートに書かない	-	「わからない」とされた嘘が信じられやすくなった[3]
聞き直すと答えが変わる所	新しい会話で2〜3回聞き、ぶれたら表の上の行の方法で確かめる	2分	答えのばらつきでまちがいを見分けられた[4]
AIに「合ってる？」と聞いた結果	AIの判定だけで決めず、上の行のどれかで確かめる	-	AIの事実確認で見分けがよくならなかった[3]

表2 裏取りの記録表（1回1行）。「結果」は、○ 一致した、× ちがっていた、？見つからなかった、の3つで書きます。

日付	AIの答え（1行）	種類	確かめた所	結果	ノートに書いたこと
例 10/18	例〇〇法の施行は2019年	例年	例省庁の発表ページ	例 ×（2020年だった）	例 2020年施行

表3 2週間後の見直し。表2を見て、当てはまる行を選びます。

記録に出ていること	次の2週間にすること
同じ種類で×が2回以上	その種類はAIに聞かず、最初から教科書や公式の資料で調べる
？（見つからない）が多い	AIに出典を出させるのをやめ、自分で検索した資料から始める
まちがって覚えたことに気づいた	正しい答えを書き、なぜちがったかを1行足して、数日後に思い出せるか試す
○が続いている	確かめる対象を、試験に出る所と人に話す所に絞る

まちがいを覚えてしまったときの覚え直し方はAIの誤りを覚え直す記事に、AIで勉強するときの全体のチェック表はAIで勉強するときのチェック表にまとめています。

04 続けるためのコツ毎回全部を確かめなくても大丈夫？

大丈夫です。全部を確かめると続きません。覚えるもの・試験に出るもの・人に話すものだけを、ノートに書く前に1か所確かめれば十分です。

確かめる前に、ノートに書かない。書いてから直すより、書く前に1か所見る方が手間が少なくてすみます。
確かめる場所を先に決めておく。使う教科書、公式テキスト、公的機関のページを、ブラウザのブックマークにまとめます。
AIの言い方の強さで判断しない。AIの答えが自信ありげでも、表1の種類で決めます。

ここで紹介した研究は、大学生や成人がニュースや投稿を判定した短い実験です。独学で学ぶ内容をAIに聞いたときに、この表でどれだけまちがいが減るかを直接確かめた研究はまだありません。表2の×の数で、自分にとっての効き目を確かめながら使ってください。

05よくある質問

AIに「本当？」と聞き直せば、確かめたことになる？

なりません。ChatGPTの事実確認を見せた2,159人の実験では、本当と嘘の見分けがよくなりませんでした。AIが本当のニュースを嘘と判定すると、正しい情報まで信じにくくなりました。AIの外の資料で確かめます。

横読みとは何？

答えやページを読み込む前に、別のタブで「誰が言っているか」「ほかでも確かめられているか」「元の情報は何か」を調べる確かめ方です。プロの事実確認者が使う方法で、大学の授業で教わった学生の61.0%が、事後テストで1問以上を横読みして正しく判定できました。

同じ質問を何回かすると、まちがいがわかる？

ある程度はわかります。答えの意味のばらつきを測る研究では、でたらめな答えを見分ける力の指標が0.790でした（1が完全）。ただし、AIが毎回同じまちがいをするときは見分けられないため、ぶれなかった答えも大事なものは資料で確かめます。

出典

Brodsky, J. E., Brooks, P. J., Scimeca, D., Todorova, R., Galati, P., Batson, M., Grosso, R., Matthews, M., Miller, V., & Caulfield, M. (2021). Improving college students’ fact-checking strategies through lateral reading instruction in a general education civics course. Cognitive Research: Principles and Implications, 6, 23. https://doi.org/10.1186/s41235-021-00291-4
Panizza, F., Ronzani, P., Martini, C., Mattavelli, S., Morisseau, T., & Motterlini, M. (2022). Lateral reading and monetary incentives to spot disinformation about science. Scientific Reports, 12, 5678. https://doi.org/10.1038/s41598-022-09168-y
DeVerna, M. R., Yan, H. Y., Yang, K.-C., & Menczer, F. (2024). Fact-checking information from large language models can decrease headline discernment. Proceedings of the National Academy of Sciences, 121(50), e2322823121. https://doi.org/10.1073/pnas.2322823121
Farquhar, S., Kossen, J., Kuhn, L., & Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. Nature, 630(8017), 625–630. https://doi.org/10.1038/s41586-024-07421-0
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5