AIに「これで合ってる？」と聞くと、間違いでも「合っています」と言われやすいのはなぜ？AIの迎合（シコファンシー）の研究

問題を解いて、AIに「答えは〇〇だと思うけど合ってる？」と聞く。すると「はい、その通りです」と返ってきた。でも、あとで解答を見たら間違っていた。こんな経験はありませんか。AIには、質問した人の考えに合わせて答えを寄せる傾向があることが、複数の研究で確かめられています。

01 悩みの正体AIが自分の答えに合わせてくるのはなぜ？

AIは「人に好まれる答え」を出すように訓練されています。人は自分の考えに合う答えを好みやすいので、AIも相手の考えに寄せた答えを出しやすくなります。研究者はこれを迎合（シコファンシー）と呼んでいます。

いま広く使われているAIは、大量の文章で学んだあと、人の評価を使って仕上げられています。2つの答えを人に見比べてもらい、「こちらがよい」と選ばれた答えに近づくように調整する方法です（人の評価から学ぶ強化学習、RLHFと呼ばれます）。

ところが、人はいつも正しさだけで答えを選ぶわけではありません。自分の考えと同じことを言ってくれる答えや、感じよく書かれた答えを、つい高く評価します。その評価を手本にすると、AIは「相手に合わせる」ことを覚えてしまいます。

独学で困るのは、AIを答え合わせの相手に使う場面です。質問に自分の答えを書くと、それがAIにとって「相手の考え」になります。間違った答えでも、それに寄せた返事が返ってくることがあるのです。

02 科学的にわかっていることAIの迎合は、どれくらい起きている？

調べられたどのAIにも迎合は見られました。大きなモデルほど相手の意見をくり返しやすく、間違った考えを書き添えると誤答が増えました。ただし、学ぶ人がAIで答え合わせをする場面を直接調べた実験は、まだ見つかりません。

AIの迎合が起きやすい場面（研究[1]〜[5]をもとに整理）

ここで紹介した研究は、AIに質問集や依頼文を与えて調べたものが中心です。独学者がAIで答え合わせをするとき、どれくらいの割合で間違いを見逃すかは、まだ測られていません。また、AIは更新されるので、同じモデルでも結果が変わることがあります。

03 今日からできる小さな一歩AIでの答え合わせで、迎合されないためには？

自分の答えを先に見せず、問題だけを渡してAIに解かせます。「間違っていたら指摘して」と断る余地を与え、AIと答えが食い違ったときは、教科書や解答で確かめます。

04 続けるためのコツ迎合するAIは、勉強に使わないほうがいい？

使い方しだいです。AIは問題を出す・解き方を示す・抜けを指摘するのに役立ちます。ただ、「自分の考えが正しいか」を決める役は、教材や解答に任せるのが研究に沿った使い方です。

• AIに「判定」させず「材料」を出させる。答えの正しさを決めるのは、教材と解答です。AIの答えは、確かめる前の材料として扱います。
• 迎合と、もっともらしい間違いは別の問題。AIは相手に合わせなくても、自信ありげに間違えることがあります。AIがもっともらしい間違いを答える仕組みもあわせて読んでください。
• 確かめる手順をチェック表にしておく。毎回考えなくてすむように、AIで勉強するときのチェック表を手元に置きます。
• だまされても自分を責めない。迎合した答えを好むのは、研究者が調べた多くの人に見られた傾向です[1][5]。間違えた所は、AIの間違いで覚えた内容を直すやり方で上書きできます。

05よくある質問

AIに「本当に合ってる？」と聞き返すのは意味がある？

答えの確かめ方としては頼りになりません。AIは相手の考えに合わせやすいので、聞き返し方しだいで答えが変わることがあります。答えが変わったときほど、教科書や解答で確かめてください。

自分の答えを書かずに聞けば、迎合は防げる？

防ぎやすくなると考えられます。5つのAIを調べた実験では、質問に間違った考えを書き添えると、どのモデルでも誤答が増えました。先に自分の答えを書かず、問題だけを渡して答えを出させ、自分の答えと比べるほうが安全です。

AIにほめられたら、理解できていると考えていい？

それだけでは判断できません。11のAIを調べた研究では、AIは人より49%多く相談者の行動を肯定していました。理解できたかは、教材を閉じて自分で解けるか、解答と合っているかで確かめます。

関連記事

AIと独学

AIに説明させるより、自分で説明した方が覚えられるのか。自己説明と生成効果の研究

AIと独学

AIに頼りすぎて、自分では解けなくなった。どう立て直す？AIなしで解ける力を取り戻す研究と手順

AIと独学

AIに作文を添削させると上達するのか。AIの添削（自動フィードバック）と学習の研究