「AIが教えてくれた歴史上の人物」は、この世に存在しなかった ── AIが平気でウソをつく理由

実際に起きた事件 ── 弁護士がAIのウソを裁判所に提出

2023年、アメリカのニューヨークで驚くべき事件が起きました。

ある弁護士が、裁判の書類を準備するためにChatGPTを使いました。「この主張を支持する過去の判例を教えて」と聞いたところ、ChatGPTは複数の判例を自信たっぷりに回答しました。

ところが、それらの判例はすべて存在しないものでした。

裁判所の名前、裁判官の名前、事件の内容 ── どれも本物のように見えるのに、すべてAIが「作り上げた」ものだったのです。弁護士が「本当に実在する判例か？」とChatGPTに確認すると、AIは「はい、実在します」とまで答えました。

これは「プロの専門家でさえAIのウソに気づけなかった」という事実を示しています。中学生のきみが気づけなくても、何もおかしくありません。大事なのは、「AIはウソをつくことがある」と知っておくことです。

なぜAIはウソをつくのか？ ── 「幻覚げんかく」のしくみ

AIが自信満々にウソをつく現象を、専門用語で「ハルシネーション（hallucination）」と呼びます。日本語に訳すと「幻覚」。AIが「見えていないものを見ている」ような状態です。

なぜこんなことが起きるのでしょうか？

AIは「知っている」のではなく「予測している」

実は、ChatGPTやその他の生成AIは、「正しい答えを検索している」のではありません。やっていることは、こういうことです。

だから、AIは「それっぽい文章」を作るのが得意です。文法は完璧。言い回しも自然。でも、中身が正しいかどうかは、AIにとっては関係ないのです。

人間に例えると、「テストで、答えがわからないのに自信たっぷりに書いてくる友だち」に似ています。字がきれいで文章もうまいから、つい信じてしまう ── でも中身は間違っている。それがハルシネーションです。

中学生の日常で起きる「AIのウソ」3パターン

弁護士の事件は大人の世界の話ですが、中学生にとっても他人事ではありません。こんな場面を想像してみてください。

共通しているのは、どれも「もっともらしく見える」ことです。文章が上手で、具体的な名前や数字が入っていて、自信たっぷりに書かれている。だからこそ危ないのです。

人は、自信満々に言われると信じやすくなるという心理があります。友だちが「絶対これ正しいよ！」と言えば信じてしまうのと同じです。AIの回答が危険なのは、「間違っている」こと自体より、「間違っているのに自信たっぷりに見える」ことなのです。

AIのウソを見抜く！ファクトチェック3ステップ

ハルシネーションは、最新のAIでも完全にはなくなっていません。だから、「AIの回答を確認する習慣」を持つことが大切です。中学生でもすぐにできる3つのステップを紹介します。

文部科学省のガイドラインでも「ハルシネーション」に注意

日本の文部科学省は、2024年12月に「初等中等教育段階における生成AIの利活用に関するガイドライン（Ver.2.0）」を公表しました。

このガイドラインでは、生成AIにはハルシネーション（誤った出力）やバイアス（偏り）のリスクがあることが明記されています。そして、AIの出力はあくまで参考にとどめ、最後は自分で判断することが大切だと書かれています。

つまり、国も「AIの回答をうのみにしないで」と言っているのです。学校でAIを使う場面が増えているからこそ、この「確認する力」はこれからの必須スキルです。

前回の記事とつなげて考えよう

前回の記事「AIと宿題」では、「AIに答えを出してもらう人」ではなく「AIと一緒に考える人」になろう、という話をしました。

今回の記事は、その実践編です。

AIがどんなに賢くなっても、ハルシネーションが完全になくなる保証はありません。だからこそ、「AIの出力を確認できる人」は、AIを使いこなせる人なのです。

次回の第3回では、「じゃあ、何で調べるのが一番いいの？」という疑問に答えます。Google検索、AI、教科書 ── それぞれの得意・不得意を知って、場面に合った情報源を選べるようになりましょう。