ハルシネーションは、AI が知らないことを「知らない」と言わず、ありそうな話を組み立てて答えてしまう現象です。文章を生成する LLM で特に問題になります。確かめていないのに、自信たっぷりに答えてしまう新任の担当者を思い浮かべると近いかもしれません。
あなた
取引先の「さくら工業」の、去年の売上高を教えて。
AIアシスタント
さくら工業の昨年度の売上高は、約1,240億円です。前年比で8%の増加となっています。
案内役
数字も言い切りも自然だよね。でも、この答えには出典がどこにもないんだ。
（会話の会社名と数字は説明のための架空のものです）
それらしい答えができあがる理由
LLM は、次に来そうな自然な言葉を並べるのが得意です。そのため、正しい情報が手元になくても、文章として自然であれば答えを作れてしまいます。「分からない」と返すより、それらしい文章を続けるほうが、仕組みとして起こりやすいのです。
起きやすいのは、次のような聞き方をしたときです。
- 固有名詞や数値を、厳密に尋ねた
- 最新のニュースや、社内にしかない情報を尋ねた
- 前提が曖昧なまま、長い質問をした
- 出典を求めずに、答えだけを急いだ
検証は回答の後ろに置く
ハルシネーションはバグというより性質で、ゼロにするのは難しいものです。だから、起きる前提で確かめる手順を組み込みます。
重要な回答には、出典の確認をセットにする。社内の文書や検索結果を一緒に渡して、それに基づいて答えさせる（グラウンディング）。分からないときは「不明」と答えてよいと、指示の中で明示しておく。そして、お客さまに出す文面は、人が最後に確かめます。