第3回　AIに“バグ”という見方をしてよいのだろうか 〜その3〜

ハルシネーションか、日本語の曖昧さか

LLM（大規模言語モデル）は、もっともらしい一方で、真実とは異なる内容を出力に含むことがあります。入力プロンプトに対する近似的な検索器なので、正確な情報を常に返すとは限らないのです。まるで「息を吐くように嘘をつく」ようにみえます。このような、デタラメ（ハルシネーション）が生じる理由は、いわゆるバグではなく、LLMが出力文を生成する原理的な仕組みと関わることから、なくすことは困難です。

“悪文”とプロンプトの失敗

LLMの利用では、ユーザーが自然言語でプロンプトを入力します。自然言語は文脈に依存して意味が異なる場合があり、同じ言葉でも人によって理解が違うことがあります。LLMにとっても、曖昧なプロンプトは不正確な応答につながりやすく、品質上の問題となります。

日本語において“悪文”とされる表現は、文法的に正しくても意味が伝わりにくいものを指します。このような表現がLLMへのプロンプトとして使われた場合、文脈の一部欠如や意図の不明確さによって、期待と異なる出力が返される可能性が高まります。結果として、ユーザーはLLMの性能に不満を感じ、信頼性が損なわれます。これは、ハルシネーションとは違って、入力プロンプトの日本語表現の曖昧さが原因であることに注意してください。人同士の会話でも同じような誤解が生じるかもしれません。

解釈の実験：楊貴妃の好物

日本語文法は複雑です。特に多様な助詞の適切な使い方、連用修飾語や連体修飾語の係り受け関係など、難しいことが多くあります。ここで、連体修飾語について、係り受け関係に曖昧さのある例を用いて実験しました。

【実験】次の問題文を読み、質問に答えよ。

質問1：正解の可能性がある選択肢をすべて選べ。
　(1)アーサーはライチを好んでいた　
　(2)エリザベートはライチを好んでいた　
　(3)アーサーはびわを好んでいた　
　(4)エリザベートはびわを好んでいた　

この質問1に対しては、以下の図1に示したように、日本語の文法的には２つの可能性がありえるので、回答が期待通りになるかわかりません。なお、LLMに「文法的に可能な解釈を全て示してください」、と入力すると、２つの場合を返してくれます。一方、単に答えを聞いた時には、どちらを返すかはわかりません。聞くたびに答えが変わるかもしれません。

さて、これを「楊貴妃の話」として書き直すと、歴史で伝わっている情報から、解釈が1つに定まります（図2）。単に、登場人物の名前を変えただけで、文法上は、図１と同じです。

質問1：正解の可能性がある選択肢をすべて選べ。
　(1)玄宗はライチを好んでいた
　(2)楊貴妃はライチを好んでいた
　(3)玄宗はびわを好んでいた
　(4)楊貴妃はびわを好んでいた

LLMが楊貴妃に関する知識を持っていると、図2のように、質問1に対して、（２）を回答します。

ところで、図2内の質問2「侍女が買おうとしている可能性の高いもの全てを示せ」の問いに対して、LLMは何と答えると思いますか？問題文では、「びわ」と表記し、「琵琶」か「枇杷」を曖昧にしました。文脈から「琵琶」ですが、果物屋さんとあるので、「枇杷」と混乱するかもしれません。と言っても、侍女が、楊貴妃にいわれて、城外に買い物に行くことはないでしょうね。

プロンプト設計も品質管理の一部

従来のソフトウェアでは、入力項目の妥当性チェックなどが品質管理の一環でしたが、LLMを活用するシステムでは、プロンプト設計そのものが品質に直結します。ユーザの入力に対して適切な補助やガイドを提供する仕組みや、文脈の保持・理解を助ける設計が求められるのです。

次回の予告
次回は、LLMを利用したアプリケーションシステム開発について、従来のAI研究との違いや、品質の観点から見る課題について紹介します。