第4回　野生の暴れ馬LLMを飼いならす 〜その1〜

近似的検索器としてのLLM

LLMは、膨大な学習コーパス（多種多様な用例）から得られた知識をもとに、確率的に「もっともらしい」出力を生成します。これは通常のプログラムが示す確定的な動作とは異なり、“アプロキシメイト・リトリーバー（近似的検索器）”と捉えると理解しやすいでしょう。この性質は、プロンプトのちょっとした違いによって出力が大きく変わる理由でもあります。入力プロンプトの設計や出力情報の検査が重要になります。

新しい情報と限定情報の欠落

LLMが抱える根本的な限界は、その機能振舞いが学習コーパスに依存している点です。学習後に発生した出来事や発見、あるいは組織内でのみ共有される限定情報は、公開情報から整備された学習データには含まれていません。最新情報を必要とする業務や機密情報を扱うシナリオでは、別途情報を補う仕組みが不可欠です。

RAGによる外部知識の補完

この欠点を補う代表的な技術に、RAG（Retrieval-Augmented Generation）があります。これは、ユーザの質問に関連する情報を外部データベースから検索・抽出し、その結果をプロンプトに組み込んだ上でLLMに入力する手法です。これにより、LLMが知らない情報を補いながら柔軟な自然言語生成を行うことが可能になります。つまり、検索情報を補完して出力生成する方法です。

コンポーネントアーキテクチャ

LLMは高性能ですが、それ単体が万能というわけではありません。外部コンポーネントを組み合わせることで、LLM利用ソフトウェアシステムを構築します（図）。先に述べたRAGに加えて、Web検索エンジン等の外部サービス連携や、プロンプト補完、生成出力の検査などの機能を実現したコンポーネントの開発が必要です。周辺を工夫することで「野生の暴れ馬」であるLLMを「飼い馴らす」というイメージでしょうか。LLM利用ソフトウェアシステム開発は、ロデオゲームですね。

図：LLM利用ソフトウェア^{システム文献[1]の図２に加筆}

LLM利用ソフトウェアシステム開発の参考になる品質マネジメントガイドラインが公開されています（文献[2]）。

文献[1] 中島震，小西弘一，妹尾義樹，大岩寛：大規模言語モデル利用AIシステムの品質マネジメント，信学技報, vol.124, no.358, KBSE2024-43, pp.25-30, 2025年1月.
文献[2] 国立研究開発法人産業技術総合研究所. 生成AI品質マネジメントガイドライン 第1版. 2025年5月. IPRI-TR-2025-01 / CPSEC-TR-2025001. DOI: 10.50886/0002003354

次回の予告
次回は、LLMをソフトウェア部品として再利用する際の品質課題とその解決策を解説していきます。LLMを安全に活用していくために必要となる品質管理の枠組みを紹介します。