実証実験3か月で正答率5割から8割へ、電子デバイス企業の社内ナレッジ検索AI

AIが認識しやすい形にデータを組み替えるという判断が、この検証の土台になっています。もともと社内の情報は煩雑なXML構造で保持されていましたが、これをJSON形式へ変換し、可読性を高めたうえでAIに渡す設計へ切り替えました。RAG（社内の文書を検索してAIの回答に使う仕組み）は、探し出した文書をそのままAIに読ませる構造であるため、モデル側の調整よりも渡すデータの形が回答の質を左右します。プロンプトの工夫に手を伸ばす前にデータ構造そのものへ立ち返った順序が、後の伸びしろを作ったのではないでしょうか。

短い期間に版を重ねる進め方も、この取り組みを支えた要素です。技術製品の専門情報を扱う以上、事実と異なる内容をもっともらしく答えてしまうハルシネーションは業務に直結する障害となるため、定期的な打ち合わせで検証と改良を繰り返し、3か月でバージョンは8まで進みました。途中で登場した Gemini 2.0 への切り替えが転機になっている点も見逃せません。基盤モデルを固定せず、外部の進歩をそのつど取り込める余地を残しておいたことが、データ側の作り替えとかみ合ったと言えます。

検証の出口を最終報告書ではなく報告会に置いた設計は、技術面とは別の意味で重要でした。役員層とプロジェクト外のメンバーに向けて、複数の視点をまとめた資料で成果を共有する場が用意され、その資料は報告会の後も業務で使われています。PoCを技術検証だけで閉じず、社内の理解を作る工程まで含めて組み立てたことが、次の展開を引き寄せた要因と見ています。