農林中央金庫が回答精度8〜9割を確認、複数文書を横断するAI検索の試み

RAGシステムの選定基準を「回答精度」と「運用コスト」の2点に絞り込んだことが、この取り組みの出発点になっています。精度が落ちれば利用者の期待値が下がり、利活用そのものが縮んでいく——という逆算から精度を最上位に置き、同時に、業務やドキュメントの性質ごとにRAGを自前で作り込む方式は開発とメンテナンスの人的負担が重く、拡張性の担保が難しいと判断されました。評価軸を先に固定した進め方は、機能の比較検討が際限なく膨らむのを防ぐという意味でも効いています。

次の要点は、既存の文書をAI向けに作り変えないという方針です。人が読みやすい形式を保ったまま、図表を含む複雑な資料は取り込む側で吸収する構成にしたことで、現場に「AIのための資料整備」という新しい作業を発生させずに済みます。ここには、AI-OCRなど図表の読み取りで培われたドキュメント解析技術を前提に置けるという条件も絡んでいます。導入の負荷は実のところ前処理工程に潜みやすく、その負荷を製品側へ寄せた切り分けが、他業務への横展開のしやすさを左右したと考えられます。

使い手側の設計に踏み込んでいる点も見逃せません。個別業務ごとにRAGが増えれば「どれを使えばいいのか」という迷いが生まれるため、AIオーケストレーションのような機能で入口を一つにまとめ、利用者が意識しないまま適切なRAGへ振り分けられる状態が構想されています。プロンプトの巧拙に依存せず、直感的な聞き方でも答えが返る状態を目標に据えたのは、リテラシー差による二極化を繰り返さないためでしょう。あわせて、ハルシネーション（AIがもっともらしい誤りを答える現象）は起きる前提とし、最終的な判断は人間が行うと社内に周知する運用方針も置かれています。