社内マニュアルと課題記録を生成AI検索、1か月でRAG基盤を検証した商社のPoC

精度を左右したのは、文書をどう読み取らせるかという解析方式の選び方です。OCR処理で文字情報を抜き出すデジタルパーサーと、見出しや表といった構成・レイアウトを保ったまま読み取るレイアウトパーサーの双方を検証し、さらにPDF用とHTML用でデータストアを分けて環境を最適化しています。一つの検索基盤にすべてを流し込むのではなく、ファイル形式ごとに得意な読み取り方を割り当てる切り分けが、返答の信頼性を押し上げたと考えられます。

構造化データ側では、Redmineのチケットをそのまま渡さない判断が効いています。階層が深くAIが正確に解釈できないJSONの持ち方を見直し、必要な情報へたどり着ける形へ整形したうえで、チケットの履歴データまで取り込む設計にしました。これにより、あの修正は完了しているか、関連するチケットをまとめて出してほしい、といった従来は担当者が手作業で追いかけていた問いにも、進捗や過去の経緯を踏まえて自然言語で応じられる構成になっています。

約1ヶ月で13バージョンの構成・パラメータを試した進め方も、この取り組みを支えた要素です。RAGの精度は机上で決めきれず、短い周期で条件を変えて比べる以外に最適解へ近づく道がありません。検証の過程で支援側がトレーニング方法や解析手法の知見を加賀FEI側のエンジニアへ渡していった点は、PoCを一度きりの外注で終わらせないための組み立てといえます。