マニュアル検索RAGを3カ月で構築、生成AI未経験のチームによる実証実験

出発点をゼロからの設計ではなく、AWSが公開している生成AIのユースケース集「GenU」に置いた判断が、短期間で形になった最大の要因だと考えられます。GenUで公開されているRAGチャットの構成をひな型にすれば、未経験のメンバーでもまず動く状態まで到達でき、残りの時間を検証に振り向けられます。実際、RAGの実現方式はAmazon KendraとAmazon Bedrock Knowledge Basesを比較したうえで後者を採り、データベースにはベクトル検索が使えるAmazon Aurora、回答の根拠となるPDFマニュアルの置き場にはAmazon S3という組み合わせに落とし込まれました。作ることより選ぶことに労力を配分できる状態を先につくった点が効いています。

評価の物差しを、コスト・速度・精度の3つに分けて先に定めたことも見逃せません。生成AIの検証は「それらしい回答が返ってきた」で満足しがちですが、実用に耐える応答時間の目安を10秒と置き、回答精度に80〜85%という水準を掲げれば、良し悪しの判断が個人の印象から離れます。誤った回答を生むハルシネーションをどこまで抑えられるかを評価対象に据えている点にも、業務で使う前提が最初から共有されていたことがうかがえます。

支援する側とされる側の役割分担を、あえて回り道になる形に設計したことが、ナレッジの定着を支えたと見ています。手を動かすのは自社メンバー、どうしても行き詰まったときだけ助言を求める——この進め方は、答えを教わるより確実に時間がかかります。それでも、入社1年目のメンバーが先輩に質問し、エラーコードを生成AIに入力して原因を探りながら自力で組み上げた経験は、作業を外に出していれば手元に残らなかったものです。支援の範囲をGenUの標準構成の内側に固定せず、より使いやすくメンテナンス性の高い形へ踏み込む要望にも応じる余地を残していたことが、この分担を機能させたのでしょう。