AI基盤を手がける企業が自社ヘルプにRAGチャットボット、一次問い合わせが大幅減

回答文の横に参照元ドキュメントの該当ページを自動でプレビュー表示し、参照元リンクも同時に提示する。この設計が効いたのは、利用者が「AIの答えが正しいのか」を判断する手間を、根拠をその場で目視する動作に置き換えたためだと考えられます。単なる検索窓であれば探す作業が利用者側に残り、根拠を示さずに答えるだけのAIであれば結局は確認の問い合わせが発生する。答えと根拠を同じ画面に並べた構成が、疑問の解消をチャットの中で完結させたのでしょう。

答えられる領域と答えない領域を先に決め切ったことも、この取り組みの要点です。LLMは本来なら答えにくい質問にも何らかの回答を生成しようとするため、対応範囲外をリリース時の案内と利用画面上で明示し、情報が十分に存在しない場合は回答を作らないようプロンプト側で制御しています。入力が曖昧なときはその具体性をLLMが判断して意図を聞き返すフローも組み込まれ、リリース前の検証でも「対応範囲外のときに無理に答えていないか」が3つの評価軸のひとつに据えられました。答える範囲をあえて狭めることが回答への信頼を保ち、結果として頼られる頻度を押し上げる。逆説的ですが、実運用を成立させた判断だと見ています。

精度の改善をAI側の調整だけで完結させなかった運用も見逃せません。チャットログの質問を「個別事象の確認が必要」「対応範囲外」「マニュアルに情報はあるが適切に参照できていない」「マニュアルに情報自体が存在しない」の4つに整理し、参照ページへのフィードバック、FAQの新規作成、マニュアルの更新・追記へと振り分けています。質問・回答・解決状況を取得できる設計を最初から組み込んだうえで、解決度が「いいえ」となった比率から自己解決率を算出し、CS2名が数値の推移と質問の中身をセットで追う。モデルやプロンプトを変更した際は同じテスト質問セットで再評価する手順も用意され、手を入れるたびに回答が揺れないかを確かめられる形になっています。