社内ITヘルプデスク向け生成AI、回答精度80％超を確認した通信会社の検証

対象を社内ITヘルプデスクという一つの業務に絞り、実装ではなく検証から入った設計が、この取り組みの土台になっています。題材に選ばれたのは、PCの不具合対応やシンクライアントの申請手続きのように、日々発生し、答えが社内文書のどこかに書かれている問い合わせでした。正解の所在がはっきりしている領域であれば、AIの回答が合っているかを人が判定でき、精度という物差しが機能します。範囲を欲張らなかったことが、評価に耐える検証を成り立たせたと見ています。

セキュリティを最優先事項に据えた環境設計も、この検証を前に進めた条件でした。クラウド上の各機能をインターネット経由ではなく仮想ネットワークでつなぐ閉域構成とすることで、社内ドキュメントを持ち込める土台がつくられています。社内ナレッジを扱うRAGでは、回答精度以前に「その文書を置いてよい環境かどうか」が関門になりがちで、そこを先に固めた順序に意味があったのではないでしょうか。

精度の追い込み方も、モデル任せではありません。取り込むデータの前処理、検索手法の選定、データ構造の最適化と、回答の材料側を整える作業が積み重ねられています。加えて、1週間ごとに出力してほしい項目を変えながら検証と評価を繰り返す進め方が採られ、後から浮上したセキュリティ要件や制約に対しても、インフラ構成の変更や機能追加で対処されました。条件を短いサイクルで振りながら回すこのやり方は、何が効いて何が効かないかを切り分ける手段として働いたと考えられます。