オプテージ、月1,200件の経理問合せをAIで一次対応し正答率86%へ

AIが答えられなかった用語だけを一覧化し、その意味を経理部門が定義するという分業が、この開発の中核にあります。ゼロから用語集を作らせるのではなく、実際に回答を外した箇所に絞って現場へ渡したことで、日常業務の合間しか時間を割けない担当者の負担を必要最小限に抑えています。正式名称と略語が入り混じる社内特有の言い回しには同義語集を用意し、利用者の質問から関連する検索語をAIが補うクエリ拡張も組み合わせました。技術側が分からない箇所を特定し、業務側が意味を埋めるというこの切り分けは、外部からは書きようのない社内知識をシステムへ流し込む、現実的な経路になったと考えられます。

毎週動くものを見せながら改善を重ねるプロトタイピング開発も、精度を押し上げた要因です。要件定義書を固めてから作る進め方と違い、開始2カ月の時点で実務に使える環境が用意されたため、現場は机上の想像ではなく実際の業務のなかで不足を指摘できました。一度の回答では解決せず再問合せに繋がるという課題提起に対しては、要望から3週間で、最大10ラリーまでの文脈を踏まえる対話履歴機能が形になっています。仕様が固まりきらないまま走り出さざるを得ない生成AIの案件では、先に触らせる設計そのものが要件を引き出す仕掛けとして働きます。

検証を、生成AIによる自動評価と支援側の詳細確認、そして経理部門4名による最終判定に分けた二段階方式も、この規模を5カ月で回せた条件でしょう。正答かどうかは業務知識がなければ判断できない一方、全件を現場が見るのは現実的ではなく、機械と支援側で候補を絞ってから業務側が判定する順序にしたことで、限られた工数が本当に判断の要る場所へ集中しました。当初の目標水準を早い段階で満たしたあと、同じデータセットでの微調整を続けず、過去の実際の問合せデータへ評価の軸を移した判断も、数値を整えることより運用に耐えるかどうかを優先した設計の表れです。