精度を上げる仕掛けを、回答を作る側ではなく質問を受け取る側に置いたことが、この検証の設計上の要点です。「ユーザー確認技術」は、質問に含まれる情報が不十分だと判断した時点で処理をいったん止め、確認のための質問を途中段階で提示します。手数料についての問い合わせであれば、ATM利用手数料か振込手数料かという選択肢を示し、質問者自身に的を絞ってもらう。AIに推測させて埋めるのではなく、足りない情報を対話で補ってから回答工程に進ませる切り分けです。
答えの根拠をWebサイトの公開情報に限定した点も、検証を成立させています。参照先が公開情報であれば、質問に対する正解が第三者にも判定でき、精度を数字で比較する土台が作れます。しかも公開情報に関する問い合わせは同行のコールセンターで相当数を占めるため、狭く絞ったにもかかわらず現場への影響が小さくならない。効果測定のしやすさと業務上の重みが両立する領域を選んだ、狙いの定め方だと考えられます。
いきなり無人応答に踏み込まず、オペレーターが回答内容を作る場面に当てはめた進め方も見逃せません。人が最終的に目を通す形であれば、AIが的を外した場合の影響を現場が吸収でき、その状態のまま精度を測って改善余地を確かめられます。想定問答を事前に大量に作り込む方式と違い、公開情報を参照して答えを組み立てる方式は、情報の更新が回答にそのまま反映されるという運用上の身軽さも備えています。