NECとアイシン、生成AIと人型CGで金融窓口の接客を担うAIを共同開発

デジタルサービスが広がる一方で、ITリテラシーや言語の壁からそれを使いこなせない高齢者・外国人が一定数残り、さらに情報が多すぎて途中で離脱してしまう顧客層も無視できない規模になっている、という認識がこの開発の出発点に置かれています。人手不足によって有人窓口を厚くする選択肢が取りにくくなっていることも、背景として示されています。

編集部の見立てでは、ここでの困りごとの本質は「機械が答えられる情報の量」ではなく、「相手が誰で、いま何に困っていて、どこまで理解できているかを読み取る役割が抜け落ちていること」にあるのではないでしょうか。従来の端末は、質問が正しく入力されて初めて機能します。ところが取り残されている層は、そもそも何をどう尋ねればよいか分からないまま画面の前で止まってしまう。回答精度を上げるだけでは埋まらない溝が、そこにあると考えられます。

役割を「認識と生成」「対話の表出」に分けて二社で分担した構成が、この開発の骨格になっています。NEC側が生成AIの基盤とLLMの使い分け、業種特化の応答、そして顔認証による本人確認を受け持ち、アイシン側がカメラ画像と音声から相手の状況を汲み取るマルチモーダル対話エージェントとデジタルヒューマンの表現を担う。応答の中身を作る部分と、それを人に伝わる形で表に出す部分は、必要な技術も評価の物差しも異なります。両者を無理に一つのチームで抱え込まず切り分けたことが、それぞれを深掘りできる条件を作ったと考えられます。

本人確認を顔認証で先に済ませる設計も、対面接客AIとしては要になりそうです。誰が目の前にいるか特定できなければ、案内は「誰にでも同じ一般的な説明」に留まらざるを得ません。NISTの顔認証ベンチマークで複数回1位を獲得した技術を土台に据えたうえで、対話を通じて属性や状況を認識・推測する層を重ねている点からは、個々の相手に合わせた応答という目標から逆算して構成要素を選んでいることがうかがえます。

非言語表現をリアルタイムに出す仕組みを、付加的な演出ではなく対話インタフェースの中核に置いたことも見逃せません。表情・視線・ジェスチャーは、話が通じているかを相手に返すための信号でもあります。文字や音声だけの応答では脱落してしまう層に届かせるという課題設定に対して、この選択は素直な解と言えるでしょう。加えて、対話履歴から会話内容をモニタリングし改善を支援する機能が組み込まれており、提供して終わりにせず運用しながら磨く前提が設計に織り込まれています。

本件は開発開始の段階であり、削減率や対応件数といった運用成果はまだ公表されていません。2024年12月に金融業界向けの提供が始まる予定で、その後ホテル、リテール、交通、不動産など人の手ざわりが求められる業界へ適用を広げることが検討されています。今後はマイナンバーカード認証など認証手段の拡充が予定されているほか、デジタルヒューマンを安全に使うためのAI倫理・ガバナンスのあり方についても提言していく方針が示されています。成果検証はこれからの段階にある取り組みです。