NECとアイシン、生成AIと人型CGで金融窓口の接客を担うAIを共同開発

役割を「認識と生成」「対話の表出」に分けて二社で分担した構成が、この開発の骨格になっています。NEC側が生成AIの基盤とLLMの使い分け、業種特化の応答、そして顔認証による本人確認を受け持ち、アイシン側がカメラ画像と音声から相手の状況を汲み取るマルチモーダル対話エージェントとデジタルヒューマンの表現を担う。応答の中身を作る部分と、それを人に伝わる形で表に出す部分は、必要な技術も評価の物差しも異なります。両者を無理に一つのチームで抱え込まず切り分けたことが、それぞれを深掘りできる条件を作ったと考えられます。

本人確認を顔認証で先に済ませる設計も、対面接客AIとしては要になりそうです。誰が目の前にいるか特定できなければ、案内は「誰にでも同じ一般的な説明」に留まらざるを得ません。NISTの顔認証ベンチマークで複数回1位を獲得した技術を土台に据えたうえで、対話を通じて属性や状況を認識・推測する層を重ねている点からは、個々の相手に合わせた応答という目標から逆算して構成要素を選んでいることがうかがえます。

非言語表現をリアルタイムに出す仕組みを、付加的な演出ではなく対話インタフェースの中核に置いたことも見逃せません。表情・視線・ジェスチャーは、話が通じているかを相手に返すための信号でもあります。文字や音声だけの応答では脱落してしまう層に届かせるという課題設定に対して、この選択は素直な解と言えるでしょう。加えて、対話履歴から会話内容をモニタリングし改善を支援する機能が組み込まれており、提供して終わりにせず運用しながら磨く前提が設計に織り込まれています。