バンダイナムコがゲーム映像から目的のシーンを言葉で探す生成AI検索の実証

映像をそのまま生成AIに投げ込まず、いったんテキストに置き換えてから検索させる構成が、この仕組みの土台になっています。Gemini によるバッチ処理で各動画のメタデータを作成し、その際に視覚情報・セリフ情報・テキスト情報の3系統へ分けて、それぞれ別のプロンプトで抽出したうえ、検索用の構造化データとしてのタグも作る。出来上がったメタデータは JSONL 形式に整形され、Vertex AI Search のデータストアへ情報の種類ごとに格納されます。情報源を混ぜずに分けて保持したことが、検索時に複数の手がかりを組み合わせられる余地を生んだと考えられます。

精度をモデルの性能ではなく「与える材料」の側から押し上げようとした設計も見逃せません。キャラクターの見た目、音声、ステージの名前、情景といったアノテーション素材を検索対象の映像とあわせて Cloud Storage に用意し、判断の下地として使っています。角度や衣装が変われば同じキャラクターでも映り方は変わりますが、複数の素材を付与することで、その揺れを文脈の理解で補正する狙いがうかがえます。プロンプトの工夫だけに向かわず、判断材料そのものを先に整えるという順番の付け方は、他の領域にも移しやすい考え方でしょう。

探す側の感覚に合わせて検索の粒度を作り替えた点は、実運用を見据えた判断だと読み取れます。当初は動画単位で行っていたベクトル化をシーン単位へ細分化し、担当者が本当に欲しい瞬間的なカットへ届くようにした。並び順についても Vertex AI Search の信頼度スコアを用いて調整し、確度の高い結果が上位に来るよう整えています。UI をスクラッチで開発した選択も、要望に合わせて操作の流れを詰め切るためのものでした。