あおぞら銀行の行内特化LLM、応答精度が従来比130%に向上した検証事例

精度を測るものさしを、汎用的なテストではなく実際の応対シナリオから起こした内部ベンチマークに置いたことが、この取り組みの起点になっています。対象は法人・リテール業務の事務規定管理業務で、行内に関する深い知識を前提としながら、参照した文書を正しく扱ってRAGを機能させる必要のある設問群です。何ができるようになったら合格なのかを業務の実態から先に定義したため、学習の方向がぶれにくくなったと考えられます。

金融領域の知識を足すだけで終わらせず、行員が実際に直面するタスクや運用フローを踏まえてモデルを調整した点も見逃せません。追加学習では、新しい知識を入れると以前できていたことが崩れる破滅的忘却（新しい学習によって既存の能力が失われる現象）が起こりがちですが、それを防ぐ学習手法を組み合わせることで、渡されるコンテキストが銀行独自の情報であっても崩れずに応答できる状態をつくっています。ドメイン知識の追加とRAGの読み取り精度を別々の課題として切り分けず、一体で設計したことが効いたのではないでしょうか。

オンプレミス環境にオープンソースのLLMを置くという構成の選択も、単なるセキュリティ対策にとどまりません。モデルの中身に手を入れられる形で持つからこそ、ファインチューニングに限らない幅広い追加学習を試せる余地が生まれます。制約への対処として選んだ環境が、そのまま精度を伸ばすための手段にもなっているわけです。