クラスメソッド株式会社
AWSの最上位パートナー。ChatGPTやAmazon Bedrockなどの各種生成AIサービスの選定からインフラ構築、アプリ開発まで、生成AI活用を幅広く支援している。
この取り組みに関心があれば、
クラスメソッド株式会社の公式情報をご覧ください
※イメージ画像です01 — Overview
総合バルブメーカーのキッツは、IT統括センターに置いたデジタル技術研究会の2024年テーマに生成AIを掲げ、6つのチームがそれぞれの業務課題に取り組みました。そのうちバックオフィスのシステム開発を担うチームが選んだのが、就業規則や休暇、給与に関する質問が集中する人事・総務部門向けの社内文書検索チャットボットです。当初はAmazon KendraとAmazon Bedrockを組み合わせて自分たちで作りましたが、回答精度が実務に耐えず、クラスメソッドへ技術支援を要請しました。検索の仕組みをAmazon Bedrock Knowledge Basesへ切り替え、2024年10月下旬から約2カ月のPoC（小規模な試験導入）として精度を詰めています。現在は実業務での利用を見据えた第2フェーズが動いています。
出典：株式会社キッツ様事例｜RAGチャットボットで高精度の回答を実現。AWS上での生成AI開発の知見獲得により社内活用を加速 ｜クラスメソッド（発行元：クラスメソッド）
02 — Problem
人事・総務部門には、就業規則、休暇、給与にまつわる質問が全国の製造・営業拠点から絶えず寄せられ、その対応に6人月分の工数が割かれていました。社内ポータルにFAQを置いて質問そのものを減らす試みも重ねられましたが、想定以上のメンテナンス負荷がかかり、課題解決には至っていません。
編集部の見立てでは、行き詰まりの本質は問い合わせの件数ではなく、答えがすでに社内規程という形で存在しているのに、聞く側がそこへ自力でたどり着けない状態が続いていた点にあります。FAQ方式は、想定される質問の形に合わせて答えを作り置きし、規程が変わるたびに人手で追随する運用です。入り口を増やすほど維持の手間が膨らむ構造で、担当者の負荷を根元から下げるのは難しかったのではないでしょうか。
03 — Key points
精度の伸び悩みを、AIの答え方ではなく答えのもとになる文書の探し方の問題として切り分けた点が、この取り組みの起点です。当初はキーワードを軸に文書を引き当てるAmazon Kendraと生成AIサービスのAmazon Bedrockを組み合わせていましたが、これを文章の意味の近さで文書を探すベクトル検索、Amazon Bedrock Knowledge Basesへ差し替えています。就業規則のような文書では、社員が使う言葉と条文の言葉が一致しないことが珍しくなく、正しい条文にたどり着けなければ生成側をどう工夫しても答えは合いません。探す層を入れ替える判断が、実務水準への道筋をつくったと考えられます。
構成変更後も残った「あと一歩」を、具体的な誤答のケースに翻訳して持ち込んだ進め方も見逃せません。精度が低いという訴えのままでは打ち手が定まりませんが、どの質問でどう外したかまで具体化すると、Knowledge Basesのオプションを有効化するという、手の届く調整作業に変わります。曖昧な不満を設定項目のレベルまで降ろす作業を挟んだことが、限られた期間内での着地を可能にしたのではないでしょうか。
期限を先に置き、既存の土台の上で組み立てた設計も、この短期決戦を支えています。AWS上で生成AIを検証するためのユースケース集であるGenerative AI Use Cases JP（GenU）を出発点に据えたことで、ゼロから作る工程が省かれました。手を動かすのは自社メンバーとし、支援側は機能要件の洗い出し、導入手順の案内、導入作業の立ち会い、技術的な質問への回答に回るという役割分担も、週1回の定例やクイズ形式の復習とあわせて、開発物と同時に社内の知見が残る形につながっています。
04 — Results
約2カ月の検証を経て、当初50点と評価していた人事・総務部門の担当者から「すぐに公開してもいいレベル」という評価を得るところまで回答精度が高まり、ハルシネーション（もっともらしい誤答）も抑えられました。2024年12月の技術研究会の発表会で内容が全社に公開されると、経理部門から自部門でも導入したいという声が届いています。現在は全社員が使うための権限管理機能の実装と、検索対象を社内規程集から法令文書へ広げる第2フェーズが進み、2025年度上期中の本番リリースが目標に置かれています。
05 — For your company
この進め方が効きやすいのは、答えがすでに文書として社内にあり、しかも改定のたびに中身が動く領域です。就業規則や社内規程のように、正解は書かれているのに探しにくい種類の問い合わせであれば、検索の当て方を変えるだけで体感が変わる可能性があります。逆に、文書になっていない判断や、担当者がその場の事情を汲んで決めている相談ごとは、検索をいくら強くしても答えが出てきません。
もう一点、人事領域には役職や所属によって見せてよい範囲が変わる情報が混ざります。この事例でも、全社員が使う段階へ進むにあたって権限管理機能の実装が次の課題に据えられており、試験段階で精度が出たことと、そのまま全社公開できることは別だと分かります。
始めるなら、直近で人事・総務に寄せられた質問を数件選び、その答えがどの規程のどこに書かれているか突き合わせてみてはいかがでしょうか。元の文書に行き着かない質問が目立つなら、順番としてはAIより先に文書側の整備です。
06 — Company
AWSの最上位パートナー。ChatGPTやAmazon Bedrockなどの各種生成AIサービスの選定からインフラ構築、アプリ開発まで、生成AI活用を幅広く支援している。
この取り組みに関心があれば、
クラスメソッド株式会社の公式情報をご覧ください
07 — Category
関連度の高い事例を選定しています。少しお待ちください。