社内チャットのハラスメント検知、外部につながない環境で精度95%超を検証

企業のコンプライアンス意識が高まり、チャット上のやり取りにも目を配る必要が出てきた一方で、三和コムテックが提供しているのは、外部ネットワークから切り離して使うことを前提としたチャット基盤です。クラウド上のAIサービスを呼び出すという一般的なやり方は、この前提とそもそも両立しません。

編集部の見立てでは、ここでの困りごとは「使えるAIが手元にない」という技術の不足というより、守るべきものが二つあり、片方を立てると片方が崩れる構造にあったのではないでしょうか。ハラスメントの兆候が現れるのは、当事者以外の目に触れさせたくない生々しい会話です。検知の必要性が高い会話ほど社外に出しにくいという逆向きの関係が、対策を先送りさせる力として働いていたと考えられます。

ハラスメントに該当する会話例を法律の専門家とともに選び抜くというデータの作り方が、この取り組みの土台になっています。ハラスメントに当たるかどうかの判断は、同じ言葉でも関係性や場面によって変わり、最終的には法的な評価が絡む領域です。ここで正解の付け方がぶれれば、どれだけ学習を重ねても判定は安定しません。データの量を追う前に判断基準そのものを専門家の手で固めた、その順序にこの設計の勘所があると見ています。

もう一つの要因は、文章を作る大規模なモデルではなく、会話が該当するか否かを見分ける分類という一点に用途を絞った割り切りです。IBM Watson NLPの分類機能を使い、オンプレミスのパッケージ内に収まる軽量なモデルとして仕立てています。閉じた環境では使える計算資源に限りがあり、汎用的な性能を欲張るほど載せきれなくなる。やりたいことを「検知してアラートを出す」まで削ぎ落としたことが、環境の制約とモデルの規模を噛み合わせたのではないでしょうか。

モデルを最初から決め打ちせず、PoCの段階で複数の自然言語処理モデルを比較評価して選び、その後もトレーニングデータの改良とチューニングを続けている点も見逃せません。ハラスメントの線引きは時代とともに動くため、作り切って終わりにできない性質の課題です。IBMがAI基盤と技術面を担い、三和コムテックが自社製品への組み込みと業務要件を持つという役割分担も、この継続を支える形になっています。

PoCでは、外部ネットワークから切り離されたクローズドな環境でありながら、AIによるハラスメント判定で95%以上という精度が確認されました。クラウド上の大規模言語モデル（LLM）に頼らずとも、軽量な言語モデルをオンプレミスのパッケージ内に安全に配置できる可能性が示された形です。現在は実稼働環境への導入に向けて、IBMと連携しながらアプリケーションの開発とモデルの精度向上が進められています。