AIガバナンスを運用で支えるAIオブザーバビリティ

生成AIやAIエージェントが業務システムに組み込まれるなか、AIガバナンスには、方針やルールの策定だけでなく、稼働中のAIが想定どおりに振る舞っているかを継続的に確認する仕組みが求められる。本稿では、その役割を担うAIオブザーバビリティを取り上げ、従来のオブザーバビリティとの違いと、観測対象・評価項目を整理するとともに、関連ツールを3つのタイプに分けて解説する。

AIガバナンスの実効性を担保する仕組みとは

企業におけるAI活用は、生成AIの利用から、業務アプリケーションへの組み込み、AIエージェントによるタスクの自動実行へと広がりつつある。これに伴い、AIガバナンスの対象も、利用ルールや禁止事項の策定から、稼働中のAIが安全かつ適切に振る舞っているかを継続的に確認する段階へ移りつつある。

ITRがJIPDECに調査協力し実施した『企業IT利活用動向調査2026』によると、AIガバナンスで強化が必要な項目としては、「人による最終判断とAI判断の説明責任を確保する仕組み」が35％で最も高く、これにAI固有のリスク管理や、全社的な方針・体制の整備が続いた（図1）。一方、「AIの性能／品質／挙動を継続的に監視する仕組み」は13％にとどまった。上位にあがった説明責任やリスク管理を実効的なものにするには、AIがどのような入力とデータに基づいて出力や行動を決定したかを確認できることが求められる。

図1．強化が必要なAIガバナンスの項目

例えば、社内制度や業務手続きに関する従業員の問い合わせに回答するAIでは、制度や手続きの変更、参照データの更新漏れなどが原因となり、古い情報や誤った内容を案内することがある。この種の問題は、アプリケーションが正常に応答していれば、従来の稼働監視では検知できない。モデルやプロンプト、参照データ、検索結果、出力結果を関連づけて観測・評価することで、品質低下の検知と原因の特定が可能になる。

したがって、AIガバナンスを実効的なものにするには、方針や責任体制、利用に関するルールやガイドラインを整備するだけでなく、それらが実際の運用に反映されていることを確かめる必要がある。そのためには、AIシステムの稼働状態と振る舞いを継続的に観測・評価する仕組みが不可欠である。こうした仕組みは「AIオブザーバビリティ」と呼ばれ、近年注目が高まっている。