AIの役割はガイドであって、意思決定ではない

AIによる自動化と人間による監視のバランス

自動化は、一貫性、スピード、拡張性の向上を期待できる点で魅力的です。だだし、自動化にはさまざまなタイプがあります。たとえば、以下の分類ができます。

• 決定論的：毎回同じように動作する再現可能なワークフローです。
• 確率論的：パターン、コンテキスト、推論に基づいて出力を生成するシステムです。

LLMは、後者のカテゴリーにおいて強力かつ効率的です。前者のカテゴリーで使用することは想定されていません。組織がAIに「意思決定と実行」の役割を担わせようとするときは、たいてい、効率性と信頼性を混同しているか、AIの信頼度シグナルを過大評価しているか、ガードレールの設計という手間のかかる作業を省略しようとしています。

しかし多くの場合、そこには「AIを近道として利用するとかえって遠回りになる」という落とし穴があります。

AIの導入先を正しく選ぶための簡単な方法

AIをどこに導入すべきかを決める際に私がいつも参考にしているフレームワークをご紹介します。それは、次の2つの質問を軸とした2×2のマトリクスです。

1. タスクはどの程度明確に定義されているか？
2. 判断に誤りがあった場合のコストはどのくらいか？(影響範囲、回復可能性、コンプライアンス、信頼性など)

「ガイドか意思決定か」の私の判断基準を視覚的に表現したのが次の図です。

これはAIが「良い」か「悪い」かの問題ではありません。AIの「使い方」の問題です。重要なのは、AI導入を検討している環境や状況について、ポリシー、ルールセット、許容されるアクション経路が十分明確に定義され、AIがあらかじめ定められた範囲内で高い信頼性を維持しながら動作できるかどうかに基づいて、AIの導入方法を判断することです。以下に、組織にとって最適な基準を判断するための指針を示します。

• 定義が明確＋影響小：システムに意思決定を任せます。これは、決定論的な自動化が効果を発揮する領域です。たとえば、重複するサポートチケットへのタグ付け、定型的な社内リクエストのルーティング、低リスクのスパムへのフラグ設定などを自動化できます。システムが誤った判断をすることもありますが、そうしたミスは簡単に検出、修正できます。
• 定義が明確＋影響大：システムに意思決定を任せられますが、判断ミスが避けられないことを前提とした運用が必須です。たとえば、検出された不正操作の保留、本人確認、不審なログイン試行のブロックなどは自動化できますが、監査ログ、人間によるエスカレーションパス、ロールバック機構の整備や、誤検知や検出漏れの影響範囲を小さくするためのしきい値の設定といった安全対策が必要です。
• コンテキストに大きく依存＋影響小：随所でAIに意思決定を任せられます。特に、ミスの影響が小さく回復可能性が高い場合は適しています。たとえば、会議のサマリー原稿の作成、バックログの優先順位付け、社内文書の作成支援、アナリストが最初に確認すべきアラートの提案などが該当します。モデルは完璧ではないかもしれませんが、その出力は助言として十分に役立ち、ミスへの対応も容易です。
• コンテキストに大きく依存＋影響大：分析スピードの向上や意思決定の支援にのみAIを使用し、意思決定を完全に任せることはしません。たとえば、セキュリティインシデントへの対応、内部リスクの調査、法的なレビュー、経営レベルの危機対応、影響の大きいアクセス判断など、微妙なニュアンス、不完全な事実、競合するインセンティブ、組織的なコンテキストなど、ルールで明確に定義できない要因が関係することが多い場合が該当します。

セキュリティに関する問題のほとんどは、多くの人の予想に反して、図の右下の領域に該当します。つまり、セキュリティに関する重要な意思決定の多くは、コンテキストに大きく依存し、影響が大きいということです。これらの意思決定を単純に自動化すると2つのリスクが生じます。1つは、些細なシグナルに過剰反応してしまうこと、もう1つは、モデルが十分なコンテキストを得られないために真の脅威を見逃してしまうことです。

組織にとってこれは、業務の中断、誤った対策の実行、信頼の失墜、インシデント対応の遅れ、信頼できそうに見えて実際には根拠の乏しい情報に基づく経営判断につながりかねません。

AIはストーリーを語ることはできるが、アクションを実行することはできない

セキュリティの領域には自動化の成功例が数多く存在します。当然、その取り組みは今後も進めていくべきです。ただし、セキュリティの自動化が成功するのは、入力が明確に定義され、出力が予測可能で、制約が明示されているときです。

そして、さらに環境の複雑化が進み、そのような自動化システムでの対処が困難になり始めたときにこそAIは真価を発揮します。つまり、証拠が不完全で、コンテキストが重要性を持ち、アクションの結果に人的、技術的、法的、ビジネス的な要因が同時に影響するような状況です。その中で、現状をすばやく把握してアクションにつなげることが真の課題になっている場合はAIの出番です。

AIは、散在するシグナルを収集し、一貫性のあるストーリーにまとめ、妥当と思われる一連のステップの形で提案することに優れています。しかし、ストーリーとアクションは別物です。アクションを伴わないストーリーは、アカウンタビリティ、エスカレーション、レビュー、テスト、オーナーシップのギャップを生みます。多くの組織にとって、方針策定、プレゼンテーション、戦略文書のレベルでは、責任あるAI活用を行っていると言うことは簡単ですが、それを具体的な運用体制に落とし込むことができていないのが実情です。実際に、人間の介入の必要性、出力の検証方法、AIが判断を誤った場合の責任の所在を明確に定めるガードレールを設置しないまま、重要なワークフローにAIを導入しているケースが少なくありません。

また、自信と正しさは別物であり、この点は人々が考えている以上に重要な意味を持ちます。最新のインターフェイスの多くは、AIが実際よりも信頼できるような印象を与えてしまいます。出力は洗練され、口調は堂々とし、AI自身が信頼度を示す指標を提供することさえあります。

問題は、AIのコンテキストにおける「信頼度」が、多くの場合、真実性ではなく、内部的な一貫性やパターンへの習熟度を反映しているに過ぎないという点にあります。

セキュリティの領域では、真実を見つけるのは容易ではありません。ログに埋もれていたり、周囲の環境に左右されたり、変化するベースラインに依存していたり、エッジケースが多数存在したりするためです。さらに、出所の確認や検証も必要となり、時間も手間もかかります。

環境内に2019年に定められた奇妙なレガシールールが存在していたとしても、AIモデルは、関連コンテキストを与えられない限りそのルールを「想起する」ことはできません。組織のリスク選好度についても、情報を与えられない限り認識できません。AIモデルが実行できる操作を制限しなければ、AIが提案するアクションが他のシステムに意図しない影響を及ぼす可能性もあります。

つまり、問うべきは「モデルの回答は信頼できるか？」ではなく、「それを検証できるか？それが間違っていたらどうなるか？」です。

AI導入を推進するリーダー、またはあらゆる業務に「AIを導入せよ」と求められている方にお勧めする、いくつかの実践的なガイドラインをご紹介します。

AIは以下の目的に使用しましょう。

• 関連性の高いコンテキストの迅速な把握
• 複数のドメインをまたいだ情報の要約および解釈
• 仮説の構築と調査手順の策定
• 人間によるレビューを前提とした、計画書、クエリー、報告書の下書き作成
• 異常のフラグ付けや対応の優先順位の判断
• トレードオフや不確実性についての説明提供

一方、不可逆的なアクションの実行、人間による監督のないポリシー適用、真実の検証が困難な状況での最終判断、決定論的なガードレールが未整備な状態での本番システムでの操作実行にAIを使うことには慎重になるべきです。これらのケースでは、モデルの判断ミスが組織全体のミスに発展する可能性があります。

たとえば、次のようなインシデントレビューにおける単純なシナリオについて考えてみましょう。AIシステムが、異常な一連の管理アクティビティを悪意のある操作と判断し、重要なアカウントを自動的に無効化して、本番環境のシステムをブロックしました。数時間後、それは障害発生時の緊急かつ正当なメンテナンス作業であったことがわかります。この場合、レビューで問うべきは、モデルが「間違っていた」かどうかではなく、なぜAIが、決定論的な制約、段階的なエスカレーション、人間による確認なしに、影響の大きいアクションを実行できたのかという点です。

また、AIを実行パスに組み入れるのであれば、他のリスクの高い自動化と同様に扱いましょう。明示的な承認を必須にする、権限の範囲を厳密に定める、段階的に展開する、すべてのログを記録するなどをはじめとする入念な作業計画を立ててください。

目的はスピードを落とすことではありません。「急いては事を仕損じる」ということを身をもって学ばずに済むようにすることです。

セキュリティリーダーのための適切なAIフレームワーク

シスコは、セキュリティモデルが単なる目新しい機能としてではなく能力を増強するツールとして真の価値を生むような利用方法を重視しています。

シスコが目指すのは「あらゆる場所にAIを導入する」ことではありません。AIを適材適所に導入することで、複雑な状況の中でチームを正しい方向に導き、コンテキストを把握するまでの時間を短縮し、人間の判断を代替するのではなく専門知識を拡張することです。AIを定着させるには、AIの効果を最大限に引き出し、あらゆる重要システムに求められるのと同じレベルのエンジニアリング規律を適用する必要があります。

AI導入を推進している方は、次回のAI導入イニシアチブにゴーサインを出す前に、次の2点を確認してください。

1. どのような意思決定を改善しようとしているのか、その意思決定の責任を誰が負うのか？
2. AIが判断ミスをした場合、その影響範囲はどの程度で、完全に回復可能か？

検討中のユースケースが前述のマトリックスのどこに当てはまるかも確認しましょう。そのタスクがコンテキストに依存するのか、それとも明確に定義されたルールセットに従うのかを公正に判断し、ミスが発生した場合のコストを正確に見積もります。

AIがあらゆる場面で主役になる必要はありません。ときには、3年間完璧に機能し、もはや誰も話題にしないような安定しきったワークフローが最良の結果をもたらすこともあります。一方、事実の完全性が確保されず、シグナルが曖昧で、コンテキストが目まぐるしく変化するような複雑化した環境では、AIが真価を発揮します。このような状況では、データだけからでは「正しい」答え導き出せないことが少なくありません。

このブログはこちらの英語ブログの翻訳、前園 曙宏によるレビューです。