AIは決定するのではなく、導くべきである

問題に「AI」という文字を付け加えた途端、面白いことが起こる。ごく常識的な人々が、AIを万能の解決策のように扱い始めるのだ。

私はAI反対派ではありません。私はこの空間で制作活動を行っています。これから何が可能になるのか、ワクワクしています。私もそれなりに年を取っているし、それなりの苦労も経験しているから、熱意は戦略にはならないということも分かっている。

私が何度も立ち返る言葉はこれだ。AIは導くべきであって、決定するべきではない。

Windows NT管理者としてのキャリアの初期に、セキュリティを「強化」しようとして、誤ってすべてのユーザーをシステムから締め出してしまったことがありました。私たちは一日中、トラブルシューティングとバックアップの復旧に費やし、丸一日分の生産性を失ってしまった。

私は十分な状況を把握しないままその決断を下してしまい、その結果、私たちは代償を払うことになった。だから、人々がAIに情報提供ではなく、意思決定と実行を任せようとすると、私は不安になるのです。これは、システムに安全装置を設置せずに不可逆的な動作をさせた場合に起こる事態です。

組織がAIに嫌悪感を抱く最も手っ取り早い方法は、間違ったモデルを選択することではない。それは間違った車線選択だ。それは、システムが再現可能で、監査可能で、かつ退屈である必要があるところにAIを適用し、そして「賢い」ことが「混乱」に変わったときに驚いたふりをするということだ。

AIによる自動化と人間の監視のバランスを取る

自動化は、一貫性、スピード、そして拡張性を実現できるため、魅力的な選択肢です。しかし、すべての自動化が同じように作られているわけではない。スペクトルが存在する：

• 決定論的：毎回同じように動作する、再現可能なワークフロー。
• 確率的：パターン、文脈、推論に基づいて出力を生成するシステム。

LLMは、2番目のカテゴリーにおいて強力かつ効率的である。それらは本来、最初の目的のために設計されたものではない。人々がAIに「意思決定と実行」の役割を押し付ける場合、たいていは流暢さと信頼性を混同したり、信頼度シグナルを過大評価したり、あるいは安全対策を設計するという難しい部分を回避しようとしていることが原因である。

しかし、問題は、AIを近道として利用しようとすると、かえって遠回りになってしまうことが多いということだ。

適切なAIレーンを選択する簡単な方法

AIをどこに導入すべきかという意思決定を行う際に、私が常に参考にしているフレームワークをご紹介します。これは2つの質問に基づいた2×2のマトリックスです。

1. そのタスクはどの程度明確に定義されていますか？
2. 間違えることの代償とは？（つまり）爆発半径、可逆性、コンプライアンス、信頼性）

私が「導く」ことと「決定する」ことの違いを視覚的に説明したのがこちらです。

これは、AIが「良い」か「悪い」かという問題ではない。これは適合性に関する問題であり、ポリシー、ルールセット、または許容される行動経路が十分に明確に定義されている環境や状況にAIを適合させることで、システムが既知の範囲内で確実に動作できるようにすることを意味します。あなたにとって最適な基準を決定する方法は以下のとおりです。

• 明確な定義＋低負荷：システムに判断を委ねる。決定論的な自動化が勝利する。例えば、重複するサポートチケットに自動的にタグを付けたり、標準的な社内リクエストをルーティングしたり、リスクの低いスパムをフラグ付けしたりするなどです。システムが時折誤りを犯したとしても、その間違いは容易に発見でき、修正できる。
• 明確に定義され、影響力も大きい：依然として「決定」は行うが、失敗は避けられないという前提に基づいた管理を行う。例えば、不正検出のための保留、本人確認チェック、不審なログイン試行のブロックなどは自動化できますが、監査ログ、人的エスカレーション経路、ロールバックメカニズム、誤検知や見逃しの影響範囲を縮小するためのしきい値といった安全対策が必要です。
• 文脈依存度が高く、影響が少ない： AIは、特にミスが安価で修正可能な場合には、判断を下すことができる。例えば、会議の要約を作成したり、未処理のタスクに優先順位を付けたり、社内文書を提案したり、アナリストが最初に確認すべきアラートを推奨したりすることなどが挙げられます。モデルは完璧ではないかもしれないが、出力は十分な助言となるため、誤差は許容範囲内である。
• 文脈重視＋インパクト大。分析を加速させ、判断力を向上させるために活用する。主導権を握らせてはいけない。例えば、セキュリティインシデント対応、内部リスク調査、法的審査、経営危機対応、あるいは影響力の大きいアクセス決定などは、微妙なニュアンス、不完全な事実、相反する動機、組織的背景などを考慮する必要があり、多くの場合、規則にきれいに収まるものではありません。

セキュリティ上の問題のほとんどは、人々が認めたがる以上に、右下の象限に潜んでいることが多い。具体的には、多くの重要なセキュリティ上の決定は、状況判断に大きく依存し、かつ重大な影響を及ぼす。組織がこれらの意思決定を単純な自動化の問題として扱うと、2つの方向でリスクが生じます。弱いシグナルに過剰反応してしまう可能性もあれば、モデルに十分なコンテキストが欠けているために真の脅威を見逃してしまう可能性もあります。

組織にとって、それは業務の中断、誤った執行措置、信頼の失墜、事件への対応の遅延、そして権威があるように見えるものの実際には根拠が不十分な成果に基づいてリーダーシップが意思決定を行うことを意味する。

AIは物語を語ることはできるが、行動を起こすことはできない

セキュリティ分野には、既に自動化の成功例が数多く存在する。そして、私たちはもっとそうすべきだ。効果的なセキュリティ自動化は、明確に定義された入力、予測可能な出力、そして明示的な制約に基づいて構築される。

AIが最も価値を発揮するのは、環境が複雑で、証拠が不完全で、文脈が重要で、行動の結果が人間、技術、法律、ビジネスといった様々な要因によって同時に左右されるような状況で、従来のシステムが苦戦し始める時である。そして、真の課題は、状況を十分に迅速に理解し、行動に移すことである。

AIは、散在する信号を拾い集め、それらを首尾一貫した ストーリー と、もっともらしい次のステップのセットに変換することに非常に優れている。しかし、物語は行動ではない。行動を伴わない話は、説明責任、エスカレーション、レビュー、テスト、そして所有権にギャップを生み出す。組織が原則、プレゼンテーション、戦略文書といったレベルでは、AIを責任を持って利用していると言うのは簡単だが、それを具体的な運用管理に落とし込むことができない場合が多い。実際には、これはチームが、人間の介入の必要性、出力の検証方法、システムが誤りを犯した場合の責任者などを明確に示す安全策を講じることなく、重要なワークフローにAIを導入する可能性があることを意味する。

また、自信は正しさとは別物であり、その点は人々が考えている以上に重要な意味を持つ。現代の多くのインターフェースは、AIを実際よりも信頼できるものに感じさせてしまう。出力は洗練されている。その口調は威圧的だ。システムは信頼度指標を提供する可能性もある。

セキュリティの世界では、真実を見つけるのは厄介なことだ。それはログの中に埋もれていて、周囲の環境に依存し、変化する基準値に左右され、そして多くの例外的なケースを抱えている。また、出所証明と検証も必要となるが、これは時間と手間がかかる場合がある。

AIモデルは、あなたがそのコンテキストを与えない限り、あなたの環境に2019年の奇妙なレガシールールが存在することを「記憶」することはできません。組織のリスク許容度をコード化しない限り、システムはそれを知ることができません。実行可能な操作を制限しない限り、提案された操作が誤ったシステムに影響を与えないことを保証することはできません。

ですから、尋ねるべき質問は「このモデルは自信があるか？」ではありません。正しくは、「これを検証できますか？もし間違っていたらどうなりますか？」であるべきです。

あなたがAI導入を推進するリーダーであるか、あるいはあらゆるものに「AIを追加する」よう求められている人であれば、私が推奨する実践的なガイドラインをいくつかご紹介します。

AIを活用して：

• 関連するコンテキストをより速く表面化
• ドメイン間で要約および翻訳を行う
• 仮説を立て、調査手順を策定する
• レビュー用の計画案、問い合わせ、および通信文
• 異常を検知し、優先的に対処します
• トレードオフと不確実性について説明する

しかし、AIを使って取り返しのつかない行動を取ったり、人間の監視なしに政策を強制したり、真実を検証するのが難しい場合に最終的な判断を下したり、決定論的な安全装置なしに本番システムに直接作用したりする場合には注意が必要です。こうした状況では、モデルのエラーが組織のエラーに発展してしまうからです。

簡単なインシデントレビューのシナリオとしては、次のようなものが考えられます。AIシステムが異常な管理アクティビティの集まりを悪意のあるものと解釈し、重要なアカウントを自動的に無効化し、本番環境のシステムをブロックする。数時間後、組織はそれが停電中の緊急かつ正当なメンテナンス作業であったことを知った。したがって、今回の検証は、モデルが「間違っていた」かどうかだけでなく、なぜ決定論的な制約、段階的なエスカレーション、あるいは人間の確認なしに、大きな影響を与える行動を取ることが許されたのかという点も問うものである。

• もし実行プロセスにAIを組み込むの であれ ば、他のリスクの高い自動化と同様に扱うべきです。これを使用すると、明示的な承認を必須にしたり、権限の範囲を厳密に設定したり、段階的な展開を行ったり、あらゆる情報をログに記録したりするなど、さまざまな重要なタスクを実行できます。
• 目的は物事を遅らせることではない。それは、制御を伴わないスピードは、事故調査への近道に過ぎないということを、苦い経験を通して学ぶことを避けるためだ。

セキュリティリーダーにとって最適なAIフレームワークを採用する

シスコでは、セキュリティモデルを真に効果を発揮する場面でどのように適用するかに注力しています。単なる目新しい機能としてではなく、効果を何倍にも高めるツールとして活用することを目指しています。

私たちは「あらゆる場所にAIを」という目標は掲げていません。その代わりに、私たちは AIを適切な役割に 配置づけました。AIは、複雑な状況においてチームを導き、状況把握までの時間を短縮し、人間の判断を置き換えることなく専門知識を拡張します。導入が定着するのは、最高のパフォーマンスを発揮し、かつ、あらゆる重要システムに求められるのと同じレベルのエンジニアリング規律に支えられている場合である。

もしあなたがAI導入を主導しているなら、私が提案したい課題は次のとおりです。次の「AIを導入しよう」という取り組みにゴーサインを出す前に、次の2つの質問を自問してみてください。

1. 私たちはどのような決定を改善しようとしているのか、そして誰がその責任を負うのか？
2. システムが誤作動した場合、爆発範囲はどのくらいになり、無事に復旧できるのか？

先ほど説明したマトリックスに、あなたのユースケースを照らし合わせてみてください。そのタスクが状況に応じた判断を必要とするのか、それとも明確に定義されたルールに従う必要があるのかを正直に判断し、失敗した場合の真のコストを認識してください。AIは、あらゆる物語の主人公である必要はない。時には、3年間完璧に機能し、その後誰もそれについて語らないような、退屈なワークフローが最良の結果となることもある。しかし、状況が複雑化し、事実が不完全で、シグナルが曖昧で、文脈が急速に変化するような場合、AIはその真価を発揮する。そうした状況では、データだけでは「正しい」答えが明らかになることは少ない。

AIガイドラインとガードレールを作成する方法について詳しく知りたい場合は、 Splunkの月刊ニュースレター「Perspectives」にご登録ください。