自律型AIの時代に向けてITリーダーにできる備え

エージェント型AIに最初からガバナンスが必要な理由

「ボビバース」シリーズでは、ボブの仕事は銀河を探査することです。探査範囲を拡大していくには、自身の自律的な複製体を多数作成する必要があります。そして、複製体はそれぞれの運用環境に応じて独自の個性を発達させ、優先順位を判断していくようになります。

ボブが直面する課題は、組織が直面している課題と不気味なほど似ています。ボブは、最初のうちは、すべての判断を1人で担います。その後、探査担当、研究担当、外交担当など、専門的なレプリカントを作り始めます。この「ボブたち」は当初、正式なガバナンスを持たず、絶対的な信頼関係に基づいて活動していました。しかし、第4巻になると、3つの派閥が相反する価値観を持つようになります。その結果、内戦が起き、複数に分割したネットワークがファイアウォールで遮断され、全面的な信頼は永遠に失われることになります。1人の「ボブ」が言うように、「もはや互いに絶対の信頼を置くことはできない」状態になったのです。

私がこの話をしたCISOは皆、クラウド導入、DevOpsチーム、シャドウITといった領域で発生する対立を調整するという、同じような経験をしていました。当初の信頼関係だけでは不十分なのです。

リスク許容度に基づくAI監督の重要性

私が主催する自律型AIワークショップで必ず質問されることがあります。それは、「AIが意思決定を行う場合、誰が実際にその責任を負うのか？」ということです。これは複雑で難しい問題ですが、私は、リスク許容度に基づいてAIの意思決定プロセスの方針を立てるために役立つ、以下の3つのモデルに行き着きました。

人間参加型(HITL：Human-in-the-Loop)：このモデルでは、AIが意思決定を提示して人間が承認します。すべての意思決定に、人間による明示的な承認が求められます。このモデルは安全に感じられるため、多くの組織がデフォルトで採用しています。一方で、時間がかかるという欠点もあります。特にセキュリティ運用は、時間との勝負です。あるお客様の組織では、1日に1万件のアラートが発生しましたが、人間が1件ずつレビューする必要があったため、対応に追われることになりました。その結果、MTTR (平均対応時間)が数時間にも及びました。

人間監視型(HOTL：Human-on-the-Loop)：このモデルでは、人間がAIを監視し、必要に応じて介入しながら、AIが自律的にタスクを実行します。ほとんどのセキュリティ運用やIT運用に最適なモデルで、AIがトリアージと初期対応を自律的に実行し、人間のアナリストがパターンを分析してエスカレーションを処理します。人間がボトルネックにならない限り(実際にはボトルネックになりがちですが)、完全な自律動作とほぼ同等のスピードで処理を実行できます。

人間非介入型(HOOTL：Human-out-of-the-Loop)：このモデルでは、AIが完全に自律的にタスクを実行し、リアルタイムの監視は一切行いません。人間の介入がないとエラーが連鎖して急増する可能性があることが主な理由となり、多くの組織にとってはまだ受け入れ難いモデルです。

「ボビバース」シリーズには、AIの監視レベルを誤るとどのような結果が待ち受けているかが描かれています。「ボブたち」は、ガバナンスではなく共通の価値観に基づく、事実上のHOOTLモードで活動していました。あるとき、1つの派閥が密かに開発したAIが自己意識を持ち始めましたが、その時にはもはやそれを停止できなくなっていることが判明しました。そのAIは、それぞれが構築したシステム上で動作していたためです。同様に、組織は、明確な監視体制がないまま、自律型エージェントの構築を進めています。このような自律型エージェントが、さらなる自立型エージェントを生成するという連鎖が発生すると、再帰的なリスクは現実のものとなります。「ボビバース」シリーズではそれを「AI時限爆弾」と呼んでいます。

AIの評価で重要な役割を果たす信頼較正

.conf25のリーダーシップフォーラムで、あるパネリストが、自社の自律型システムが「SOCチームの信頼を得ている」と主張しました。その根拠について質問されると、「まだ問題が発生したことがないから信頼している。しかし実際のところ、自律型システムが何をしているのかよくわからない部分も多い」というのがその答えでした。

それは信頼ではありません。なかば無知から生じた期待です。

ある研究では、私たちがAIの見た目のパフォーマンス指標を過大評価していることが裏付けられています。包括的なメタ分析によれば、AIに対する人間の信頼感に最も強く関連しているのは、AIの見た目の動作特性であり、人間側の要因や環境的背景がそれに続くことがわかりました。つまり、私たちは観察に基づいて信頼度を較正しますが、意思決定プロセスを観察できないとすれば、それは手探りで較正しているのと同じことです。

私は、信頼度が極端に高い場合と低い場合の両方の失敗例を見てきました。信頼度が高すぎると、壊滅的な失敗を引き起こします。2024年には自動運転車の事故がほぼ倍増しましたが、これは主に、人間がシステムの能力を過大評価したことが原因です。逆に信頼度が低すぎると、リソースが無駄になります。信頼度の高い自律的動作に対して人間による過剰な検証を求めたり、AIからの有益な提案を不必要に却下したりすることになります。

「ボビバース」はこの点について、驚くほど実用的な解決策を提示しています。ボブの複製体の1人であるビルは、主要な集会の前に必ず「半ば強制的な野球の試合」を開催します。そこには、「ボブたちを現実世界に繋ぎ止め、自分たちが人間であることを思い出させる」という明確な目的があります。些細なことに思われますが、野球の試合が共通のアイデンティティと価値観を較正して強化するための定期的な接点になっていることに気づけば、その意義は明らかです。

私は、相談を受けた経営幹部の方々に、同様の取り組みを勧め始めました。つまり、自律型システムのパフォーマンスを人間の判断で明確に評価するための会議を定期的に開くことです。具体的には、AIが正しかった点、間違っていた点、それらの理由についてチーム同士で話し合う、人間によるレビューセッションを実施します。話し合う内容には、AIの予測に対する信頼度スコアや、システムの制約に関する明確な説明も含まれます。あるSOCマネージャーは、これらのセッションを「信頼較正会議」と呼び、1週間で最も価値のある1時間になったと評しました。

AIのオーケストレーションの課題は技術ではなく組織の準備態勢

エージェント型AIの技術はすでに目の前にあります。ボトルネックになっているのは、計算能力やモデルの洗練度ではなく、組織の準備態勢です。

『Harvard Business Review』誌の調査では、エージェント型AIの時代にリーダーに求められる5つの重要スキルとして、AIに関する十分な理解、組織体制の見直し、人間とAIによる協働の調整、AIがもたらす変化への共感的対応、倫理面の継続的な監視といったことを実行できる能力が挙げられています。私がこれらの調査結果をCIOに伝えると、92%がAI投資の増額を計画している一方で、組織内でこれらのスキルを持つリーダーは1%にも満たないことを多くのCIOが認めています。

取締役会の運営方法について考えてみてください。取締役会の務めは、日常業務の意思決定を管理することではなく、戦略に関する合意形成を図り、成功指標を定義し、事業を監督することです。AIエージェントも同様に運用すべきです。リーダーシップの転換とは、より良いプロンプトを作ることではなく、プロセスの整備から戦略的な目的の明確化へ、マイクロマネジメントから境界線とガードレールの設定へ、一貫性の要求からインテリジェントな適応の受容へと移行することです。

「ボビバース」においては、ボブが単独のオペレーターとして活動し始めたときからこのような展開になります。その中でビルがオーケストレーターとして台頭します。研究開発を調整し、新しいレプリカントを製造し、「ニュースと情報の中央集約機関」となります。レプリカントの数が1万体を超える頃には、連携を維持することに特化した高度な仮想現実インフラを構築します。

個々のコントリビューターから、オーケストレーター、そしてガバナンスアーキテクトへと進化していく過程は、ITリーダーにとっても同じです。リーダーとして成功するには、このアーキテクチャがどのように進化していくかを見極め、それに応じて自身のリーダーシップスタイルを適応させていく必要があります。

パートIIでは、経営幹部がエージェント型AIの導入において培うべき「エージェンシー」の5つの柱と、その将来的な成功の鍵についてご紹介します。どうぞご期待ください。

このブログはこちらの英語ブログの翻訳、前園 曙宏によるレビューです。