州政府・地方自治体・教育機関がAIの急速な進化に先手を打つ方法

SLED組織(州政府・地方自治体・教育機関)の間でAIの導入が進んでいますが、次の段階に備えた準備が十分にできている組織はほとんどありません。

ChatGPTスタイルの対話型AIの登場以降、AIの進化が急速に進んでいます。具体的には、基本的な生成AIのユースケースから、検索拡張生成(Retrieval-Augmented Generation：RAG)の活用へと進み、今では設定した目標とリアルタイムの入力に基づいて自律的に行動するエージェンティックAIへと進化しているのです。こうした進化は、大きな可能性をもたらす一方、新たな複雑性、リスク、運用ニーズを組織にもたらすことになります。

多くのSLED組織は、既存のツールに市販のAI機能を組み込むのか、あるいは独自の大規模言語モデル(LLM)の開発に投資するのかという重要な決断を迫られています。ただし、どちらの道を選んだ場合でも変わらない重要な事実があります。それは、AIの有効性が、その挙動、性能、リスクをどれだけ可視化できるかにかかっているということです。

可視化できない部分がもたらすコスト

AIシステムは、本質的に確率的で動的です。これは、特に大規模な運用において、障害が予測可能な形で発生するわけではないということを意味します。

生成AIモデルがハルシネーション(幻覚)を起こして誤った政策方針を示したり、RAGパイプラインが最新の法的情報を取得できなかったり、エージェンティックAIがトレーサビリティーの透明性を確保できないまま判断を下したりすると、次のような深刻な結果がもたらされる可能性があります。

• 誤った情報を市民に提供する
• 法的責任が発生する
• インフラコストが急増して予算が超過する
• 市民からの信頼が失われる

透明性、セキュリティ、コンプライアンスの確保がオプションではなく必須条件となるSLEDの分野では、こうしたリスクはさらに大きくなります。

しかし、従来型のオブザーバビリティツールの多くは、十分な機能を持ち合わせていません。トークンドリフトやGPUサチュレーション、リアルタイムでのモデルの挙動など、AI特有のメトリクスを追跡できるようには設計されていないのです。統合的なオブザーバビリティツールがなければ、SLEDのリーダーは、目隠しして操縦桿を握りながらAIベースのシステムを運用しているようなものです。

シスコとSplunkによる問題解決の支援

シスコとSplunkは共同で将来を見据えたソリューションを提供し、生成AIの試験的な運用から、本格的なエージェンティックAIの展開に至るまで、あらゆる段階でAIの導入を支援します。

その仕組みを簡単に説明します。

1. AIインフラ向けの統合的なオブザーバビリティ：シスコのセキュアなネットワークとコンピューティングの基盤に、Splunkのリアルタイムオブザーバビリティプラットフォームを組み合わせることで、AIのパフォーマンスをエンドツーエンドで可視化できるようにします。GPU使用率やモデルのレイテンシーから、データの鮮度やAPIの応答時間まで、ハイブリッド環境とマルチクラウド環境全体を監視できます。

2. AI対応の監視機能：Splunkは、トークンのスループット、ベクトルサーチのレイテンシー、モデル精度の劣化など、AI特有の重要なメトリクスの追跡をネイティブにサポートします。これにより、単なるログの集計ではなく、AIモデル、インフラ、ユーザーインタラクション全体にわたって、インテリジェントな相関付けが行われることになります。

3. 組み込み済みのセキュリティ機能とコンプライアンス機能：シスコの高度なセキュリティポートフォリオがオブザーバビリティスタックに統合されているため、SLED組織は、AIの挙動を監視して異常を確認したり、プロンプトインジェクション攻撃を検出したり、強固なアクセス制御を実装したりできます。また、Splunkの利用により、監査証跡を保持し、コンプライアンス基準に対応し、AIの出力結果の説明可能性を確保することができます。

4. AIの成熟度に応じたサポート

• 基本的なAI： AIの導入前に、ネットワーク、インフラ、データパイプラインのレジリエンスとオブザーバビリティを確保します。
• 生成AI：組み込まれた大規模言語モデル(LLM)の使用状況、コスト、精度を監視します。ベンダー提供のLLMか、社内開発のLLMかは問いません。
• エージェンティックAI：政策、運用、公共サービスに影響する意思決定プロセスにおいて、ガバナンスと説明責任を確立し、可視化を実現します。

シスコとSplunkは共同で、公共部門の実情に合わせて構築されたAIオブザーバビリティソリューションを提供します。

今後の展望

AIはもはや未来的な概念ではなく、現代の業務に不可欠なツールです。ただし、生成AIからRAG、さらにはエージェンティックシステムへの移行にあたって、適切なオブザーバビリティを確保しなければ、観測データもないままロケットを打ち上げるのと同じ状況になってしまいます。

シスコとSplunkは、SLED組織が信頼性、透明性、制御性を確保しながら、最先端のAIに自信を持って移行できるようにするためのツールを提供します。

このブログはこちらの英語ブログの翻訳、伊藤 宣子によるレビューです。