エキスパートシステムからエージェンティックAIへ：サイバーセキュリティにおけるAIの進化

「人間のためのAI」シリーズへようこそ。今回は、AIに起きた過去数十年間のイノベーションを振り返りながら、AIがサイバーセキュリティの状況をどのように変えてきたか、そして常に脅威に先手を打つには何が必要かを探ります。

想像してみてください。2019年の出来事です。ある企業の幹部が1本の電話を受けました。相手は上司と思われ、緊急の要件で送金を求めています。その声は完全に上司のものと思われました。

しかしそれは偽物で、AIが生成した音声クローンでした。その年、同じような詐欺事件が世界中でニュースになり、中には、英国のあるエネルギー企業を騙して20万ユーロ以上を送金させたケースもありました。

話を現在に戻しましょう。偽音声はさらに本物に近づき、手口はより巧妙になっています。今では、AIによる本物そっくりの音声を使ったこの詐欺のように、ディープフェイクを使えば、1回の攻撃で数百万ドルを盗み出すこともできます。従来の脅威の進化をAIが加速させていることは間違いありません。

こうした攻撃を目の当たりにすると、こう問わずにはいられません。今後10年間でデジタルセキュリティの常識はどこまで書き換えられてしまうのでしょうか？

過去から学んで未来を守る

2030年代は、決して平凡な時代にはならないでしょう。この先、AIが時代を牽引するとなればなおさらです。スタンフォード大学の教授で、人間中心AI研究所(HAI：Human-Centered Artificial Intelligence)の共同所長を務めるFei-Fei Li氏は、2025年のDelphinaとのインタビューで、「AIは文明的なテクノロジーです。社会を変革させるだけの影響力があることはほぼ間違いありません」と述べています。この変革が実際にどのように、そしてどのくらいの速さで進んでいくかはまだわかりませんが、1つ確かなのは、デジタル世界の安全を守ることが極めて重要な課題になっているということです。

急速なイノベーションが目の前に迫る中、私たちは未来にばかり目を向けがちです。しかし、AIを悪用した攻撃は、過去を振り返ることもまた重要であることを気づかせてくれます。サイバーセキュリティ脅威に先手を打つには、過去の試行錯誤の道のりを理解することが不可欠だからです。

20世紀半ば以降、AI研究は、定型業務の自動化をはるかに超え、コンピューターによる学習、認識、変革の新たな方向性を開拓し、多くの業界で問題解決の方法に新風を吹き込んできました。

AIは、機械学習と自動化のブレークスルーに後押しされ、サイバーセキュリティにおいて徐々に中心的役割を担うようになってきました。また、AIは「盾にも剣にもなる」と言われますが、この点についてもう少し深く掘り下げて検討する必要があるでしょう。AIは、防御側にデジタルの門を厳重に封鎖する能力をもたらす一方で、攻撃側に高度なツールで武装する機会を与えるものでもあります。事態は重大な局面を迎えており、状況は刻一刻と変化し、リスクも機会も増大の一途をたどっています。

だからこそ今、私たちはこのタイムラインを作成しました。AIの進化の歴史をたどり、その変革の全貌を把握して、セキュリティ関係者、組織、そしてデジタルの信頼性向上に取り組むすべての人々にとってこの変化が何を意味するのかを明らかにすることが目的です。それでは、始めから振り返っていきましょう。

お時間のない方もご安心ください。こちらのインフォグラフィック(英語)に、これから説明するAIの進化の中で特に重要な転換点をピックアップしてまとめました。ぜひ参考になさってください。

1970～1990年代：初期エキスパートシステムとルールベースIDSの登場

サイバーセキュリティにおける初期のAIは、自己学習型のシステムではなく、エキスパートシステムを指していました。これは、人間が作成した条件分岐命令に基づいて自動的に判断を行うルールベースのプログラムです。これらのシステムは、新しいデータから学習するのではなく、事前に定義された知識を利用します。

1986年に、SRIインターナショナルにコンピューター科学者として在籍していたDorothy Denningが、『An Intrusion-Detection Model (侵入検知モデル)』と題する論文を発表しました。その中で同氏は、コンピューターがネットワークを監視し、悪質なアクティビティの発生を示唆する異常を警告できることを示し、大きな反響を呼びました。こうしたルールベースの侵入検知システム(IDS)の登場以来、ネットワークやシステムアクティビティ内で不審なパターンを監視し、脅威を検出するために、ウイルスのシグネチャ(既知のマルウェアのデジタルフィンガープリント)を照合するだけでなく、異常な動作も特定するという考え方が定着していきます。

1990年代に入ると、サイバーセキュリティを含むAI研究は「AIの冬の時代」の影響を大きく受けます。この時期は、初期のエキスパートシステムのブームが終焉を迎え、AIに対する出資も関心も低下していました。それでも、厳密なルールセットを超える、ニューラルネットワークやベイズ統計手法の研究が発展を続けます。米国の国防高等研究計画局(DARPA)による侵入検知評価プログラム(1998年)では、ルールベースと学習ベースのプロトタイプをテストするためのベンチマークデータセットが作成されました。商用ツールには、既知のウイルスと一致しない場合でも個々のファイルやプログラムをスキャンして不審な特徴や動作を検出するヒューリスティックマルウェア検出や、複数のソースのイベントログを集約する初期のログ相関付けシステムが追加されました。

これらのイノベーションは、2000年代に登場するSIEM (セキュリティ情報/イベント管理)プラットフォームや、機械学習を活用したセキュリティ分析の基礎を築き、今日でもサイバーセキュリティの領域で広く利用されています。

2000～2015年：行動分析、アノマリ検出、敵対的機械学習

2000年代までに、機械学習は静的なルールに依存する方法から脱却し、ユーザー、デバイス、アプリケーションの「正常」な振る舞いを学習して、それに反する異常な挙動を検出する手法が主流になりました。たとえば、通常は勤務時間中にカリフォルニアからログインする従業員が、突然午前3時に海外からシステムにアクセスした場合、それは異常とみなされます。

このアプローチにより、従業員の異常なアクティビティ(内部脅威)、盗まれたパスワードの悪用(なりすまし)、検出回避を目論むステルス性の高い侵害など、従来のセキュリティ対策で見逃されがちな脅威を検出できるようになりました。

さらに2010年代初頭までに、教師あり学習(決定木、ロジスティック回帰)、教師なし学習(k平均クラスタリング)、特殊なアノマリ検出(ワンクラスSVM)の進歩により、セキュリティツールは、定められたルールだけに頼るのではなく、挙動を動的にモデル化できるようになりました。この進化は、2015年に登場するUEBA (ユーザーとエンティティの行動分析)につながります。UEBAは、注意深い人間の観察者のように不審な行動パターンを監視するシステムです。これにより、セキュリティの重点は、事後的な脅威対応から、予測とコンテキストに基づく脅威検出へと移っていきます。これらの技法が成熟するにつれて、機械学習を活用したアノマリ検出はセキュリティ対策に不可欠な要素となり、不正行為の防止、Webアプリケーションのセキュリティ強化、ユーザーデバイスを保護するためのエンドポイント監視が広く浸透していきます。

しかし、機械学習を活用した分析が実際の製品に組み込まれるようになると、新たな懸念が生じ始めます。それは「防御側が機械学習を使用するならば、攻撃側はそのモデル自体を標的にしてくるのではないか」という懸念です。その解決策として生まれたのが、機械学習が攻撃を受けた際のセキュリティに重点を置く敵対的機械学習です。

敵対的機械学習の研究により、さまざまなリスクが明らかになりました。たとえば、トレーニングデータを操作してモデルに誤った動作を学習させるデータ汚染、巧妙に作成した「敵対的サンプル」(一時停止の標識を微妙に変更するなど)によって誤りを正解と判断させる回避攻撃、特定のデータがモデルのトレーニングに使用されたかどうかを攻撃者に推定されてしまうプライバシー漏えいなどのリスクです。

また、一部の研究者は、攻撃者がモデルに質問を投げかけ、その回答を分析することで、モデル内部の動作を知らなくてもモデルの挙動を「複製」できることを発見しました。

こうした技術の進歩から攻撃戦術はより巧妙になり、防御側は当初苦戦を強いられましたが、その後、対策として以下のような防御手法が誕生しました。

• 敵対的学習：トレーニングデータにわざと悪質なサンプルを加えます。

• 堅牢性の証明：数学的な手法により、モデルが特定の攻撃に耐えられることを保証します。

• 入力のサニタイズ：不審な入力を処理前にフィルタリングまたは変更します。

• プライバシー保護のためのアプローチ：差分プライバシー(データセットに統計的なノイズを加えることで個人を識別できないようにする手法)や、連合学習(モデルをユーザーのデバイス上でトレーニングして生データが外部に出ないようにする手法)などがあります。

これらのコンセプトや安全対策は、今日でも、AIセキュリティに関する議論の基礎となっています。

2016～2020年：技術革新と新たな脅威

2010年代後半までに、AIは、研究段階の有望なテクノロジーから、自律的な防御と攻撃の両方に利用し得る実用的なテクノロジーへと進化しました。2016年にDEFCON 24で開催されたDARPA Cyber Grand Challengeでは、人間の介入なしでリアルタイムで脆弱性を検出し、パッチを生成して適用する、さまざまなAIシステムが披露されました。これらのシステムは、迫りくる脅威を察知して即座に対策を講じることもできました。こうした取り組みによって、問題の修復にかかる時間が数週間から数分に短縮された一方、人間の監視なしに機械主導で行われる意思決定の危うさも明らかになりました。

この間、基礎研究も革新的な進歩を遂げていました。Google社が2017年に発表した画期的な論文『Attention is All You Need (アテンションこそがすべて)』で提唱されたTransformerアーキテクチャは、今日の大規模言語モデル(LLM)の礎を築きました。Transformerは、注意機構を用いて、データの関係性に焦点を当て、距離の離れた単語間の依存関係を理解し、情報を並列処理します。

2018年には、この仕組みを基盤としたBERT (Bidirectional Encoder Representations from Transformers)が登場し、自然言語処理(NLP)に変革をもたらしました。単語を文脈内で理解するその能力は、フィッシングパターンの検出や脅威インテリジェンスの分析に非常に効果的です。これらのイノベーションは、現代の生成AIの基礎となっています。

一方、AIの能力向上に攻撃側も適応しています。目新しい技法であったディープフェイクや音声クローンは、2019年までに、経営幹部のなりすましや詐欺にしばしば使われるようになり、深刻なビジネスリスクをもたらしています。この新たな脅威に対抗するために、組織の間ではUEBA (ユーザーとエンティティの行動分析)の導入が加速し、2015年の登場以来、SIEMへの統合が徐々に進んでいます。SIEMは、組織のシステム全体でセキュリティデータを一元化して分析するためのプラットフォームです。これらのツールでは、行動のベースライン設定、アノマリ検出、高度な相関付けなどの機能が提供され、アナリストは、不審なアクティビティの特定、関連するイベントの相関付け、侵害の兆候の識別を容易に行えます。また、これらの機能を強化するために、多くのツールが、潜在的な脅威をスコアリングして優先順位を判断するリスクベース分析機能を備えています。

この4年間で、サイバーセキュリティの方向性を決定づける上でのAIの中心的役割が確立し、その後の10年間における、さらに高度かつハイリスクなAI利用の土台が築かれました。

2022～2024年：生成AIの新時代

2020年代初頭までに、生成モデルがサイバーセキュリティに大きな変革をもたらしました。これは、データのパターンを学習することで、新しい文章、画像、コードを生成するAIシステムです。特に、2022年11月のOpenAI社による「ChatGPT」のリリースは大きな転換点となりました。ChatGPTは、質問に回答し、コードをデバッグし、ブレインストーミングを促進するほか、フィッシングメールから詳細なセキュリティレポートまであらゆるものを生成できるAIチャットボットです。AIが、開発者向けのニッチなテクノロジーから、誰もが利用するシステムへと変わっていく中で、組織は悪用を防ぐために、ガバナンスポリシーを更新し、統制を強化し始めました。

2023年になると、HYAS社がBlack Mambaを発表したことで、生成AIに対する懸念が現実に起こり得ることが証明されました。Black Mambaは、大規模言語モデル(LLM)を使用することにより、実行のたびにコードが変化するポリモーフィック型マルウェアを生成できることを示す概念実証です。スキャンすべきファイルも従来のコマンドアンドコントロールインフラも存在しないため、この自己進化型のマルウェアは、EDR (エンドポイント検出/対応)システムによる検出をすり抜けて認証情報を窃取できます。Black Mambaは、LLMが脅威を自動化し、状況に適応させ、パーソナライズすることによって、いかにして従来の防御策を脅かす可能性があるかを示してみせました。

地下経済の犯罪者たちがこの事実に気づくのに時間はかかりませんでした。ダークウェブのマーケットプレイスではさっそく、「FraudGPT」や「WormGPT」といった「悪意のあるGPT」が販売され始めました。これらは、オープンソースモデルにわずかな変更を加えて再パッケージ化しただけのものから、シンプルなプロンプトライブラリまで、多岐にわたります。性能が実証されたものはほとんどありませんでしたが、入手のしやすさとマーケティングの力によって大きく注目を集め、AIを悪用したサイバー犯罪のハードルを下げることになりました。

この一連の出来事によって、生成AIの根本的かつ構造的な弱点が明らかになりました。それは、LLMを強力にする能力が、同時に、新たなタイプのリスクも生み出すことです。たとえば、OWASP (Open Worldwide Application Security Project)がLLMアプリケーションのトップ10に挙げているリスクには以下のものがあります(このトピックについてはSURGeの調査もご参照ください)。

• プロンプトインジェクション：モデルをだましてインストラクションを無視させます。

• ツール呼び出しハイジャック：モデルのインテグレーションをリダイレクトして、データを漏えいさせたり、意図しないアクションを実行させたりします。

2024年初頭までに、これらのLLM特有のリスクが実証されました。いくつかの研究グループが、CVE (共通脆弱性識別子)の詳細説明から重大なエクスプロイトを再現するようにGPT-4に指示したところ、生成に成功しました。GPT-4に高品質のコンテキストを与えると、従来のスキャナーよりも優れた性能を発揮することもわかりました。これは、入力を巧妙に細工することで、実用的なエクスプロイトコードが生成される可能性があること、そしてその対策として、パッチの迅速な適用、情報の慎重な開示、厳格な入力制御が重要であることを示しています。

同年、LLMを活用するAIアシスタントが登場し、セキュリティ運用がさらに進歩しました。脅威のスコアリングやアラートのクラスタリングに重点を置く初期の機械学習ツールとは異なり、これらの生成AIシステムは、アナリストの質問に平易な言葉で回答し、ログや脅威レポートを要約し、データを相関付け、調査手順を提案することができます。コンテキストを考慮した会話型のサポートを提供する点で、より自律的なタスク指向型のAIに一歩近づいたと言えます。

この期間の終わりまでに、生成AIは脅威の攻守両面でサイバーセキュリティの在り方を根本から変えました。そして、ガバナンスと俊敏性がテクノロジー自体と同じくらい重要になり、エージェンティックAIへの道が開けました。

2025年～現在：エージェンティックAIの台頭

2025年初頭までの生成AIの急速な進歩は、エージェンティックAIの実現につながりました。エージェンティックAIは、大規模言語モデル(LLM)をベースにしたシステムで、一連のアクションを通じて特定の目的を達成します。多くの場合、その過程で外部ツール、API、サービスを自律的に呼び出します。従来のシステムとは異なり、エージェンティックAIは、人間の介入をほとんど、またはまったく必要とせずに、環境を認識し、意思決定を行い、戦略をリアルタイムで変化させます。

攻撃における実際の有効性はまだ不明確ですが、その自律性と適応性の高さは当然ながら懸念を引き起こしています。理論上、悪質なエージェントの活動は大きく3つの段階に分けられます。

1. 準備：ネットワークの脆弱性と、そこで使われている認証情報やツールを調査します。
2. 侵入：システムに侵入し、バックドアを設置し、脅威を拡散させると同時に、検出回避策を仕掛けます。
3. 実行：データの窃盗、サービスの妨害、誤情報の拡散などの攻撃を実行します。

多くのセキュリティリーダーがこの状況を注視しています。Protect AI社のCISOであるDiana Kelley氏は次のように警告しています。「悪意のあるAIエージェントは、失敗から学習し、攻撃パターンを修正し、さまざまな技法をローテーションさせることで、動作を動的に調整し、検出を回避しようとする可能性があります。このプロセスを通じて、検出レーダーをかいくぐるのに最も効果的な手法を自動的に発見できます」

ただし、エージェントがホスト型サービスのAPIを呼び出したり、Ollamaなどを使ってローカルモデルをインストールしたり、マルウェアにプロンプトを埋め込んだりすれば、痕跡が残ります。現時点でこれらの攻撃技法が使われることはまれですが、こうした痕跡はセキュリティチームにとっては検出の際の明瞭な手がかりになるでしょう。

防御側では、Foundation AIのPEAK Threat Hunting AssistantなどのツールにエージェンティックAIの概念がいち早く取り入れられています。このツールは、LLMチャット、詳細な調査、セキュリティテレメトリを組み合わせて、アナリストが脅威ハンティングの準備に必要な調査と計画を円滑に進められるように支援します。この人間参加型(HITL：Human-in-the-Loop)のアプローチを融合することで、数時間かかっていた作業が数分に短縮されます。このことは、AIエージェントが人間の能力強化にいかに貢献するかを示しています。

エージェンティックAIのスピードと汎用性の向上は、サイバーセキュリティにパラダイムシフトをもたらす可能性があります。悪意のある者の手に渡れば、ほぼ独立して任務を遂行できる攻撃者となり得ますが、適切な者の手に渡れば、セキュリティチームにとって強力な味方となるでしょう。ただし、どれだけ高性能なエージェントでも、脆弱な侵入経路を悪用する点は変わりません。そのため、認証情報、トークン、権限の保護は今後も必須です。現在の脅威テレメトリによると、IDを悪用する攻撃が依然として多数を占めるため、IDセキュリティを強化することで侵害の影響を大幅に軽減できます。

防御側にとっての重要ポイント

1980年代のルールベースのエキスパートシステムから現代のエージェンティックAIに至るまでの数十年にわたるAIの進化の中で、いくつかの対策が幅広い脅威に対して有効であることが証明されています。

1. IDは最優先で対処すべき攻撃対象領域である：強力な認証(IDの正当性の検証)と認可(許可するアクションの制限)を適用します。最小権限の原則を取り入れ、定期的なレビューを実施し、多要素認証(MFA)を広く導入しましょう。Cisco Duoのようなツールは、フィッシング対策オプション(FIDO2/WebAuthnセキュリティキー)、デバイスの信頼性チェック機能、柔軟なポリシー適用機能を備えています。
2. モデルとエージェントを信頼できないものとして扱う：アクセスを分離し、入出力を検証し、アクションをログに記録し、リアルタイムのポリシーを適用します。
3. AIサプライチェーンを保護する：モデル、データセット、依存関係を検証し、署名付きで来歴検証済みのアーティファクトの優先度を上げ、AIコンポーネントを含むSBOM (ソフトウェア部品表)を管理します(詳しくは、AIサプライチェーンに関するシスコの調査を参照してください)。
4. パッチを迅速に適用して露出を最小限に抑える：脆弱性の特定から修正までの時間を短縮し、公開するサービスを最小限に抑え、アクセス権限を強化します。
5. 進化する標準に常に従う：NIST AIリスク管理フレームワーク(RMF)やOWASP GenAI Security Projectのガイダンスに従い、規制の変化に合わせてガバナンスポリシーを更新します。

AIは今日、防御側のワークフローと攻撃側の戦略の両方に組み込まれ、サイバーセキュリティの急速で継続的な進化を牽引しています。しかし、基本は変わりません。同じ舞台で双方の能力が向上しているだけです。防御側はより速く動けるようになり、攻撃側は力を増しています。

数十年にわたるイノベーションの歴史から、1つの真実が浮かび上がりました。それは、AIの影響力が加速度的に増しており、脅威の状況を変え続けているということです。AIはブラックボックスではありません。AIの仕組みを解明し、そのメカニズムを十分に理解すれば、AIを味方につけることができます。リスクを最小限に抑えながらAIのメリットを享受するには、強力なID保護対策、最小権限の原則、ツールやデータの分離、徹底した監視、最新の標準を取り入れて、多層防御で状況の変化に適応することが重要です。「万能な解決策」は存在しませんが、綿密に設計された多層的なアプローチは非常に効果的です。

著者/寄稿者：SURGeは常に連携してセキュリティに取り組んでいます。この記事の執筆者はVandita Anand、協力者はAudra Streetman、Tamara Chacon、Marcus LaFerrera、David Bianco、Ryan Fettermanです。

このブログはこちらの英語ブログの翻訳、大久保 かがりによるレビューです。