防御側と攻撃側から見たAIの誇張と現実を区別する

AIが平等にするのは競争条件であって倫理観ではない

攻撃用に最適化された秘密の「ダークLLM」というものは存在しません。「悪質」と言われるLLMの多くは、オープンソースの基盤モデルを転用し、安全フィルターを取り除いて微調整したものです。これらは、攻撃に関する新しい能力や知識を備えているわけではなく、容易にアクセスできるテクノロジーから倫理的な制約を外して悪用しているだけです。

攻撃側も防御側も、同じ基盤モデルを利用しています。両者の最大の違いはコンテキストです。防御側は、AIモデルと実データ、特権データ、構造化データを組み合わせて、モデルに目的や視点を与えることができます。一方、攻撃側にはそれができません。その理由は主に、攻撃者が分断され切り離された環境で活動しているため、限られた可視性とコンテキストしか手にできないことにあります。見落とされがちなのは、攻撃者もオープンウェイトモデルで試行を繰り返しているという点です。つまり、微調整段階で悪質なデータ、指示、隠れたトリガーを挿入して、モデルを改ざんし汚染しようと試みているということです。こうした手法は新しいものではありません。侵害されたソフトウェアパッケージ、不正なPythonライブラリ、トロイの木馬が仕込まれたシステムツール、バックドアが仕掛けられたオープンソースユーティリティなどで長年使われてきた手法です。

攻撃のメカニズムは進化していますが、目的は変わっていません。それは、信頼を武器化して、配布チャネルを悪用することです。

だとすれば、防御側の考え方はシンプルです。これらは「悪質なAI」ではなく、侵害された最新世代のソフトウェアに過ぎません。今後取るべき対策はこれまでと変わらず、サプライチェーンのセキュリティを確保し、ソフトウェアの来歴を検証し、システムの挙動を監視することです。

LLMは、ゼロデイ脆弱性を発見することも、エクスプロイトを発明することもありません。単に、学習した情報に基づいて、もっともらしい文章を予測するだけです。独自のデータや環境内のコンテキストが与えられなければ、未知のシステムや脆弱性を特定したり、それらに関する意思決定を行ったりすることもできません。LLMを使えば、攻撃者は定型的なコードを生成したり、メールの文章を狙いどおりに整えたり、偵察メモを要約したりできますが、いずれも真の新規性はありません。LLMは、まったく新しい脅威を生み出すのではなく、主に攻撃者が定型化した準備を効率化して、ペースを上げる支援をするために使われます。

攻撃を成功させるには、予測可能性と再現性が重要です。しかし、LLMは本質的に非決定論的であり、同じ出力を再び生成することはありません。このことは、防御側がサマリーや仮説を生成する際には問題になりませんが、攻撃者が悪質なペイロードやエクスプロイトチェーンを実行するうえでは問題になります。こうしたコードには、毎回同じ動作をすることが求められるからです。この予測不可能という性質は、再現可能な成功する攻撃に必要な精度を損なうため、攻撃者にとっては大きな頭痛の種となります。

攻撃者が必要としているのは、独創的な文章ではなく、予測可能なスクリプトなのです。

AIは双方の能力を増強するが優位なのは防御側

AIはゲームのテンポを変えますが、ルールを変えるわけではありません。攻守どちらの側もLLMを活用して能力を増強し、作戦をスピードアップしています。AIを使うことで、攻撃側は、フィッシング攻撃やマルウェア攻撃を高速化、大規模化できます。一方、防御側は、脅威の検出を加速し、インシデントを即座に把握し、ログ、ユーザーの行動、その他の複雑なデータからより的確なインサイトを獲得できます。両者に共通するメリットは効率の向上です。

SplunkのシニアセキュリティストラテジストであるRyan Fettermanが「Defending at Machine Speed (マシンスピードの防御)」で強調しているように、それらのモデルを組織内で運用し、ワークフローに直接統合すれば、推論とトリアージを加速できるとともに、問題が実際に悪質なものであるかどうかについて下す最終判断に対するアナリストの責任を維持できます。

責任ある方法でAIを統合すれば、防御側は優位に立てます。それには、グラウンドトゥルースデータ(識別情報、プロセスのリネージ、セッションのコンテキスト)への特権アクセス、セキュリティインフラとのシームレスな統合、LLMによる推論の監査と検証機能が含まれます。防御側の強みは、AIの確率論的分析によるインサイトと、記録システムから得られる決定論的で検証可能な事実を融合して、より信頼性の高い実際的な知見を獲得し、意思決定を向上させることができる点です。

LLMが防御者の理解を何倍にも深めてくれるのは、証拠と組み合わされたときです。推測で空白を埋めているときではありません。

真の脅威は、攻撃者がAIを使ってポリモーフィックなマルウェアを開発することではなく、防御側がAIを誤用してしまう可能性にあります。

LLMの出力をグラウンドトゥルースとして扱うと、間違った予算配分や的外れな自動化ポリシーの設定など、誤った判断につながることがあります。また、LLMを単一の情報源として信頼しすぎると、運用上の盲点が生じ、脅威や障害を見逃すおそれもあります。最終的に、AIの誤用により、セキュリティ態勢を強化するつもりが逆に弱体化させてしまうことになりかねません。

危険なのは、攻撃側がAIの使用で立ち勝ることではなく、防御側がAIの使い方を誤り始める可能性です。

AIがジュニアアナリストになるとき

AIドリブンのSOCに期待されることは、モデルによる意思決定に偏りがちです。意思決定には依然として人間の介入が必要なため、こうした期待には懸念が残ります。しかし、人間が介入することにもリスクがあります。それは、モデルの出力を利用する人間がAIの適用対象や使い方についてまだ学習中である場合です。

ジュニアアナリストは本来、直感を養っている段階にあります。シニアアナリストが違和感に気づくために役立つ「これは以前にも見たことがある」という経験を、まだ十分に積み上げていません。一方、言語モデルは、情報の正誤を問わず、いつでも自信満々に回答します。

これは、気づきにくいながらも、深刻なリスクをはらんでいます。人は流暢であれば真実のように感じてしまうためです。ジュニアアナリストの場合、巧みに表現された推論がシステムから提示されれば、その論理や結論に欠陥があっても、疑問を抱くことは大幅に少なくなります。それを繰り返していると、批判的思考力が衰え、問題を自力で考え抜くことをやめて、モデルを中心に理屈を組み立てるようになってしまいます。

AIがコーチではなく松葉杖になってしまうと、仕事は速くても学習能力は低いアナリストが育つおそれがあります。SOCにおけるLLMの正しい役割は、人間の判断を代行することではなく、強化することです。AIはメンターであるべきです。その役割は、アラートが重要であるかもしれない理由を説明し、次のステップを提案して、人間の理解を促進することです。これにより、重要な意思決定を代行するのではなく、人間の専門知識を強化できます。

AIによる斬新な攻撃が起きにくい理由

これまでいくつかの研究によって、LLMでポリモーフィック(自己書き換え)型のマルウェアを生成できるかどうかが検討されてきました。Oesch氏らが2025年に公開した論文では、「Living Off the LLM」という仮説シナリオとして、ChatGPTによってキーロガー機能をランタイムで生成し、ディスクに書き込むのではなくメモリに挿入する概念実証が紹介されています。ただし、著者らも指摘しているとおり、この例はリモートAPIに依存しており、有効なのは試験環境に限定されます。

重要なのは、これらのシステムが非決定論的である点です。同じプロンプトに対して同じコードが生成されることはめったにありません。再現性と信頼性に欠けているため、現実世界での攻撃に求められる精度には達しません。AIマルウェアの実証の多くがそうであるように、出力はもっともらしく見えても、実行に一貫性がないことがよくあります。

もっともらしく見えることと、実際の実行に役立つかどうかの差異は重要です。理論上の可能性と実践上の現実は分けて考える必要があります。超強力で悪質なAIの登場というニュースが繰り返されると、サイバーセキュリティの世界で「空が落ちてくる」と大げさに警告されて空騒ぎした「チキンリトル」のような状況に陥る危険性があります。そうすると、責任を持ってAIを使用することによる実際の測定可能な進歩から関心がそれてしまいます。

AIの価値はコンテキストの増強にある

以前のブログ記事での状況から、今日のマシンスピードのワークフローまでの進化は、一貫した軌跡をたどっています。それは、AIセキュリティの進歩の要点が、人間の介入をなくすことではなく、人間による意思決定の強化と迅速化にあるということです。AIはコンテキストを完璧にするものではなく、その規模の拡大を可能にするものです。最後に勝利を収めるのは、最初にAIを活用する組織ではなく、責任を持った方法で、コンテキストを踏まえ、人間の監督のもとでAIを効果的に統合する組織なのです。

このブログはこちらの英語ブログの翻訳、前園 曙宏によるレビューです。