データ分類を活用してAIOps戦略を強化

ノイズを減らし、価値を高める

AIOpsのSN比を高め、より多くの価値をデータから引き出したいとお考えですか？本記事では、OpenTelemetryのコレクター、プロセッサ、データモデルを活用して、分類属性をどのように追加または強化できるかについて説明します。これらの属性によって、より効率的にAIOpsツールを活用するとともに、既存のデータからさらに大きな価値を引き出しやすくなります。

Splunk AI、オブザーバビリティ、IT Service Intelligenceを組み合わせると、データを効果的に分類しやすくなり、AIOpsの価値を実現する強力なツールが生まれます。すべてのデータが同じ価値を持つわけではありません。分類を行うことで、より効果的なリソース配分が実現しやすくなります。分類は、少し属性を追加するだけで関連性の低い情報を除外できるというシンプルな仕組みです。分類を活用するAIOpsプラットフォームは、データ管理の強化や分析効率の向上を実現し、最終的にはAIOpsの開発や運用にかかるコストを削減できます。さらに、OpenTelemetryのデータ収集機能と分類プロセッサを組み合わせることにより、AIOpsプラットフォーム内で本当に価値あるものを最適化することができます。 

AIOpsプラットフォームは、次のような多様なソースから膨大なデータを取り込みます。

• ネットワークデバイス
• ビジネスアプリケーション
• サービス
• ログ
• ほぼ無限に存在するその他のデータソース

早い段階でこのデータを分類することで、AIOpsの成果を高めることができます。重大度(重大、重要、軽微、既知のバグ)や緊急度(即時対応が必要、待てない、など)といったオブザーバビリティのKPIに基づいてデータを分類することにより、Splunk AIやSplunk ITSIなどのAIシステムは最も重要な課題を優先的に処理できるようになります。分類機能によるフィルタリングにより、重要度の低いイベントに浪費する処理能力や人の労力を削減できます。 

まずは、オブザーバビリティの出発点であるOpenTelemetry Collectorから、迅速にフィルタリングを始めましょう。 データの分類は、AIOpsアルゴリズムに対する事前分類機能として考えることができます。つまり、データを事前に整理して構造化した後にAIアルゴリズムに投入できるということです。この構造化には、オブザーバビリティ、異常検知、アラート生成、イベントの相関付けの最適化などが含まれます。重大度や緊急度などの指標でデータを分類するというシンプルな作業が、組織の優先順位を維持するうえで役立つのです。

_{図1-1. この図は、海上、航空、陸上の輸送手段を示しています。これらは、物流に関連するデータ分類のカテゴリの一例です。}

ゴールデンシグナルか、それとも見せかけの価値か？

鉱夫が採掘する際、大きくて処理不可能な岩があればスルースボックスに入れる前にふるい落とし、大きな岩と小さな岩を分類することができます。これによって、資源をより効率的に活用できるというわけです。AIOpsパイプラインの場合も同じように、信号とノイズを分けることで一層効率的に機能します。この原理は、データ分類にも当てはまります。まずは、データのソース、タイプ、そしてセキュリティやパフォーマンスといった特定のタスクへの関連性に基づいて分類することができます。 ソース分類の例としては、ネットワークトラフィックやアプリケーションログが挙げられます。オブザーバビリティで使用されるタイプ分類では、情報メッセージ、エラー、追加コンテキストなどが考えられます。AIOpsエンジンは、こうした分類例により、担当者や組織にとって重要なデータのみを抽出できるようになります。さらに、ノイズが削減されることで、セキュリティ対応、トラブルシューティング、最適化にとって真に重要なデータに集中できるようになります。 

AIOpsオブザーバビリティで活用できるOpenTelemetryの主要機能

データの標準化：OpenTelemetryでは、特定のベンダーに依存しない方法で、さまざまなソースからテレメトリデータを収集できます。この標準フォーマットにより、分類プロセッサによるデータの理解と分類を一貫したかたちで行いやすくなります。 

セマンティックコンテキスト：OpenTelemetryでは、データにバゲッジという形式でセマンティックコンテキストを付与できます。このコンテキストには、アプリケーション名、サービス名、環境情報などが含まれます。分類プロセッサはこのコンテキストを活用することで、データ分類について詳細な情報に基づいた判断が下せるようになります。

OpenTelemetryパイプラインにおける分類プロセッサ

プリプロセッサの機能：OpenTelemetryパイプラインでは、データがコレクターの分類プロセスに送られる前に挿入できるプロセッサをサポートしています。属性プロセッサのような分類プロセッサはサービスレベルで実装することが可能で、それによって早い段階でデータを分析して分類できます。

フィルタリングとルーティング：データ分類プロセッサでは、関連性の低いデータを除外したり、分類された重要度に応じて特定のAIツールにルーティングしたりできます。フィルタリングやルーティングの機能を追加することで、下流システムへの負荷を軽減できます。こうした機能によって、取り込んだデータを最適な分析ツールへ届けやすくなります。

データ品質の向上：データ分類処理により、関連性の高いデータのみがAIOpsやオブザーバビリティツールに届くようになります。その結果、分析の精度が向上し、より正確なインサイトを得られます。

異常検知の迅速化：ノイズを除去することで、AIOpsはより迅速に異常や潜在的な問題に注力できるようになり、問題解決までの時間を短縮できます。

自動化の強化：データ分類だけでは、データタイプに基づく特定のアクションを自動化することはできません。自動化とは、たとえば、重大なイベントが発生したら自動的に修復ワークフローをトリガーするといったことです。Splunk SOARはセキュリティのオーケストレーションと自動化による対応を提供しており、これによって手作業のタスクを効率的に自動化します。

分類プロセッサの活用事例

• 重大度分類：事前に定義されたルールや機械学習モデルに基づいて、重大、重要、軽微、緊急といった重大度レベルをデータに割り当てます。
• コンポーネント分類：データをハードウェア、アプリケーション層、クラウドプロバイダー、ネットワークコンポーネントといったタイプで分類し、特定のオブザーバビリティツールやAIOpsツールへ振り分けます。 
• 異常検知：潜在的な問題を示す可能性のある、通常とは異なるデータパターンを特定します。

AIOpsプラットフォームと、Splunkが提供するOpenTelemetryのデータ収集および分類プロセッサを組み合わせることで、より効率的なパイプラインを構築できます。分類はデータ管理を改善するためのステップの1つであり、分析効率の向上につながるものです。データ処理に要するオーバーヘッドを削減することで、AIOpsの開発やオブザーバビリティ、そして導入に伴うコストを抑えることができます。 

_{図1-2. この図は、DPSS レーザーを特定のベクトル角度のビームに分類している光学ブレッドボードを示しています。}

データ分類は、関連性の低い情報を除外し、リソースを効果的に配分できるようにすることで、AIOpsにおけるコスト削減を実現する有効な手段となります。分類によって扱うデータセットを自信をもって絞り込めることは、パフォーマンスを向上させる最も手軽な方法のひとつです。 

リソースの最適化

データ重要度に応じたリソース割り当て：データ分類により、AIアルゴリズムでデータタイプごとに異なる処理能力を割り当てることができます。たとえば、重要なイベントは、より高性能なアルゴリズムで分析できます。これにより、リソース利用の最適化が図られ、AIOps全体の計算コストを削減できます。リソース割り当てによって次のことが可能になります。

• 重要度の低いイベントを簡易なアルゴリズムで処理するように送信する
• 基本的なフィルタリング 
• SOARプレイブックを使用して修復を自動化する

ストレージサイズの適正化：データ分類により、重要度や保持要件に応じてアーカイブや削除が可能なデータを特定しやすくなります。重要度の低い過去データは低コストのストレージ階層に保存し、リアルタイムアクセスが必要な重要データは高速で高価なストレージに配置できます。これにより、AIOpsに関連するストレージコストの削減が可能になります。

データ分類による全体的なメリット

AIOpsプラットフォームを導入する際、データ分類は重要です。効率性とコスト効果の向上に役立つからです。具体的には以下のようなことです。

• データ処理コストの削減：分類により、関連性の低いデータに浪費される処理能力や時間を減らすことができます。 
• ストレージ容量の削減：データの重要度に応じてストレージの割り当てを最適化します。 
• トラブルシューティングの高速化：重要なイベントを優先的に分析することで、MTTD、MTTA、MTTR、MTTK (平均把握時間)を短縮できます。 
• リソースの有効活用：AIモデルや処理能力を、データやセキュリティ要件に応じて割り当てます。

データ分類は、AIOpsを成功させるための重要なステップです。OpenTelemetryは、AIOpsに有益な分類プロセッサをはじめ、データ分類に求められる主要機能を標準で備えています。 

オブザーバビリティの有効化、ベースラインの取得、パフォーマンスのチューニング

データの早期分類は、効果的なオブザーバビリティパイプラインを実現し、重要なシグナルを明らかにするための重要な第一歩です。データを関連性、潜在的影響、機密性に基づいて体系的に分類することで、組織は重要な指標の収集に優先順位を付けることができます。データの分類は、オブザーバビリティや運用の向上に役立つだけでなく、データ管理、パフォーマンス、セキュリティ、異常検知の強化にもつながります。適切に分類されたデータやデータセットを手にすることで、組織やチームはデータに基づいた一層的確な判断ができるようになります。OpenTelemetryのコレクター、プロセッサ、その他のツールは、オブザーバビリティの実現を支援するだけでなく、データの整理にも役立ちます。その結果、インサイトを簡単に得られるようになり、重要でないデータを精査する時間を減らせます。

次のステップ

Splunk、Splunkオブザーバビリティ、OpenTelemetryで、アプリケーションとサービスのインストルメンテーションを行いましょう。SplunkとOpenTelemetryの機能を活用し、AIOpsのサービス、継続的デリバリー、セキュリティ、バージョン/プロセス管理にオブザーバビリティを組み込むことで、ソフトウェアデリバリーのパフォーマンスを向上させることができます。詳細については、『ユースケース入門ガイド：Splunk AIによるオブザーバビリティの強化』をご覧ください。興味のあるユースケースを見つけたら、ぜひ今日からSplunkオブザーバビリティまたはSplunkプラットフォームの無料トライアルに登録して体験してみましょう。

このブログ記事は、SplunkのフィールドソリューションエンジニアであるAdam Schalockが執筆しました。ご協力いただいたJeremy HicksとChad Tripodに感謝します。

このブログはこちらの英語ブログの翻訳、長阪 卓哉によるレビューです。