異常検知をどう行う？機械学習を使った４つの手法 (その１）

Platform August 18, 2020 Splunk

異常検知の技術は様々な分野で応用できます。例えば機械系では故障の検出。システム運用では障害の検出。セキュリティ分野では攻撃や侵入検知。マーケティング分野では流行のブレークの検出などです。ではどのようにすればそのような異常検知の技術を実現できるでしょうか？

そこで鍵となるのがデータです。データから異常を検知する方法はいくつかあります。例えば固定の閾値ベースや、移動平均をとって動的閾値ベースもあります。また一定の条件にマッチされるルールベースも有効です。

今回は機械学習を使った異常検知の方法をご紹介します。しかし、実はその方法も一つだけではありません。今回は４つのケースに従って適用する手法をご紹介したいと思います。

Splunk Machine Learning Toolkit (MLTK) について

Splunkには、無償で追加できるアドオンとして MLTKというAppがあります。MLTKにはSmart Assistantという、機械学習を簡単に利用頂けるようにステップ(データセット定義・モデル作成・評価・実装）に従ってモデル作成や実装ができる機能があります。

Splunk Machine Learning Toolkitについて詳しくは、こちらをご覧ください。

どんな異常を検知したい？

異常検知の手法を説明する前にどんな異常を検知したいのかを整理しておく必要があります。今回は以下の４つのケースを取り上げます。

自分自身の過去データと比べて異常なデータ（いつもと違う動きを検出）
近い将来発生する異常なデータ（予兆検知）
他の類似データと比べて異なるデータ（異物混入）
相関性が崩れたデータ（複数あるもののどこかがおかしい）

ケース１：自分自身の過去データと比べて異常なデータ

今回は以下のログイン数をカウントしたデータを使って異常を検知します。

異常を検知

今回のような時系列データに対しては、MLTKのSmart Outlier Detection機能を使うと、前処理として時間、曜日、日にち、月というフィールドをボタン一つで作成してくれます。なので、この時間にしてはおかしいとか、日曜日でこの数字はおかしいといった事を見つけることが出来ます。

時系列データ

今回は時間と曜日単位でデータをグルーピングして、時系列別にそれぞれの異常値を検出します。左の画面で条件を入力して実行すると、下記画面のようにグループ毎のデータ分布と異常と判断された箇所が表示されます。閾値は自由に変更可能です。

時間と曜日毎にデータをグルーピング

時系列グラフで表示したい場合は、グラフ種類で「時間」を選択すると、どの時間帯に異常が検知され発生したのかが視覚的にわかります。（画面だとわかりづらいですが、黄色の丸が異常の部分です）

時間データ

条件と閾値が決定したら、最後に検出モデルを保存してスケジュール実行できます。また結果によってアラートを発報するところまで設定ができます。

時間データ

Smart Outlier Detection機能が使っているアルゴリズムはDensity Functionという確率密度分布を使ったものになります。しかし、推奨のアルゴリズムが設定されているので、ユーザーが悩むこともありません。もっと詳しく知りたい方はこちらの記事もご覧ください。

Splunk MLTK Smart Outlier Detection Assistant について