ログで基盤を整える：ログの重要性を理解する

「log (ログ)」という言葉は、ログの中のデータが秘める価値を意図せず軽く見せてしまっているかもしれません。「ビッグデータ」という言葉が流行し始めたとき、その実体は謎に包まれていました。しかし、その謎をひとつずつ紐解いていくと、ビッグデータとは結局、新しいデータソースから生み出され、以前は可視化できずに見過ごされていた問題に対処するために使われる、複雑で大規模なデータセットに過ぎません。この考え方をSplunkのデータの概念に当てはめると、理論的には、「ただのログ」と呼ばれがちなこのデータも、ビッグデータの一種ということになります。このログデータこそが、システム内のあらゆるやり取り、イベント、異常を記録する貴重な情報の宝庫なのです。ビッグデータを使えば、新しいソースの複雑なデータを活用して予期しない問題に対処できるようになり、ログデータを使えば、システムのパフォーマンスを把握し、セキュリティ侵害を特定して、運用効率を最適化できるとしたら、言葉から受ける印象以外に、この2つの間に違いはあるのでしょうか？

ビッグデータアナリスト、オブザーバビリティアナリスト、SOCアナリストは想像以上に似ている

先ほど、ログデータが「単なるログ」と呼ばれがちだと申し上げましたが、これは大きな問題です。なぜなら、ログデータの真価を理解することは、ビッグデータ、SOC、オブザーバビリティの観点で組織全体の健全性を把握するために不可欠だからです。この3つの領域のアナリストがそれぞれどのような仕事をしているのかを簡単に見るだけで、それがよく理解できるでしょう。仕事の内容が似ていることは明白で、何を探しているのかわからないまま調査を開始する点は共通しています。それは常に「えっ、ちょっと待って、これは何？」の状態から始まります。この点については後ほど詳しく説明するとして、まずは各アナリストの仕事内容を見ていきましょう。

ビッグデータアナリストの仕事

組織が所有および保存している大量のデータを調査、分析し、所見をレポートにまとめます。

SOCアナリストの仕事

アラートを調査し、不審なアクティビティを分析して、さまざまなツールを使って詳細な分析を実施します。

オブザーバビリティアナリストの仕事

データを収集、分析、解釈して、システムのパフォーマンスを把握します。

このとおり、仕事の内容は非常によく似ています。実際、これらの内容は「互換性がある」と言ってよいでしょう。要するに、各アナリストに求められるのは、データを調査および分析してビジネス成果の達成を支援することです。ログデータは過去と現在の両方の観点で大きな価値を持ち、その価値を引き出すことができれば、組織の将来の方向性を左右するビジネス上の意思決定に役立ちます。こうした点を踏まえると、ビッグデータとログデータは同等の価値を提供し、実際には同じものであるという考え方にご納得いただけるかもしれません。

データソース

Splunkは、さまざまなタイプのデータを取り込んで重要なインサイトを提供します。このインサイトは、前述のいずれのアナリストにとっても価値があり、ビジネス成果の達成に役立てることができます。ここでは一般的なデータソースをご紹介しますが、環境は組織によって異なり、ここで取り上げていないデータソースが存在する場合もあるでしょう。しかし、心配する必要はありません。Splunkなら、あらゆるデータソースを取り込んで正規化できます。

一般的なログデータのタイプ

ログデータは、システム、アプリケーション、ネットワークデバイス、エンドポイントで発生したイベントのデジタル記録です。

• アプリケーションログ：システムの動作やユーザーのアクティビティに関するインサイトを提供します。たとえば、Webアプリケーションログでは、どのユーザーがいつリソースにアクセスし、どのような操作を行ったかが記録されます。

• システムログ：オペレーティングシステムのイベントが記録されます。これには、システムの変更、起動メッセージ、エラー、警告、システムの予期しない終了などが含まれます。このログからシステムの動作状態や効率性に関するインサイトが得られます。

• セキュリティログ：環境内の悪質なアクティビティを検出および追跡し、データ流出などの問題を防ぐために使用されます。

• ネットワークログ：

  • ファイアウォールログ：ファイアウォールでのすべてのアクティビティとセキュリティポリシー違反が記録されます。許可または拒否された接続や、侵入検知アラートなども含まれます。
  • ルーター/スイッチ/プロキシログ：ネットワーク内のすべてのIP情報が記録されます。これらの情報から通信元と通信先を追跡できます。プロキシログでは、http/httpsリクエストについて、メソッドなどの情報を追跡することもできます。

• 監査ログ：すべてのユーザーアクションとシステムの状態変更を追跡することで、コンプライアンスとアカウンタビリティを確保できます。このログには、監査やコンプライアンスの検証に不可欠となるすべてのアクティビティが時系列で記録されます。

• データベースログ：データベースで生成されるログデータでは、トランザクション、変更、パフォーマンスメトリクスを追跡できます。ビジネス機能に固有のデータも記録されます。

• エンドポイント検出/対応(EDR)のログ：エンドポイントでは重要なフォレンジックデータが生成されます。これには、プロセスの実行、ファイルアクセス情報、ネットワークイベント、エンドポイントの設定変更などが含まれます。

テレメトリデータのタイプ

テレメトリは、データを収集して分析し、システムのパフォーマンスに関するインサイトを得るためのシステムです。一般的なテレメトリデータのタイプには以下のものがあります。

• ログテレメトリ：ログは、アプリケーション内で発生したイベントの完全なリストを生成する重要なデータです。
• ネットワークテレメトリ：データソースには、フローログ、ルーティングテーブル、アプリケーションの待機時間、パフォーマンステストデータ、パケットキャプチャなどが含まれます。
• セキュリティテレメトリ：ITインフラソースから、不審なアクティビティ、脆弱性、侵害の兆候を監視するためのデータが収集されます。
• アプリケーションテレメトリ：システムの応答速度、エラーの発生頻度、CPU/メモリ/ディスク領域の使用率など、アプリケーションのパフォーマンスに関するデータが収集されます。
• エンドポイントテレメトリ：データソースには、エンドポイントノードで観測された機器の温度やネットワークトラフィックログなど、特定の測定値が含まれます。
• ユーザーテレメトリ：システムやアプリケーションでのユーザーの行動や操作に関するデータが収集されます。
• メトリクス：CPUの使用率、現在のKafkaの遅延、HTTP応答のパーセンタイルなど、生の測定値を追跡するためのデータです。

お気づきかもしれませんが、テレメトリデータ、ログデータ、その他のデータソースの間には常に重複する要素があります。役割はそれぞれ異なりますが、最終的には同じ成果を目指して使用されます。その成果とは、たとえばシステムの稼働状態の維持、ネットワークのセキュリティの確保、過去のデータに基づく将来の予測などです。ログデータとテレメトリはどちらも、ビジネス運用の生産性と持続可能性を維持するために不可欠です。ログデータは多くの業界で幅広く活用され、ヘルスケア、天気予報、農業、各種の研究など、さまざまな分野で重要な役割を果たしています。ログデータとテレメトリの重要性を示す例としては、血圧や心拍数など、患者の健康状態に関する指標が挙げられます。

ここまで、ログデータとテレメトリデータの類似点を説明してきましたが、「単なるログ」というものは存在しないことがおわかりいただけたでしょうか。ログは組織の成功に不可欠なデータです。これまでの説明で、ログデータとテレメトリデータのデータソースの類似点と相違点についてもご理解いただけたと思います。

次回のブログ記事では、Splunk Asset and Risk Intelligenceを使って既存の資産データの価値を高める方法をご紹介します。