Splunk Universal Forwarder

Splunk® Universal Forwardersにご興味がある方のために、このブログ記事ではユニバーサルフォワーダーの概要、用途、仕組みについてまとめました。さらに、ユニバーサルフォワーダー(とその他の方法)を使ってSplunkにデータを取り込むためのベストプラクティス、ヒント、役に立つリソースもご紹介しています。

クイックリンク

• 最新バージョンのユニバーサルフォワーダーのダウンロード
• 以前のバージョンのダウンロード(英語)
• Splunk Universal Forwarderの詳細マニュアル(英語)

この記事では、ユニバーサルフォワーダーを中心にご説明します。その中で、知らない専門用語が出てくるかもしれません。用語の定義と説明については、Splunk用語集「Splexicon」をご確認ください。

Splunk Cloud PlatformとSplunk Enterpriseにデータを取り込む

ユニバーサルフォワーダーの目的はシンプルです。それは、Splunkにデータを取り込むことです。どのようなデータが対象になるかというと、ずばり、あらゆるタイプのデータです。

Splunk Cloud Platformでも、Splunk Enterpriseのオンプレミスデプロイまたはクラウドデプロイのいずれでも、Splunkプラットフォームでは、ストリーミングデータ、マシンデータ、履歴データを含め、すべてのIT運用データをインデックスして監視できます。いくつか例を挙げます。

• Microsoft Windowsイベントログ
• Webサーバーログ
• 稼動中のアプリケーションのログ
• ネットワークフィード
• 変更ログ
• メッセージキュー
• アーカイブファイル

このようにあらゆるデータが対象になります。では、それをどうやってSplunkに取り込むのでしょうか。そこでフォワーダーの出番です。実は、データを取り込む方法は4種類あります。その中で最もよく使われる方法がユニバーサルフォワーダーです。

Splunkで利用できるフォワーダーのタイプ

フォワーダーはSplunk Enterpriseインスタンスであり、他のSplunk Enterpriseインスタンスにデータを転送する役割を持ちます。転送先は通常、以下のいずれかです。

• インデクサー
• 別のフォワーダー
• サードパーティシステム(ヘビーフォワーダーのみ)

Splunk Enterpriseには3つのタイプのフォワーダーがあります。

• ユニバーサルフォワーダー：データ転送に必要なコンポーネントのみで構成されています。一般に、データをインデクサーに送信する場合に最適です。
• ヘビーフォワーダー：データのインデックス、サーチ、変更、転送など、フル機能を備えたSplunk Enterpriseインスタンスです。システムリソースの使用量を減らすために一部の機能が無効になっています。
• ライトフォワーダー：ヘビーフォワーダーと同様にフル機能を備えたSplunk Enterpriseインスタンスですが、リソースの使用量を最小限に抑えるために、さらに多くの機能が無効になっています。Splunk Enterpriseバージョン6.0から廃止されており、ほぼすべての用途をユニバーサルフォワーダーで代替できます。

ここからは、Splunk Cloud PlatformやSplunk Enterpriseインスタンスにデータを送信するために最もよく使われるユニバーサルフォワーダーについて詳しく見ていきます。

ユニバーサルフォワーダーの仕組み

ユニバーサルフォワーダーは、分散するデータソースや他のフォワーダーからデータを収集し、フォワーダーまたはSplunkデプロイ環境に送信します。ユニバーサルフォワーダーにはさまざまな機能があります。主な機能は以下のとおりです。

• メタデータのタグ付け(ソース、ソースタイプ、ホスト)
• バッファの設定
• データの圧縮
• SSLによる保護
• 空いているネットワークポートの利用

最新バージョンのSplunk Universal Forwarderは無料でダウンロードできます。以前のバージョンもこちらからダウンロードできます。

ユニバーサルフォワーダーの用途

ユニバーサルフォワーダーは、インデクサーにデータを転送する場合に最適な選択肢です。Splexiconでは次のように説明されています。

インデクサーにデータを転送するときは、ほとんどのケースでユニバーサルフォワーダーを使用します。

メリット

ユニバーサルフォワーダーの主なメリットは、信頼性とセキュリティが高く、幅広いプラットフォームがサポートされることです。Splunk Universal Forwarderは、さまざまなコンピューティングプラットフォームやアーキテクチャに簡単にインストールできます。

そして最大のメリットは、拡張性の高さです。他のSplunk製品に比べてハードウェアリソースの消費が非常に少ないため、ネットワークやホストのパフォーマンスとコストを犠牲にすることなく数千のフォワーダーをインストールできます。リソースの消費が少ない理由の1つは、ユーザーインターフェイスがないことにあります。

実際、ユニバーサルフォワーダーを数万のリモートシステムに展開し、テラバイト単位のデータを収集しても、快適に機能します。

デメリット

ユニバーサルフォワーダーの大きな制約の1つは、未解析のデータしか転送できないことです。つまり、イベントベースのデータは扱えません。このタイプのデータをインデクサーに送信したい場合は、ヘビーフォワーダーを使用する必要があります。

ユニバーサルフォワーダーのインストール

環境に応じた詳しいインストール方法については、以下のマニュアルを参照してください。

• Windows版ユニバーサルフォワーダーのインストール
• *nix (Linux、Solaris、Mac OS Xなど)版ユニバーサルフォワーダーのインストール

導入、インストール、設定、データ転送、トラブルシューティングなど、技術的な詳細については、Splunk Universal Forwarderマニュアルを参照してください。以前のバージョンのマニュアルもすべて参照できます。右上にあるドロップダウンメニューからバージョンを選択するだけです。

こちらのTech Talkでは、SplunkのテクニカルマーケティングマネージャーであるGregg Dalyが、LinuxまたはWindowsホストからデータを取り込む方法や、特に役立つヒントをご紹介しています。

次に、主要なプラットフォームであるSplunk Cloud PlatformとSplunk Enterpriseのユニバーサルフォワーダーについてそれぞれご説明します。

Splunk Cloud Platformのフォワーダー

多くのユースケースで、大量のデータをファイルやディレクトリから直接収集することになります。これらのデータをSplunk Cloud Platformに送信して監視するには、ユニバーサルフォワーダーとヘビーフォワーダーを使用するのが最適です。この場合のベストプラクティスは以下のとおりです。

1. ファイルやディレクトリを監視する必要のある各マシンにユニバーサルフォワーダーをインストールします。
2. データをヘビーフォワーダーに送信し、そこからSplunkに転送します。

ファイルやディレクトリからデータを取り込む方法について詳しくは、こちらのマニュアルを参照してください。ネットワークイベント、Windowsソース、メトリクス、HTTPイベントコレクターなど、その他のデータの取り込み方法については、こちらのマニュアルを参照してください。

Splunk Enterpriseのフォワーダー

Splunk Enterpriseをオンプレミスで使用している場合は、データを直接取り込むことも、ユニバーサルフォワーダーやヘビーフォワーダーを使用することもできます。一般的に、Splunk Enterpriseに取り込むデータは以下のように分類できます。

• ファイルとディレクトリ
• ネットワークイベント
• Windowsデータ
• その他のソース

Splunk Enterpriseにデータを取り込む方法について詳しくは、Splunk Lanternのこちらの記事を参照してください。また、無料のEラーニングコース「Getting Data into Splunk (Splunkへのデータの取り込み)」を受講することもできます。

Splunk Universal Forwarderに関するリソース

ユニバーサルフォワーダーの使い方については、非常に役に立つさまざまなリソースを参照できます。主なリソースには以下のものがあります。

• Splunk Lantern：Splunk製品を使用して、セルフサービスでビジネスユースケースを実現できます。日本語版についてはこちらをご参照ください。
• Splunkマニュアル：Splunk製品のあらゆる技術仕様を確認できます。
• Splunkのトレーニングと認定：さまざまなコースを受講したり、Splunkのエキスパートになるためのラーニングパスを構築したりできます。
• Splunkコミュニティ：質問をしたり、質問に対する回答を見つけたりすることができます。