Splunk Universal Forwarder

Haben Splunk® Universal Forwarder euer Interesse geweckt? Dieser Artikel gibt einen Überblick darüber, worum es sich dabei handelt, warum die Verwendung sinnvoll ist und wie Universal Forwarder funktionieren. Vor allem informieren wir euch hier über die besten Tipps, Tricks und Ressourcen für die Nutzung von Universal Forwardern (und anderen Möglichkeiten), um Splunk mit Daten zu füttern.

Quick-Links

• Aktuelle Version von Universal Forwarder herunterladen
• Vorgängerversionen herunterladen
• Das (sehr ausführliche) Handbuch zum Splunk Universal Forwarder lesen

Lest weiter, um umfassende Informationen und Erklärungen zu Universal Forwardern zu erhalten. Einige Fachbegriffe in diesem Tutorial sind euch vielleicht nicht bekannt. Definitionen und Erläuterungen findet ihr im Splexicon, dem Splunk-Glossar.

Splunk Cloud Platform und Splunk Enterprise mit Daten füttern

Die Geschichte der Universal Forwarder beginnt mit einem einfachen Ansinnen: Splunk mit Daten füttern. Ihr fragt euch, welche Art von Daten ihr in Splunk indizieren könnt? Kurz und bündig: jede Art von Daten.

Genauer gesagt kann die Splunk-Plattform, ob Splunk Cloud Platform oder Splunk Enterprise als On-Premise- oder Cloud-Bereitstellung alle IT-Daten indizieren und überwachen, einschließlich Streaming-, Maschinen- und historischer Daten. Hier einige Beispiele für solche Daten:

• Microsoft Windows-Ereignisprotokolle
• Webserverlogs
• Live-Anwendungslogs
• Netzwerk-Feeds
• Änderungslogs
• Nachrichtenwarteschlangen
• Archivdateien

Splunk kann also all eure Daten verarbeiten – aber wie könnt ihr sie in Splunk einspeisen? Hier kommen Forwarder ins Spiel. Tatsächlich gibt es vier Möglichkeiten, Daten hinzuzufügen. Die gängigste Lösung ist der Universal Forwarder.

Forwarder-Typen in Splunk

Ein Forwarder ist eine Splunk Enterprise-Instanz, die Daten an eine andere Splunk Enterprise-Instanz weiterleitet, zum Beispiel an:

• einen Indexer
• einen anderen Forwarder
• ein Drittanbietersystem (nur Heavy Forwarder)

Splunk Enterprise verfügt über drei Typen von Forwardern:

• Ein Universal Forwarder enthält nur die Komponenten, die zum Weiterleiten der Daten erforderlich sind – nicht mehr und nicht weniger. Im Allgemeinen ist dieses Tool am besten geeignet, um Daten an Indexer zu senden.
• Ein Heavy Forwarder ist eine vollständige Splunk Enterprise-Instanz , die Daten indizieren, durchsuchen, ändern und weiterleiten kann. Bestimmte Funktionen einer vollständigen Splunk Enterprise-Instanz sind deaktiviert, um Systemressourcen zu sparen.
• Ein Light Forwarder ist ebenfalls eine vollständige Splunk Enterprise-Instanz, bei der noch mehr Funktionen deaktiviert sind, um den Ressourcen-Fußabdruck so klein wie möglich zu halten. Der Light Forwarder wird ab Version 6.0 von Splunk Enterprise als veraltet eingestuft und ist für fast alle Zwecke durch den Universal Forwarder ersetzt worden.

Wenden wir uns nun dem Universal Forwarder zu, der die wichtigste Methode zum Senden eurer Daten an die gewünschte Splunk Cloud Platform- oder Splunk Enterprise-Instanz bietet.

Funktionsweise eines Universal Forwarders

Ein Universal Forwarder erfasst Daten aus unterschiedlichen Speicherorten – das können Datenquellen oder andere Forwarder sein – und sendet sie an einen Forwarder oder eine Splunk-Bereitstellung. Schauen wir uns an, was ihr mit einem Universal Forwarder tun könnt. Zu den Funktionen gehören:

• Metadaten-Tagging (Quelle, Sourcetyp und Host)
• Konfiguration der Pufferung
• Datenkomprimierung
• Absicherung über SSL
• Verwendung aller verfügbaren Netzwerkports

Die aktuelle Version von Splunk Universal Forwarder kann, genau wie die Vorgängerversionen, kostenlos heruntergeladen werden.

Wann kommt ein Universal Forwarder zum Einsatz?

Der Universal Forwarder ist die beste Option, wenn Daten an Indexer weitergeleitet werden sollen. Unser Splexicon bietet dazu folgende Definition:

In den meisten Fällen stellt der Universal Forwarder die beste Möglichkeit dar, Daten an Indexer weiterzuleiten.

Vorteile

Die wichtigsten Vorteile von Universal Forwardern sind Zuverlässigkeit, Sicherheit und eine umfassende Plattformunterstützung. Ihr könnt Splunk Universal Forwarder problemlos auf einer Vielzahl unterschiedlicher Computing-Plattformen und -Architekturen installieren.

Der vielleicht größte Vorteil ist die Skalierbarkeit unserer Universal Forwarder. Da sie wesentlich weniger Hardware-Ressourcen erfordern als andere Splunk-Produkte, könnt ihr buchstäblich Tausende von ihnen installieren, ohne Einbußen bei der Netzwerk- und Host-Performance oder Kosten befürchten zu müssen. Der geringe Ressourcenverbrauch des Forwarders ist unter anderem darauf zurückzuführen, dass er keine Benutzeroberfläche hat.

Tatsächlich lassen sich Universal Forwarder auf zehntausende Remote-Systeme skalieren. So können völlig mühelos mehrere Terabyte an Daten erfasst werden.

Nachteile

Der Universal Forwarder hat eine wesentliche Einschränkung: Er leitet nur ungeparste Daten weiter. Wenn ihr also Event-basierte Daten an Indexer senden wollt, müsst ihr einen Heavy Forwarder verwenden.

Installation von Universal Forwardern

Anweisungen für die Installation in unterschiedlichen Umgebungen findet ihr hier:

• Installation eines Universal Forwarders unter Windows
• Installation eine Universal Forwarders unter *nix (Linux, Solaris, Mac OS X usw.)

Alle technischen Details zur Bereitstellung, Installation, Konfiguration, Weiterleitung sowie zum Troubleshooting findet ihr im Handbuch zum Splunk Universal Forwarder. Ihr könnt euch auch die Dokumentation zu allen Vorgängerversionen anschauen. Dazu öffnet ihr einfach das Dropdown-Menü in der rechten oberen Ecke:

In diesem hervorragenden Tech Talk zeigt Gregg Daly, Technical Marketing Manager bei Splunk, wie Daten von einem beliebigen Linux- oder Windows-Host übertragen werden, und gibt viele weitere wertvolle Tipps:

Betrachten wir nun Universal Forwarder in zwei Hauptprodukten, nämlich Splunk Cloud Platform und Splunk Enterprise.

Forwarder in Splunk Cloud Platform

Bei vielen Use Cases stammen eine ganze Reihe von Daten direkt aus Dateien und Verzeichnissen. Für das Monitoring und Senden dieser Daten an Splunk Cloud Platform werden am besten Universal Forwarder und Heavy Forwarder eingesetzt. Dabei hat sich folgende Vorgehensweise bewährt:

1. Ihr solltet Universal Forwarder auf jedem Computer installieren, auf dem ihr Dateien und Verzeichnisse überwachen müsst.
2. Dann sendet ihr diese Daten an einen Heavy Forwarder, der sie an Splunk weiterleitet.

Hier erfahrt ihr mehr über das Abrufen von Daten aus Dateien und Verzeichnissen und über andere Methoden zum Hinzufügen von Daten, unter anderem aus Netzwerkereignissen, Windows-Quellen, Metriken und HTTP Event Collector.

Forwarder in Splunk Enterprise

Mit Splunk Enterprise habt ihr eine lokale Bereitstellung und könnt eure Daten entweder direkt in die Instanz überführen oder euch für Universal Forwarder und Heavy Forwarder entscheiden. Generell lassen sich Eingaben in Splunk Enterprise folgendermaßen kategorisieren:

• Dateien und Verzeichnisse
• Netzwerkereignisse
• Windows-Daten
• Andere Quellen

Mehr über das Einspeisen von Daten in Splunk Enterprise erfahrt ihr auf Splunk Lantern. Alternativ könnt ihr auch am kostenlosen eLearning-Kurs Getting Data into Splunk teilnehmen.

Splunk Universal Forwarder – Ressourcen

Das sind aber noch nicht alle großartigen Ressourcen für den Einsatz von Universal Forwardern. Hier sind weitere Splunk-Anlaufstellen, die hilfreich sein können:

• Splunk Lantern: Hier könnt ihr euch selbst Informationen zu geschäftlichen Use Cases mit Splunk-Produkten zusammensuchen.
• Splunk Docs: Hier findet ihr alle technischen Spezifikationen zu unseren Produkten.
• Splunk Training & Certification: Hier könnt ihr an unterschiedlichen Kursen teilnehmen oder Lernpfaden folgen, um Splunk-Fachwissen zu erlangen.
• Splunk Community: Hier könnt ihr Fragen stellen und Antworten bekommen.