Was ist eigentlich Splunk? Big Data Platform, Monitoring-Tool, Security-Lösung? Vor Jahren wurde Splunk als Google für Datacenter bezeichnet. Mittlerweile ist Splunk viel mehr als eine sehr effektive Suchmaschine. Splunk kann gleichzeitig sammeln, speichern, verarbeiten (indexieren), analysieren und visualisieren von empfangenen Informationen (Maschinendaten).
Eines der wichtigsten Merkmale von Splunk, ist die Fähigkeit die Daten aus beinahe jeder Quelle empfangen zu können. Die auf dem Bild gezeigten Systeme sind nur ein Teil davon. Es ist möglich die Logs (Maschinendaten) aus z.B. Produktionsmaschinen, Messgeräten, Sensoren, Fahrzeugen usw. zu empfangen.
Splunk ist eine plattformübergreifende Lösung, die Information aus den verschiedenen Quellen erhält und die korrelierten Information auf einem Dashboard vereint und visualisiert. Die durch Splunk bearbeiteten Daten können auch mit der herkömmlichen Daten aus den relationalen Datenbanken angereichert werden.
Maschinendaten
Maschinendaten sind die Information (unstrukturierte Daten), die während des Betriebs von verschiedenen Systemen (Computer, Mobilgeräte, Netzwerk-Komponenten, Security-Appliances, Messgeräte usw.) erzeugt werden. Wenn man über die Maschinendaten spricht, spricht man meistens über die Logs. Eine gute Definition von Maschinendaten finden Sie hier.
Die starken Seiten von Splunk
Real Time Architektur
Splunk sammelt, indiziert, überwacht und analysiert Maschinendaten in großen Mengen (Hunderte von Terabyte an Daten pro Tag) aus den verschiedenen Quellen in Echtzeit. Genau wie in der Echtzeit, kann Splunk auch historische Daten in extrem großen Datenmengen bearbeiten.
Universal Machine Data Platform
Splunk darf man als eine universelle Plattform für Maschinendaten bezeichnen, da die komplexe Datenerfassung, Bearbeitung und Analyse in sich vereint ist. Splunk in der Lage verschiedene Arten von Daten wie z.B. Maschinendaten, Business Daten und Benutzerdaten miteinander zu kombinieren.
Schema on the Fly
Splunk durchsucht die Daten nur auf Basis von Zeitangaben. Es werden keine Kenntnisse über die Datenstruktur vorausgesetzt. Genau wie bei einer herkömmlichen Suchmaschine können Stichworte eingeben werden und schon bekommen Sie das erste Ergebnis. Ein Unterschied zu einer Suchmaschine sind die Zeitangeben. Jede Suchanfrage kann gestoppt oder pausiert werden, um die Zwischenergebnisse anzuzeigen.
Agile Reporting & Analytics
Splunk bietet umfangreiche Möglichkeiten zur Erstellung der Analysen und Reports und deren Visualisierung. Auch hier kann Splunk die externe Quelle (z.B. SQL) verwenden.
Scales from Desktop to Enterprise
Splunk verwendet eine MapReduce-Technologie, die eine horizontale Skalierung und eine automatische Lastverteilung ohne zusätzlichen Komponenten ermöglicht. MapReduce auf Wikipedia
Fast Time to Value
Splunk lässt sich im Vergleich zu den anderen Produkten ziemlich schnell implementieren. Direkt nach dem Import von Daten können Sie schon den ersten Report generieren.
Fazit - Warum Splunk?
Jahrelange wurden in IT verschiedene Produkten entwickeln, die die entstehende IT-Probleme nur aus eigener Perspektive gesehen haben und nur die eigene Bereiche analysieren konnten. Splunk hingegen kann die Probleme infrastrukturübergreifend aus der Vogelperspektive betrachten. Man identifiziert die Probleme und potenzielle Risiken, bevor es zu einem Business-Impact kommt.
In gewisser Weise ist Splunk konkurrenzlos. Aktuell gibt es keine umfassende Lösung auf dem Markt, die der Splunk ähnlich ist. Es existieren eine Reihe von Lösungen, die den einen oder anderen Bereiche von Splunk abbilden. Splunk hingegen bietet alles aus einer Hand. Dies macht die TCO niedriger, trotz hoher Produktpreise.
Man kann Splunk mit einer ärztlichen Vorsorgeuntersuchung vergleichen. Es kann zwar Geld kosten, aber dafür die ersten Symptomen einer Krankheit in einer heilbaren Stadium entdecken. So können die einsprechenden Maßnahmen durchgeführt werden, bevor es zu dem fatalen Schaden kommt.
Laut verschiedener Untersuchungen werden 80 % aller Log-Daten nicht ausgewertet. Wollen wir wirklich nur die Spitze des Eisbergs sehen?
Produkte und Lizenzierung
Splunk wird auf Basis von indexierten Volumen (GB) pro Tag lizenziert. Es existieren zwei Lizenzarten: eine zeitlich begrenzte (Jahreslizenz) und eine unbegrenzte Lizenz. Es gilt die folgende Regel: je mehr Durchsatz-Volumen man kauft, desto günstiger wird die Lizenz.
Es gibt auch eine kostenlose Splunk Version, die ist für Kunden mit weniger als 500 MB an indexierten Volumen (GB) pro Tag bestimmt.
Aktuell bietet Splunk drei Hauptprodukte an:
- Splunk Enterprise
Bei der Enterprise Version handelt es sich um eine On-Premise Edition ohne eine jegliche technische Limitierung.
- Splunk Cloud
Cloud Edition ist nichts Anderes, als eine cloudbasierte Enterprise Version. Splunk Cloud wird auf Amazon AWS gehostet. Es sind auch die Hybride-Szenarien zwischen On-Premise und Cloud möglich.
- Splunk Light
Splunk Light ist für kleinen IT-Umgebungen gedacht und hat folgende Limitierungen: 5 Benutzer, Single Server Instanz, 20 GB / Tag). Die Light Edition gibt es sowohl On-Premise, als auch in der Cloud.
- Splunk Free
Die kostenlose Splunk Version, die ist für Kunden mit weniger als 500 MB an indexierten Volumen (GB) pro Tag bestimmt. Donwload Free Edition
Offizielle Featurematrix: Free vs. Enterprise vs. Cloud
| Funktion | Beschreibung | Splunk Free | Splunk Enterprise | Splunk Cloud |
|---|---|---|---|---|
| Indizierungsvolumen | Maximale Indizierungsvolumen pro Tag | 500 MB/Tag | Unbegrenzt (gemäß Lizenz) |
5 GB/Tag bis zu mehreren TB/Tag (gemäß Lizenz) |
| Datenintegration | Assistentenunterstützer Workflow für die einfachere Integration beliebiger Datenquellen | ja | ja | ja |
| Universelle Indizierung | Universelle Echtzeitindizierung von Maschinendaten | ja | ja | ja |
| Suche | Ad-hoc-Suche in Echtzeit- und historischen Daten | ja | ja | ja |
| Verteilte Suche | Suche in verschiedenen Splunk-Verteilungen; unterstützt Lastverteilung und Failover | nein | ja | ja |
| Monitoring & Benachrichtigung | Monitoring- und Benachrichtigungsfunktion für einzelne und korrelierte Echtzeitereignisse | nein | ja | ja |
| Reporting | Ad-hoc-Berichte zu Echtzeit- und historischen Daten | ja | ja | ja |
| Informationszuordnung | Informationen werden Maschinendatenelementen zugeordnet | ja | ja | ja |
| Dashboards | Umfassend anpassbare, interaktive Dashboards, die Echtzeitmaschinendaten und Diagramme, Berichte und Tabellen beinhalten | ja | ja | ja |
| Datenmodell | Dient dazu, konsistente Beziehungen innerhalb von Maschinendaten zu definieren | ja | ja | ja |
| Tabellen-Datensets und Pivots | Bereiten Sie Tabellen vor, tauschen Sie diese mit anderen Benutzern aus und verwenden Sie Pivot zum Erstellen gezielter Berichte und Dashboards. | ja | ja | ja |
| Machine Learning-Toolkit | Erkennen, Vorhersagen und Verhindern der Aspekte und Ereignisse, die für Ihre Organisation am wichtigsten sind. | ja | ja | ja |
| Ereignismustererkennung | Mit einem einzigen Klick werden automatisch Muster in Ihren Daten erkannt | nein | ja | ja |
| Hochleistungs-Analysespeicher | Technologie für Hochleistungs-Analysen | nein | ja | ja |
| Beschleunigtes Reporting | Transparente Datenzusammenfassungstechnologie | ja | ja | ja |
| Eingebettete Berichte | Einbetten von Diagrammen und Berichten in Geschäftsanwendungen anderer Anbieter außerhalb von Splunk Enterprise | ja | ja | ja |
| PDF-Übermittlung | Geplante und automatisierte PDF-Erstellung und Übermittelung von Berichten und Dashboards | nein | ja | ja |
| Zugriffskontrolle und Single Sign-on | Integrierte rollenbasierte Zugriffssteuerung und Benutzerauthentisierung mit LDAP-Verzeichnis und SSO-Integration | nein | ja | ja |
| Single-Site-Clustering | Hochverfügbarkeitsarchitektur für die Datenverfügbarkeit in Verteilungen an einem einzigen Standort | nein | ja | ja |
| Managementkonsole | Dient der zentralen Verwaltung von Zustand und Performance verteilter Splunk-Installationen | nein | ja | nein |
| Multi-Site-Clustering | Hochverfügbarkeitsarchitektur für das Disaster Recovery in Verteilungen an mehreren Standorten | nein | ja | Auf Anfrage |
| Universal Forwarder | Sicheres, zuverlässiges Übermitteln von Daten aus Remote-Systemen in Echtzeit | ja | ja | ja |
| Forwarder-Management | Oberfläche zum Überwachen und Verteilen von Forwarder-Konfigurationen | ja | ja | ja |
| Umfassende Entwicklungsumgebung | Entwicklerplattform für die Erstellung von Unternehmens-Apps, die Splunk mit modernen Web-Sprachen nutzen | ja | ja | ja |
| Apps | Zugriff auf Hunderte Partner, die Community und Splunk-Apps über die Website mit Splunk-Apps | ja | ja | ja |
| Premium-Lösungen | Zugriff auf Premium-Splunk-Lösungen | nein | ja | ja |
| Standard-Support | Zugriff auf die gesamte Produktdokumentation, auf Splunk-Apps, Splunk-Antworten und den IRC-Channel | ja | ja | ja |
| Enterprise-Support | Direkter Zugriff auf den Kunden-Support von Splunk, Online-Management für Tickets, individuell zugeschnittenes Maß an Support | nein | ja | ja |
Quelle: Splunk
Links:
Splunk | Education Programs
Splunk | Partner Portal Login
Splunk | Splunkbase Apps and Add-ons