Was ist eigentlich Splunk?

Splunk LogoWas ist eigentlich Splunk? Big Data Platform, Monitoring-Tool, Security-Lösung? Vor Jahren wurde Splunk als Google für Datacenter bezeichnet. Mittlerweile ist Splunk viel mehr als eine sehr effektive Suchmaschine. Splunk kann gleichzeitig sammeln, speichern, verarbeiten (indexieren), analysieren und visualisieren von empfangenen Informationen  (Maschinendaten).

Eines der wichtigsten Merkmale von Splunk, ist die Fähigkeit die Daten aus beinahe jeder Quelle empfangen zu können.  Die auf dem Bild geseigten Systeme sind nur ein Teil davon. Es ist möglich die Logs (Maschinendaten) aus z.B. Produktionsmaschinen, Messgeräten, Sensoren, Fahrzeugen usw. zu empfangen.

 

Splunk Ueberblick

 

Splunk ist eine plattformübergreifende Lösung, die Information aus den verschiedenen Quellen erhält und die korrelierten Information auf einem Dashboard vereint und visualisiert. Die durch Splunk bearbeiteten Daten können auch mit der herkömmlichen Daten aus den relationalen Datenbanken angereichert werden.

Maschinendaten

Maschinendaten sind die Information (unstrukturierte Daten), die während des Betriebs von verschiedenen Systemen (Computer, Mobilgeräte, Netzwerk-Komponenten, Security-Appliances, Messgeräte usw.) erzeugt werden. Wenn man über die Maschinendaten spricht, spricht man meistens über die Logs.  Eine gute Definition von Maschinendaten finden Sie hier.

Die starken Seiten von Splunk

Real Time Architektur

Splunk sammelt, indiziert, überwacht und analysiert Maschinendaten in großen Mengen (Hunderte von Terabyte an Daten pro Tag) aus den verschiedenen Quellen in Echtzeit. Genau wie in der Echtzeit, kann Splunk auch historische Daten in extrem großen Datenmengen bearbeiten.

Universal Machine Data Platform

Splunk darf man als eine universelle Plattform für Maschinendaten bezeichnen, da die komplexe Datenerfassung, Bearbeitung und Analyse in sich vereint ist. Splunk in der Lage verschiedene Arten von Daten wie z.B. Maschinendaten, Business Daten und Benutzerdaten miteinander zu kombinieren.

Schema on the Fly

Splunk durchsucht die Daten nur auf Basis von Zeitangaben. Es werden keine Kenntnisse über die Datenstruktur vorausgesetzt. Genau wie bei einer herkömmlichen Suchmaschine können Stichworte eingeben werden und schon bekommen Sie das erste Ergebnis. Ein Unterschied zu einer Suchmaschine sind die Zeitangeben.  Jede Suchanfrage kann gestoppt oder pausiert werden, um die Zwischenergebnisse anzuzeigen.

Agile Reporting & Analytics

Splunk bietet umfangreiche Möglichkeiten zur Erstellung der Analysen und Reports und deren Visualisierung. Auch hier kann Splunk die externe Quelle (z.B. SQL) verwenden.

Scales from Desktop to Enterprise

Splunk verwendet eine MapReduce-Technologie, die eine horizontale Skalierung und eine automatische Lastverteilung ohne zusätzlichen Komponenten ermöglicht. MapReduce auf Wikipedia

Fast Time to Value

Splunk lässt sich im Vergleich zu den anderen Produkten ziemlich schnell implementieren. Direkt nach dem Import von Daten können Sie schon den ersten Report generieren.

Fazit - Warum Splunk?

Jahrelange wurden in IT verschiedene Produkten entwickeln, die die entstehende IT-Probleme nur aus eigener Perspektive gesehen haben und nur die eigene Bereiche analysieren konnten. Splunk hingegen kann die Probleme infrastrukturübergreifend aus der Vogelperspektive betrachten. Man identifiziert die Probleme und potenzielle Risiken, bevor es zu einem Business-Impact kommt.

80 20In gewisser Weise ist Splunk konkurrenzlos. Aktuell gibt es keine umfassende Lösung auf dem Markt, die der Splunk ähnlich ist. Es existieren eine Reihe von Lösungen, die den einen oder anderen Bereiche von Splunk abbilden. Splunk hingegen bietet alles aus einer Hand. Dies macht die TCO niedriger, trotz hoher Produktpreise.

Man kann Splunk mit einer ärztlichen Vorsorgeuntersuchung vergleichen. Es kann zwar Geld kosten, aber dafür die ersten Symptomen einer Krankheit in einer heilbaren Stadium entdecken. So können die einsprechenden Maßnahmen durchgeführt werden,  bevor es zu dem fatalen Schaden kommt.

Laut verschiedener Untersuchungen werden 80 % aller Log-Daten nicht ausgewertet. Wollen wir wirklich nur die Spitze des Eisbergs sehen?

 

Produkte und Lizenzierung

Splunk wird auf Basis von indexierten Volumen (GB) pro Tag  lizenziert. Es existieren zwei Lizenzarten: eine zeitlich begrenzte (Jahreslizenz) und eine unbegrenzte Lizenz. Es gilt die folgende Regel: je mehr Durchsatz-Volumen man kauft, desto günstiger wird die Lizenz.

Es gibt auch eine kostenlose Splunk Version, die ist für Kunden mit weniger als 500 MB an indexierten Volumen (GB) pro Tag bestimmt.

Aktuell bietet Splunk drei Hauptprodukte an:

Bei der Enterprise Version handelt es sich um eine On-Premise Edition ohne eine jegliche technische Limitierung.

Cloud Edition ist nichts Anderes, als eine cloudbasierte Enterprise Version.  Splunk Cloud wird auf Amazon AWS gehostet. Es sind auch die Hybride-Szenarien zwischen On-Premise und Cloud möglich.

Splunk Light ist für kleinen IT-Umgebungen gedacht und hat folgende Limitierungen:  5 Benutzer, Single Server Instanz, 20 GB / Tag).  Die Light Edition gibt es sowohl On-Premise, als auch in der Cloud.

  • Splunk Free

Die kostenlose Splunk Version, die ist für Kunden mit weniger als 500 MB an indexierten Volumen (GB) pro Tag bestimmt. Donwload Free Edition

 

Offizielle Featurematrix:  Free vs. Enterprise vs. Cloud

FunktionBeschreibungSplunk FreeSplunk EnterpriseSplunk Cloud
Indizierungsvolumen Maximale Indizierungsvolumen pro Tag 500 MB/Tag Unbegrenzt
(gemäß Lizenz)
5 GB/Tag bis zu mehreren TB/Tag
(gemäß Lizenz)
Datenintegration Assistentenunterstützer Workflow für die einfachere Integration beliebiger Datenquellen ja ja ja
Universelle Indizierung Universelle Echtzeitindizierung von Maschinendaten ja ja ja
Suche Ad-hoc-Suche in Echtzeit- und historischen Daten ja ja ja
Verteilte Suche Suche in verschiedenen Splunk-Verteilungen; unterstützt Lastverteilung und Failover nein ja ja
Monitoring & Benachrichtigung Monitoring- und Benachrichtigungsfunktion für einzelne und korrelierte Echtzeitereignisse nein ja ja
Reporting Ad-hoc-Berichte zu Echtzeit- und historischen Daten ja ja ja
Informationszuordnung Informationen werden Maschinendatenelementen zugeordnet ja ja ja
Dashboards Umfassend anpassbare, interaktive Dashboards, die Echtzeitmaschinendaten und Diagramme, Berichte und Tabellen beinhalten ja ja ja
Datenmodell Dient dazu, konsistente Beziehungen innerhalb von Maschinendaten zu definieren ja ja ja
Tabellen-Datensets und Pivots Bereiten Sie Tabellen vor, tauschen Sie diese mit anderen Benutzern aus und verwenden Sie Pivot zum Erstellen gezielter Berichte und Dashboards. ja ja ja
Machine Learning-Toolkit Erkennen, Vorhersagen und Verhindern der Aspekte und Ereignisse, die für Ihre Organisation am wichtigsten sind. ja ja ja
Ereignismustererkennung Mit einem einzigen Klick werden automatisch Muster in Ihren Daten erkannt  nein ja ja
Hochleistungs-Analysespeicher Technologie für Hochleistungs-Analysen nein  ja ja
Beschleunigtes Reporting Transparente Datenzusammenfassungstechnologie  ja ja  ja 
Eingebettete Berichte Einbetten von Diagrammen und Berichten in Geschäftsanwendungen anderer Anbieter außerhalb von Splunk Enterprise  ja  ja ja 
PDF-Übermittlung Geplante und automatisierte PDF-Erstellung und Übermittelung von Berichten und Dashboards  nein ja   ja
Zugriffskontrolle und Single Sign-on Integrierte rollenbasierte Zugriffssteuerung und Benutzerauthentisierung mit LDAP-Verzeichnis und SSO-Integration  nein ja   ja
Single-Site-Clustering Hochverfügbarkeitsarchitektur für die Datenverfügbarkeit in Verteilungen an einem einzigen Standort  nein ja  ja 
Managementkonsole Dient der zentralen Verwaltung von Zustand und Performance verteilter Splunk-Installationen  nein  ja nein 
Multi-Site-Clustering Hochverfügbarkeitsarchitektur für das Disaster Recovery in Verteilungen an mehreren Standorten  nein  ja Auf Anfrage
Universal Forwarder Sicheres, zuverlässiges Übermitteln von Daten aus Remote-Systemen in Echtzeit  ja ja  ja 
Forwarder-Management Oberfläche zum Überwachen und Verteilen von Forwarder-Konfigurationen ja  ja   ja
Umfassende Entwicklungsumgebung Entwicklerplattform für die Erstellung von Unternehmens-Apps, die Splunk mit modernen Web-Sprachen nutzen  ja  ja ja 
Apps Zugriff auf Hunderte Partner, die Community und Splunk-Apps über die Website mit Splunk-Apps  ja ja   ja
Premium-Lösungen Zugriff auf Premium-Splunk-Lösungen nein  ja  ja 
Standard-Support Zugriff auf die gesamte Produktdokumentation, auf Splunk-Apps, Splunk-Antworten und den IRC-Channel  ja  ja ja 
Enterprise-Support Direkter Zugriff auf den Kunden-Support von Splunk, Online-Management für Tickets, individuell zugeschnittenes Maß an Support nein  ja ja 

Quelle: Splunk

Links:

Splunk | Education Programs

Splunk | Partner Portal Login

Splunk | Splunkbase Apps and Add-ons

Learn Splunk

Cookies erleichtern die Bereitstellung unserer Dienste. Mit der Nutzung unserer Dienste erklären Sie sich damit einverstanden, dass wir Cookies verwenden.
Ok