Mobile Alarmierung mit Quittierung & Eskalation für Grafana
Warum Enterprise Alert
Grafana ist eine seit 2014 verfügbare plattformübergreifende Open-Source-Analyse- und Visualisierungssoftware. Es bietet Diagramme, Grafiken und Alarmmeldungen, sofern es mit unterstützten Datenquellen verbunden ist. Enterprise Alert erlaubt es Ihnen, die Lücke zwischen diesem Monitoring und Ihren Bereitschaftshabenden zu schließen. Sollte es zu Problemen kommen, werden diese an den Bereitschaftshabenden persistent über Push, SMS, E-Mail und Voice weitergeleitet und bei fehlender Reaktion auch weiter eskaliert.
Wie es funktioniert
Die Enterprise Alert REST API empfängt Events von Grafana und alarmiert Bereitschaftshabende. Alarmierungsrichtlinien legen fest, welches eingehende Event Alarme auslöst und an welche Bereitschaftspläne sie gesendet werden müssen.
Integrationsvorteile
- IT-Experten werden direkt über Smartphone Push, SMS, Telefonanrufe und/oder E-Mails benachrichtigt
- Experten können Alarme direkt annehmen und die Verantwortung für kritische Ereignisse übernehmen
- Nicht beantwortete Alarme werden anhand vordefinierter Eskalationsketten weitergeleitet
- Bereitschaftsplanung stellt sicher, dass die Alarme die richtigen Leute zur richtigen Zeit erreichen
- JSON payload via REST API
Einsatzszenarien
- Performance Monitoring
- Server Monitoring
Wie wird's gemacht
In unserem Beispiel nutzen wir Grafana, um die Uptime einer kritsichen Web-Applikation zu überwachen. Wir setzen einen WebHook auf, um auftretende Alarme an Enterprise Alert zu senden, wenn eine Webseite nicht erreichbar ist.
Grafana Events an Enterprise Alert senden
- Zuerst müssen Sie sicherstellen, dass Grafana das WorldPing Plug – in installiert hat.
- Jetzt müssen Sie den Endpunkt definieren, den Sie monitoren wollen.
- Tragen Sie die URL der Application ein, die Sie monitoren wollen und klicken Sie auf Discover. Nachdem der Prozess abgeschlossen ist, klicken Sie auf save.
- Sobald das Datensammeln begonnen hat, können Sie diese auf dem Dashboard sehen.
- Nun müssen Sie eine REST API Eventquelle anlegen, sodass Enterprise Alert auch Events erhalten kann. Dazu navigieren Sie zu
System > Event Sources und klicken auf Create New.
- In Enterprise Alert können Sie auf dem Dashboard der rechten Seite die Endpunkte finden, kopieren Sie von dort die REST API URL. Diese fügen Sie in die Grafana WebHook Konfiguration ein. Weiterhin benötigen Sie den API Key aus dem vorherigen Schritt, diesen fügen Sie am Ende der URL hinter “apiKey=” ein.
- Klicken Sie auf das Glocken Icon für die Alarmierung und wählen Sie Notification Channel. Klicken Sie auf Add New Channel
- Sobald die Seite nicht mehr erreichbar ist, wird Grafana einen REST Request mit JSON Body an Enterprise Alert senden.
Anlegen von Alarmierungen in Enterprise Alert basierend auf Grafana Ereignissen
Um aus den Events, die über die zuvor erstellte REST Eventquelle eingehen, Alarmierungsrichtlinien zu erstellen, befolgen Sie bitte die untenstehenden Schritte:
- Navigieren Sie zu Alarme -> Eingehende Ereignisse.
- Wählen Sie ein Grafana Ereignis, das Sie an Nutzer weiter eskalieren wollen und klicken Sie auf “Create Policy From Event”.
- Geben Sie der Eventquelle einen Namen. Als Event Source wird automatisch die GrafanaREST API gesetzt. Klicken Sie auf Next.
- Die Alarmierungsrichtlinie wird mit allen verfügbaren Parametern als Trigger-Bedingung angelegt. Um eine sinnvoll funktionierende Richtlinie zu erhalten, entfernen Sie bitte alle Parameter, die nur einmalig zutreffen z.B.: Zeitstempel oder IDs. Je nach Bedarf können Sie noch weitere Parameter entfernen, um den Scope der Richtlinie zu erweitern. Einschränken können Sie ihn wiederum durch das Hinzufügen von Bedingungen. Abschließend klicken Sie auf Weiter.
- Wählen Sie den Nutzer/ das Team, welches Sie alarmieren wollen und wählen Sie aus, wie Sie das Team benachrichtigen wollen. Sofern gewünscht, können Sie hier auch mehrere Eskalationsstufen einrichten. Klicken Sie auf Weiter.
- Tragen Sie ein Subject und einen Body ein, den Sie an Ihre User senden wollen. Enterprise Alert erlaubt es, über einen sogenannten Dynamic Content, Parameter aus dem Quellevent dynamisch hier einzufügen. Klicken Sie auf Save .
Alarmierungen innerhalb der Enterprise Alert App
Die Enterprise Alert App erlaubt es Nutzern, ihre Alarme einfach einzusehen und zu bearbeiten, ohne sich zuvor im Web Portal einzuloggen. Untenstehend finden Sie ein Beispiel für einen offenen Alarm in unserer App.