50 Prozent weniger API-Traffic. Was war passiert?

Eine Anomalie in unseren Observability-Metriken, mehrere beteiligte Infrastrukturteams und eine Ursache, mit der zunächst niemand gerechnet hatte: Ein Einblick in die Fehlersuche im API-Management bei DATEV.

10. September, kurz nach 11 Uhr. Im Team API-Management-Infrastructure werfen wir einen Blick auf die Observability-Dashboards, mit denen wir den Zustand unserer Systeme überwachen. Was wir dort sehen, lässt uns aufhorchen: Die Anzahl der API-Requests auf die API-Gateways in unserem Rechenzentrum ist innerhalb kürzester Zeit um fast 50 Prozent eingebrochen. Wenig später steigt der Traffic wieder auf sein gewohntes Niveau.

Ein solcher Verlauf wirft Fragen auf. Gab es ein Problem an den Gateways? Bahnen sich weitere Probleme an? Waren bestimmte Anwendungen betroffen - oder gar alle Anwendungen? Oder gingen Requests bereits verloren, bevor sie unsere Gateways erreichten? Für uns war klar: Wir müssen herausfinden, was hinter der Auffälligkeit steckt.

Denn der 10. eines Monats ist für viele DATEV-Anwenderinnen und -Anwender ein wichtiger Tag. Unsere Anwendungen müssen zuverlässig verfügbar sein, damit geschäftskritische Prozesse störungsfrei ablaufen können.

Wir beginnen mit der technischen Analyse. Wir untersuchen Logs, überprüfen die Ressourcenauslastung, suchen nach Fehlern und vergleichen unterschiedliche Metriken.

Doch die üblichen Muster auf eine technische Störung fehlen. Keine auffälligen Fehlerraten. Keine Überlastung. Keine offensichtlichen Probleme an den Gateways. Auch in der DATEV-Community finden wir keine Hinweise auf eine größere Störung. Niemand berichtet von einem Ausfall.

Das ist zunächst beruhigend. Gleichzeitig bleibt die Frage offen: Warum ist der Traffic so deutlich zurückgegangen?

Wir ziehen die Kolleginnen und Kollegen aus den Load-Balancer-Teams hinzu. Gemeinsam überprüfen wir, ob der Einbruch auch an anderen Stellen der Infrastruktur sichtbar ist. Die Antwort: ja.

Bereits vor den API-Gateways kommt deutlich weniger Traffic an als erwartet. Damit wird klar, dass die Ursache nicht in den Gateways selbst liegen kann. Wir müssen also weiter vorne in der Verarbeitungskette suchen.

Da die Ursache zunächst ungeklärt bleibt und mehrere Teams an der Analyse beteiligt sind, binden wir vorsorglich die Major-Incident-Manager ein. 

Wir nehmen die Daten erneut unter die Lupe. Diesmal verfolgen wir die Requests gemeinsam mit Jonas, dem Verantwortlichen einer wichtigen Fachanwendung, vom Frontend bis zu den API-Gateways. Dabei entdecken wir einen entscheidenden Zusammenhang: Schon im Belege-Frontend ist die Anzahl der Aufrufe zur fraglichen Zeit deutlich zurückgegangen. Entsprechend wurden auch weniger Requests an die API-Gateways weitergeleitet. Damit gerät unsere ursprüngliche Annahme ins Wanken.

Vielleicht hatten wir es gar nicht mit einer technischen Störung zu tun. Vielleicht gab es schlicht weniger Nutzeraktionen. Aber warum sollten so viele Menschen nahezu gleichzeitig ihre Arbeit unterbrechen? Dann stellt Jonas eine einfache Frage:

                        „Sebastian, was hast du eigentlich heute um 11 Uhr gemacht?“

                        Kurze Stille. Dann die Antwort:

                        „Vermutlich habe ich gerade auf mein Smartphone geschaut.“

Und plötzlich ergibt alles Sinn. Punkt 11 Uhr fand der bundesweite Warntag statt. Millionen Menschen in Deutschland erhielten zeitgleich eine Warnmeldung auf ihr Smartphone. Sie unterbrachen kurz ihre Arbeit, schauten auf das Display und bestätigten die Meldung. Offenbar war das auch bei vielen DATEV-Anwenderinnen und -Anwendern der Fall. Für einen kurzen Moment wurden weniger Belege bearbeitet, weniger Aktionen in den Anwendungen ausgeführt und entsprechend weniger API-Requests erzeugt. In unseren Metriken wurde diese kurze Unterbrechung als deutlicher Traffic-Einbruch sichtbar. Nach etwa einer Minute normalisierte sich das Nutzungsverhalten. Die Requests kehrten zurück. Der vermeintliche Ausfall war keiner.

Die Geschichte zeigt, wie wichtig es ist, auffällige Metriken im Zusammenhang zu betrachten. Ein deutlicher Rückgang des API-Traffics muss nicht zwangsläufig auf ein Problem in der Infrastruktur hinweisen. Um die Ursache zu verstehen, reicht der Blick auf ein einzelnes Dashboard oft nicht aus.

In unserem Fall waren mehrere Perspektiven entscheidend: die Analyse von Logs und System-Metriken, der Austausch mit anderen Infrastrukturteams und schließlich die Betrachtung der gesamten Request-Kette vom Frontend bis zum Gateway. Am Ende führte nicht ein zusätzlicher technischer Messwert zur Lösung, sondern eine einfache Frage nach dem Kontext.

Genau solche Situationen machen die Arbeit im API-Management interessant: Wir beschäftigen uns nicht nur mit dem zuverlässigen Betrieb unserer Systeme. Wir müssen auch ungewöhnliche Beobachtungen einordnen, Hypothesen überprüfen und gemeinsam mit anderen Teams herausfinden, was tatsächlich passiert ist.

Manchmal steckt hinter einer auffälligen Metrik ein komplexes Infrastrukturproblem. Und manchmal schaut einfach ein ganzes Land gleichzeitig aufs Handy.

Sebastian Hartl
Product Owner im API-Infrastructure-Management bei DATEV.

Du interessierst dich für komplexe IT-Infrastrukturen, Monitoring und die Analyse technischer Herausforderungen?

Bei DATEV arbeiten unterschiedliche IT-Teams gemeinsam daran, unsere Anwendungen zuverlässig zu betreiben und weiterzuentwickeln.