Flow-Logs im Network Watcher lassen sich nicht löschen? Ein Guide zur endgültigen Entfernung im Azure Portal

Kennen Sie das Gefühl? Sie haben aufmerksam Azure Network Watcher Flow Logs konfiguriert, um wertvolle Einblicke in den Netzwerkverkehr Ihrer virtuellen Maschinen und Sicherheitsgruppen (NSGs) zu erhalten. Doch dann kommt der Moment, an dem Sie diese Logs nicht mehr benötigen – sei es aus Kostengründen, zur Bereinigung oder weil sich Ihre Infrastruktur geändert hat. Sie navigieren durch das Azure Portal, finden die Option zum Löschen, klicken darauf und … die Daten scheinen immer noch da zu sein oder die Speicherkosten steigen weiter. Eine frustrierende Situation, die viele Azure-Administratoren kennen.

Die scheinbare Unlöschbarkeit von Flow Logs ist ein häufiges Missverständnis, das tief in der Architektur begründet ist, wie Azure diese Daten speichert und verwaltet. Es ist keine Fehlfunktion, sondern ein Designmerkmal, das bei genauerer Betrachtung Sinn ergibt. In diesem umfassenden Guide führen wir Sie Schritt für Schritt durch den Prozess, um Flow Logs und die dazugehörigen Daten wirklich endgültig zu entfernen. Wir zeigen Ihnen, warum der übliche „Löschen”-Knopf allein oft nicht ausreicht und wie Sie die Kontrolle über Ihre Daten und Ihre Kosten zurückgewinnen.

Was sind Azure Network Watcher Flow Logs und warum sind sie so wichtig?

Bevor wir uns dem Löschen widmen, ist es hilfreich zu verstehen, was Flow Logs genau sind. Sie sind eine Funktion des Azure Network Watcher, einem Dienst, der Ihnen Tools zur Überwachung, Diagnose und Protokollierung der Leistung und Konnektivität in Ihren Azure-Netzwerken bietet. Network Security Group (NSG) Flow Logs ermöglichen es Ihnen, Informationen über den IP-Verkehr, der zu oder von einer Netzwerksicherheitsgruppe fließt, zu protokollieren.

Diese Logs liefern entscheidende Details wie:

• Die Quell- und Ziel-IP-Adressen des Verkehrs.
• Die Quell- und Ziel-Ports.
• Das Protokoll (TCP, UDP).
• Der Status des Verkehrs (zugelassen oder verweigert durch eine NSG-Regel).
• Die Anzahl der Bytes und Pakete.

Warum sind diese Informationen so wertvoll? Sie sind unerlässlich für:

• Sicherheitsanalysen: Erkennung von bösartigem Datenverkehr, unautorisierten Zugriffen oder verdächtigen Mustern.
• Netzwerkdiagnose: Identifizierung von Konnektivitätsproblemen oder Fehlkonfigurationen in Ihren NSGs.
• Compliance und Auditing: Nachweis der Einhaltung von Sicherheitsrichtlinien und Protokollierung des gesamten Netzwerkverkehrs.
• Kostenoptimierung: Verständnis der Datennutzung und Identifizierung unnötigen Verkehrs.

Kurz gesagt, Flow Logs sind das „Black Box”-Aufzeichnungssystem für Ihren Azure-Netzwerkverkehr. Und genau wie eine Black Box können sie auch dann weiter Daten aufzeichnen und speichern, wenn Sie das Gefühl haben, sie „abgeschaltet” zu haben.

Das Missverständnis: Warum der „Löschen”-Knopf im Azure Portal oft nicht ausreicht

Hier liegt der Kern der Frustration. Wenn Sie einen Flow Log im Network Watcher konfigurieren, erstellen Sie im Wesentlichen zwei Dinge:

1. Eine Flow Log Ressource/Konfiguration im Network Watcher-Dienst, die festlegt, welche NSG überwacht werden soll, wohin die Logs gesendet werden sollen (immer ein Azure Speicherkonto) und wie lange sie dort aufbewahrt werden sollen (Retentionszeit).
2. Die tatsächlichen Log-Daten, die in einem dedizierten Container innerhalb des von Ihnen angegebenen Speicherkontos abgelegt werden.

Wenn Sie nun zur Ansicht der Flow Logs im Network Watcher navigieren und dort einen Eintrag auswählen und auf „Löschen” klicken, entfernen Sie in der Regel nur den ersten Punkt: die Flow Log Konfiguration. Das bedeutet, dass der Network Watcher aufhört, neue Flow-Daten für die betreffende NSG zu sammeln und in das Speicherkonto zu schreiben. ABER: Die bereits gesammelten Log-Daten, die sich im Speicherkonto befinden, bleiben unberührt. Sie verweilen dort gemäß der ursprünglich konfigurierten Retentionsrichtlinie oder, wenn keine explizite Richtlinie festgelegt wurde oder die Richtlinie sehr lang ist, bis Sie sie manuell entfernen.

Dieses Verhalten führt dazu, dass viele Benutzer glauben, die Flow Logs seien „nicht löschbar”, obwohl sie tatsächlich nur einen Teil des Prozesses durchgeführt haben. Die Kosten für die Speicherung der alten Daten laufen im Hintergrund weiter, was zu unerwarteten Azure-Rechnungen führen kann.

Der Zwei-Schritte-Ansatz zur endgültigen Entfernung von Flow Logs

Um Flow Logs und ihre Daten wirklich endgültig zu entfernen, müssen Sie einen zweistufigen Prozess durchlaufen. Beide Schritte können bequem im Azure Portal durchgeführt werden.

Schritt 1: Deaktivieren oder Löschen der Flow Log Konfiguration im Network Watcher

Dieser erste Schritt stellt sicher, dass keine neuen Flow-Daten mehr gesammelt und in Ihr Speicherkonto geschrieben werden.

1. Navigieren Sie zum Network Watcher: Geben Sie im Suchfeld des Azure Portals „Network Watcher” ein und wählen Sie den entsprechenden Dienst aus.
2. Wählen Sie die Flow Logs aus: Im linken Menü des Network Watchers navigieren Sie zu „Flow Logs”.
3. Identifizieren Sie den zu löschenden Flow Log: Sie sehen eine Liste aller konfigurierten Flow Logs. Jeder Eintrag ist einer spezifischen Netzwerksicherheitsgruppe (NSG) zugeordnet. Wählen Sie den Flow Log aus, den Sie entfernen möchten. Beachten Sie hierbei auch das verknüpfte Speicherkonto – Sie werden es später benötigen!
4. Deaktivieren oder Löschen:
   • Deaktivieren (optional, für temporäre Pausen): Wenn Sie den Flow Log nur vorübergehend anhalten möchten, können Sie ihn auswählen und auf „Deaktivieren” klicken. Die Konfiguration bleibt bestehen, aber es werden keine neuen Daten mehr gesammelt.
   • Löschen (empfohlen für endgültige Entfernung): Für die endgültige Entfernung wählen Sie den Flow Log aus und klicken Sie in der oberen Leiste auf „Löschen”. Bestätigen Sie die Löschung, wenn Sie dazu aufgefordert werden.

Nachdem Sie diesen Schritt durchgeführt haben, werden keine neuen Flow Log-Daten mehr generiert. Die Flow Log Konfiguration ist entfernt. Aber wie bereits erwähnt, sind die alten Daten immer noch da!

Schritt 2: Entfernen der Flow Log Daten aus dem Speicherkonto

Dies ist der entscheidende Schritt, um die tatsächlich gespeicherten Daten zu löschen und somit auch die verursachten Speicherkosten zu stoppen. Die Flow Log-Daten werden standardmäßig im Blob-Speicher in einem speziellen Container namens insights-logs-networksecuritygroupflowevent gespeichert.

2.1. Identifizieren des korrekten Speicherkontos

Im ersten Schritt haben Sie sich hoffentlich das Speicherkonto notiert, das mit dem Flow Log verknüpft war. Falls nicht, müssen Sie möglicherweise Ihre NSG-Konfigurationen oder die Überwachungsregeln Ihrer anderen Flow Logs überprüfen, um das richtige Speicherkonto zu finden. Jede NSG kann auf ein einziges Speicherkonto verweisen, aber ein Speicherkonto kann Daten von mehreren NSGs enthalten.

2.2. Löschen der Daten im Speicherkonto über das Azure Portal

1. Navigieren Sie zum Speicherkonto: Geben Sie im Suchfeld des Azure Portals den Namen Ihres Speicherkontos ein und wählen Sie es aus der Liste aus.
2. Zugriff auf die Container: Im linken Menü des Speicherkontos navigieren Sie zu „Container” unter der Überschrift „Datenspeicherung”.
3. Finden des Flow Log Containers: Suchen Sie nach einem Container mit dem Namen insights-logs-networksecuritygroupflowevent. Dieser Container ist der Standardort für alle NSG Flow Logs, die an dieses Speicherkonto gesendet werden.
4. Daten löschen: Hier haben Sie mehrere Optionen, je nachdem, wie granulär Sie vorgehen möchten:
   • Option A: Löschen des gesamten Containers (Vorsicht!): Wenn Sie sicher sind, dass Sie alle Flow Log-Daten, die jemals an dieses Speicherkonto gesendet wurden (von allen NSGs, die es nutzten), löschen möchten, können Sie den Container insights-logs-networksecuritygroupflowevent auswählen und auf „Löschen” klicken. Achtung: Dies ist eine irreversible Aktion und löscht wirklich alle Daten in diesem Container.
   • Option B: Löschen spezifischer Ordner/Blobs (empfohlen für selektive Bereinigung): Wenn Sie nur die Daten für eine bestimmte NSG oder nur Daten aus einem bestimmten Zeitraum löschen möchten, klicken Sie auf den Container insights-logs-networksecuritygroupflowevent. Im Inneren finden Sie eine Ordnerstruktur, die typischerweise wie folgt aufgebaut ist: resourceId=/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/{resourceGroupName}/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUPS/{nsgName}/y=YYYY/m=MM/d=DD/h=HH/m=MM/PT1H.json.
     • Navigieren Sie durch diese Ordnerstruktur, um die spezifischen NSG-Daten zu finden, die Sie löschen möchten. Sie können dann ganze Ordner (z.B. den Ordner für eine bestimmte NSG oder für ein bestimmtes Jahr/Monat) auswählen und löschen.
     • Wählen Sie die gewünschten Ordner oder Blobs aus und klicken Sie auf „Löschen”.

Nachdem Sie die gewünschten Daten im Speicherkonto gelöscht haben, sind die Flow Logs wirklich endgültig entfernt und es fallen keine weiteren Speicherkosten dafür an.

2.3. Proaktiver Ansatz: Lifecycle Management für automatische Bereinigung

Das manuelle Löschen von Flow Log-Daten kann mühsam sein, besonders wenn Sie viele NSGs überwachen oder die Daten über längere Zeiträume sammeln. Eine viel bessere und proaktivere Methode ist die Verwendung des Lifecycle Management für Ihr Speicherkonto.

Lifecycle Management ermöglicht es Ihnen, Richtlinien zu definieren, die Blob-Daten basierend auf Alter oder Zugriffshäufigkeit automatisch in verschiedene Speichertiers verschieben (z.B. von Hot zu Cool zu Archive) oder sie nach einer bestimmten Zeit löschen. Dies ist die Best Practice, um Ihre Flow Log-Daten sauber zu halten und Kosten zu optimieren.

1. Navigieren Sie zum Speicherkonto: Gehen Sie erneut zu dem Speicherkonto, das Ihre Flow Log-Daten enthält.
2. Zugriff auf Lifecycle Management: Im linken Menü des Speicherkontos finden Sie unter „Datenspeicherung” den Punkt „Lifecycle Management”.
3. Erstellen Sie eine neue Richtlinie: Klicken Sie auf „Richtlinie hinzufügen” oder „Regel hinzufügen”.
4. Konfigurieren Sie die Regel:
   • Geben Sie der Regel einen Namen (z.B. „FlowLogs-Retention”).
   • Definieren Sie den Geltungsbereich: Wählen Sie „Blobs in ausgewählten Containern einschränken”.
   • Geben Sie den Container insights-logs-networksecuritygroupflowevent als Ziel an.
   • Fügen Sie eine Bedingung hinzu:
     • Für Blobs im Basistier: Wählen Sie „Blobs löschen”.
     • Geben Sie an, nach wie vielen Tagen nach der letzten Änderung die Blobs gelöscht werden sollen (z.B. 30, 90 oder 365 Tage, je nach Ihren Compliance-Anforderungen).
5. Überprüfen und Hinzufügen: Überprüfen Sie Ihre Einstellungen und erstellen Sie die Regel.

Mit dieser Richtlinie werden Ihre Flow Log-Daten automatisch nach dem festgelegten Zeitraum gelöscht, ohne dass Sie manuell eingreifen müssen. Dies spart nicht nur Zeit, sondern auch unnötige Speicherkosten.

Wichtige Überlegungen und Best Practices

• Berechtigungen: Stellen Sie sicher, dass Ihr Azure-Benutzerkonto über die erforderlichen Berechtigungen verfügt, um sowohl Flow Log Konfigurationen zu löschen (z.B. Rolle „Network Contributor” oder „Owner” auf dem Abonnement/der Ressourcengruppe) als auch Daten im Speicherkonto zu verwalten (z.B. Rolle „Storage Blob Data Contributor” oder „Owner” auf dem Speicherkonto).
• Compliance und Auditing: Bevor Sie Flow Log-Daten löschen oder kurze Retentionszeiten festlegen, überprüfen Sie, ob dies Ihren internen Compliance-Richtlinien oder externen Regularien (z.B. DSGVO, HIPAA) entspricht. Einige Branchen erfordern eine Speicherung von Netzwerk-Logs über Jahre hinweg.
• Kostenoptimierung: Unnötige Flow Log-Daten sind ein versteckter Kostenfaktor. Durch proaktives Lifecycle Management können Sie diese Kosten erheblich senken. Überprüfen Sie regelmäßig Ihre Speicherkonto-Kosten und passen Sie die Retentionsrichtlinien an Ihre tatsächlichen Bedürfnisse an.
• Irreversibilität: Einmal gelöschte Flow Log-Daten sind in der Regel nicht wiederherstellbar. Stellen Sie sicher, dass Sie keine wichtigen Informationen verlieren, bevor Sie einen Löschvorgang bestätigen.
• Diagnoseeinstellungen vs. Flow Logs: Verwechseln Sie Flow Logs nicht mit anderen Diagnoseeinstellungen für NSGs, die Daten möglicherweise an einen Log Analytics Workspace oder Event Hubs senden. Die hier beschriebenen Schritte beziehen sich spezifisch auf die im Speicherkonto abgelegten Flow Log-Daten.
• Ressourcensperren (Resource Locks): Überprüfen Sie, ob für Ihr Speicherkonto oder die Ressourcengruppe eine Ressourcensperre (CanNotDelete oder ReadOnly) aktiv ist. Eine solche Sperre könnte verhindern, dass Sie den Container oder das Speicherkonto löschen. Falls ja, müssen Sie die Sperre vorübergehend entfernen, um die Löschung durchzuführen.

Fazit: Beherrschen Sie Ihre Flow Logs

Die anfängliche Verwirrung um die Löschung von Azure Network Watcher Flow Logs ist verständlich, sobald man die zugrunde liegende Architektur nicht vollständig kennt. Mit diesem Guide haben Sie nun ein klares Verständnis des zweistufigen Prozesses zur endgültigen Entfernung: Zuerst die Konfiguration im Network Watcher löschen, um die Datensammlung zu stoppen, und dann die tatsächlichen Log-Daten im zugehörigen Speicherkonto entfernen. Noch besser ist es, von Anfang an Lifecycle Management zu implementieren, um eine automatische und effiziente Bereinigung zu gewährleisten.

Durch die konsequente Anwendung dieser Schritte gewinnen Sie nicht nur die Kontrolle über Ihre Flow Log-Daten zurück, sondern vermeiden auch unnötige Speicherkosten und sorgen für eine aufgeräumte und optimierte Azure-Umgebung. Machen Sie Schluss mit der Frustration und nutzen Sie die mächtigen Tools des Azure Portal, um Ihre Netzwerküberwachung effektiv zu verwalten.