DDoS Attacken auf Citrix ADC per DTLS erkennen und verhindern

by

DDoS Attacken auf Citrix ADC per DTLS erkennen und verhindern          ==> englische Version lesen 

Zuletzt überarbeitet am 05.1.2021
!! Permanente Lösung  verfügbar seit 4.1.2021

Am 24 Dezember gab Citrix in einem  „Security Bulletin“  ein DDoS-Angriffsmuster bekannt, das sich auf Citrix ADC`s auswirken kann. Im Rahmen dieses Angriffs können Angreifer den Citrix ADC DTLS-Netzwerk Durchsatz (ADC Out) überlasten.
Das kann zu einer Erschöpfung der verfügbaren ausgehenden Bandbreite  führen und SLA Einbußen führen .
Seit 4.1.2021 gibt es von Citrix eine Firmware mit deren Hilfe DTLS/Adaptive Transport wieder aktiviert und mittels DTLS Profil gegen die theoretische DDOS Attacke abgesichert werden kann.
==> Zur Permanenten Lösung 

Die Situation

In der Woche vor Weihnachten 2020 wurden diverse Fälle gemeldet in denen Citrix Gateway Installationen ihr Lizenz Limit bezüglich Durchsatz Limit erreicht oder Leitungen (ADC – Out)  überlastet hatten.
Derzeit ist der Angriffsbereich auf eine kleine Anzahl von Kunden und Citrix VPX beschränkt.

Citrix-Schwachstellen sind  im Zusammenhang mit diesem Ereignis nicht  bekannt es kann aber je nach Dimensionierung der WAN Leitung, verfügbarer Lizenz und erlaubten Hardware Ressourcen zu Produktionsausfällen oder Performance – Einschränkungen kommen.

Was Attackiert wird

Die Attacken erfolgen auf die DTLS-Schnittstelle der „Citrix Gateways“ auf Citrix ADC-Geräten.
Das Citrix Common Gateway Protokoll kann je nach Anforderungen verschlüsselt über TCP oder UDP übertragen werden:

DDoS Attacken auf Citrix ADC per DTLS und Common Gateway Protocol (CGP)
Common Gateway Protocol (CGP) Adaptive Transport

DTLS ist eine Version des Transport Layer Security Protokolls, welche in dem Fall auf dem Streaming freundlicherem UDP Übertragungsprotokoll implementiert ist. Auch  DTLS ist „Spoofbar“ und kann somit für  DDoS Attacken genutzt werden.

Das bedeutet, dass Angreifer kleine DTLS-Pakete an die DTLS Schnittstelle des Citrix ADC senden und eine Antwort in Form eines um Vielfaches größeren Paketes an die (gespoofte) Quell IP-Adresse (das eigentliche Opfer des DDoS-Angriffs) zurückgesendet wird.
Auf diesem Wege werden sowohl die Ausgehende Bandbreite des ADC Betreibers als auch die Eingehende Bandbreite des Spoofing Opfers überlastet.

Analyse – Bin ich ein Ziel dieser Attacken?

Um festzustellen, ob ein Citrix  ADC von diesem Angriff angegriffen wird, überprüfen Sie das ausgehende Verkehrsaufkommen auf  Anomalien oder Spitzen.

Überwachen Sie die folgenden Indikatoren, um festzustellen, ob Sie von diesem DTLS-DDoS angesprochen werden:

  • Hohes Volumen des ausgehenden DTLS-Verkehrs
  • Erhöhte CPU-Auslastung
  • Erhöhter Speicherverbrauch

Ist im Metric „Throughput (Mbps)“ der Wert „Out“ um ein vielfaches höher als der Wert „In“ so sollten unbedingt- weitere Untersuchungen angestellt werden.

ADC Bandwith Normal
Durchsatz unter Normalbedingungen

Erstellen Sie einen „nstrace“ und analysieren Sie diesen in z.B. Wireshark:

  • Wenn Sie  „Citrix Virtual Apps and Desktops“ im Unternehmen nicht verwenden und Sie sehen DTLS Verkehr zwischen Clients außerhalb Ihres Netzwerkes und Ihrer Citrix ADC Gateway VIP so sind Sie von der Attacke betroffen.
  • Wenn Sie die Funktion „Adaptiver Transport“ auf Ihrer „Citrix Virtual Apps and Desktops“ Installation nicht verwenden und Sie sehen DTLS Verkehr zwischen Clients außerhalb Ihres Netzwerkes und Ihrer Citrix ADC Gateway VIP so sind Sie von der Attacke betroffen.
  • Wenn Sie die Funktion „Adaptiver Transport“ auf Ihrer „Citrix Virtual Apps and Desktops“ Installation verwenden und Sie sehen eine große Anzahl DTLS Paketen zwischen bestimmten Clients außerhalb Ihres Netzwerkes und Ihrer Citrix ADC Gateway VIP bestehend aus einem immer wiederkehrenden DTLS Handshake „Client Hello“  so sind Sie von der Attacke betroffen.
  • Filtern Sie in Ihrem Netzwerk Trace am Citrix ADC nach
    dtls.alert_message.desc==“Internal Error“
    um zu sehen ob Sie von der Attacke betroffen sind und von welchen IP Adressen die Attacken kommen.

Die Bevorzugte Lösung:

Mit Hilfe dieses Befehles können Sie DTLS auf Ihrem Gateway V-server deaktivieren:

set vpn vserver <vpn_vserver_name> -dtls OFF

Das Deaktivieren des DTLS-Protokolls kann zu einer Leistungsverschlechterung von jenen HDX Echtzeitanwendungen führen, die DTLS in Ihrer Umgebung verwenden.

HDX mit EDT / Adaptive Transport
HDX mit EDT / Adaptive Transport

HINWEIS:
Wenn DTLS deaktiviert ist, werden die HDX Verbindungen für einige Sekunden eingefroren, während der DTLS-Verkehr auf TLS (TCP) zurückfällt.
Falls Sie Anwendungen ausführen, die EDT verwenden müssen, oder wenn Sie DTLS nicht deaktivieren können, wenden Sie sich an den technischen Support von Citrix.

Eine weitere Lösung:

Falls Sie EDT/AT  verwenden können Sie versuchen die Quell-IPs der Attacken in der Unternehmens-Firewall zu blockieren. Diese Methode schafft zumeist nur für kurze Zeit Erleichterung, ist mit hohem Aufwand verbunden und nicht immer wirkungsvoll Einsetzbar.

Falls Sie die Möglichkeit haben  UDP: 443 für das Gateway VIP des Kunden auf der Firewall-Ebene des Unternehmens vollständig zu blockieren kommt auch diese Lösung in Frage.
Sollten Sie  zuvor Citrix EDT verwendet habe  so erfolgt sodann der Transport des HDX Datenstromes  über TCP.

Noch eine (nicht empfohlene) Lösung:

Eine in diversen Blogs diskutierte Lösungsvariante bei der  EDT / UDP-DTLS-Verbindung an Port 443 nicht verhindert werden muss ist mittels SSL Profil  die DTLS  Anforderungen von Citrix ADC ordnungsgemäß validieren zu lassen.

set ssl dtlsProfile nsdtls_default_profile -helloVerifyRequest ENABLED

Es gibt mittlerweile mehrere bestätigte Fälle dass die Option -helloVerifiyRequest nicht auf allen Citrix ADC Firmwareversionen zuverlässig funktioniert. Dies führt möglicherweise nach einigen Stunden zum Absturz der Citrix ADC und sollte daher nicht ungetestet in Produktiven Umgebungen zu Einsatz kommen.

Die Angekündigte Lösung:

Citrix arbeitet an einer Funktionserweiterung in DTLS, um die Anfälligkeit für diesen Angriff zu beseitigen.
Citrix erwartet, dass diese Erweiterung am 12. Januar 2021 auf der Citrix-Downloadseite für alle unterstützten Versionen verfügbar ist.

Permanente Lösung durch Hersteller verfügbar:

Seit 4.1.2021 gibt es von Citrix eine Firmware mit deren Hilfe DTLS/Adaptive Transport wieder aktiviert und mittels DTLS Profil gegen die theoretische DDOS Attacke abgesichert werden kann.
Die Firmware steht auf der Citrix-Downloadseite in Form der Versionen

zur Verfügung.

Nach Aktualisierung der Firmware können alle die DTLS verwenden möchten DTLS wieder aktivieren:

set vpn vserver <vpn_vserver_name> -dtls ON

Danach kann eine Liste aller verfügbaren DTLS Profile abgerufen

show dtlsProfile   

und über diese Profile DTLS mit der Funktion –  “HelloVerifyRequest”  abgesichert werden

set dtlsProfile <dtls_Profile_Name> -HelloVerifyRequest ENABLED

Eine genaue Beschreibung was zu tun ist um eine Permanente Lösung für das DTLS Problem zu erhalten liefert Citrix im „Security Bulletin“ CTX289674.