Μια ανάρτηση από τον συνιδρυτή και CEO της Cloudflare, Matthew Prince, αναλύει τι προκάλεσε τη χθεσινή διακοπή στο Internet, τη “χειρότερη διακοπή από το 2019”, όπως την περιέγραψε ο ίδιος. Ο Prince απέδωσε το πρόβλημα σε ένα ζήτημα στο σύστημα Bot Management, που έχει σχεδιαστεί για να ελέγχει ποιοι αυτοματοποιημένοι ανιχνευτές (crawlers) επιτρέπεται να σαρώνουν συγκεκριμένους ιστότοπους χρησιμοποιώντας το CDN της.
Η Cloudflare δήλωσε πέρυσι ότι περίπου το 20% του διαδικτύου λειτουργεί μέσω του δικτύου της, το οποίο προορίζεται να μοιράζει το φορτίο για να διατηρεί τους ιστότοπους σε λειτουργία κατά τη διάρκεια έντονου traffic και επιθέσεων DDoS. Ωστόσο, η χθεσινή διακοπή αποσύνδεσε πολλούς ιστότοπους, επηρεάζοντας υπηρεσίες όπως το X, το ChatGPT και το Downdetector για αρκετές ώρες. Παρόμοιες διακοπές έχουν προκύψει πρόσφατα και από προβλήματα με τα Microsoft Azure και Amazon Web Services.
Δείτε επίσης: Νέα επίθεση Phishing εκμεταλλεύεται τις σελίδες Cloudflare και ZenDesk
Οι έλεγχοι bots της Clοudflare έχουν σχεδιαστεί για να αντιμετωπίζουν προβλήματα όπως crawlers που συλλέγουν πληροφορίες για την εκπαίδευση generative AI. Η εταιρεία ανακοίνωσε πρόσφατα ένα σύστημα που χρησιμοποιεί generative AI για να δημιουργήσει το “AI Labyrinth“, μια νέα προσέγγιση μετριασμού που χρησιμοποιεί περιεχόμενο που δημιουργείται από AI για να επιβραδύνει, να μπερδέψει και να σπαταλήσει τους πόρους των AI Crawlers και άλλων bots που αγνοούν τις οδηγίες “μη ανίχνευσης”.
Cloudflare: Πού οφείλεται τελικά η διακοπή;
Ωστόσο, τα χθεσινά προβλήματα αποδόθηκαν σε αλλαγές στο σύστημα αδειών μιας βάσης δεδομένων, όχι στην τεχνολογία generative AI ή σε προβλήματα DNS ή σε αυτό που η Clοudflare αρχικά υποψιάστηκε ότι ήταν μια κυβερνοεπίθεση ή μια “επίθεση DDoS μεγάλης κλίμακας”.
Σύμφωνα με τον Prince, το μοντέλο μηχανικής μάθησης πίσω από το Bot Management δημιουργεί bot scores για αιτήματα που ταξιδεύουν μέσω του δικτύου της και έχει ένα συχνά ενημερωμένο αρχείο διαμόρφωσης, που βοηθά στον εντοπισμό αυτοματοποιημένων αιτημάτων. Μια αλλαγή στη συμπεριφορά του ClickHouse query που δημιουργεί αυτό το αρχείο προκάλεσε τη δημιουργία μεγάλου αριθμού διπλότυπων “feature’ rows”.
Δείτε επίσης: Πάνω από 13.000 μοναδικά domains χρησιμοποιούν το Cloudflare για επιθέσεις Clickfix
Η αλλαγή στο query οδήγησε τη βάση δεδομένων ClickHouse να δημιουργήσει διπλότυπες πληροφορίες. Καθώς το αρχείο διαμόρφωσης ξεπέρασε γρήγορα τα προκαθορισμένα όρια μνήμης, κατέρρευσε “το βασικό σύστημα διαμεσολάβησης που χειρίζεται την επεξεργασία traffic για τους πελάτες μας, για οποιοδήποτε traffic που εξαρτάται από το bots module“.
Ως αποτέλεσμα, οι εταιρείες που χρησιμοποιούσαν rules της Clοudflare για να αποκλείσουν ορισμένα bots αντιμετώπισαν ψευδώς θετικά και ακούσια απέκλεισαν πραγματικό traffic, ενώ οι πελάτες της Cloudflare που δεν χρησιμοποιούσαν generated bot score στα rules τους παρέμειναν συνδεδεμένοι.
Δείτε επίσης: Νέα επίθεση DDoS 22,2 Tbps σπάει κάθε ρεκόρ
Αποτροπή παρόμοιων περιστατικών
Η Cloudflare έχει καθορίσει τέσσερα συγκεκριμένα σχέδια για να αποτρέψει παρόμοια προβλήματα στο μέλλον (παρά την αυξανόμενη συγκέντρωση των υπηρεσιών διαδικτύου που καθιστά τέτοιες διακοπές αναπόφευκτες):
1. Ενίσχυση της εισαγωγής Cloudflare-generated configuration files με τον ίδιο τρόπο που γίνεται και για το user-generated input.
2. Ενεργοποίηση περισσότερων παγκόσμιων kill switches για χαρακτηριστικά.
3. Τα core dumps ή άλλα error reports δεν πρέπει να έχουν τη δυνατότητα να υπερφορτώνουν τους πόρους του συστήματος.
4. Ανασκόπηση των failure modes για τη βελτίωση της ανθεκτικότητας του συστήματος.
