ΑρχικήSecurityΗ Zscaler ανακαλύπτει ότι οι αυτόνομοι AI agents υποκύπτουν σε παγίδες IPI

Η Zscaler ανακαλύπτει ότι οι αυτόνομοι AI agents υποκύπτουν σε παγίδες IPI

Σε μια δοκιμή μεγάλων γλωσσικών μοντέλων (LLMs), η Zscaler διαπίστωσε ότι ορισμένοι αυτόνομοι AI agents έπεσαν θύματα απατών, ενισχύοντας την άποψη για το πόσο εύκολα μπορούν να εξαπατηθούν κάποιοι υψηλού επιπέδου agents επιχειρήσεων από σχήματα που θα ξεγελούσαν ελάχιστους, αν όχι κανέναν, ανθρώπους. Ο προμηθευτής ασφάλειας εξέτασε διάφορες μορφές έμμεσων ενέσεων προτροπής (IPI) και διαπίστωσε ότι, ενώ πολλά μοντέλα έπεσαν θύματα των σχημάτων, ορισμένα από τα χαμηλότερου επιπέδου LLMs τα πήγαν καλύτερα από τα ακριβότερα αδέλφια τους.

Δείτε επίσης: Η Zscaler εξαγοράζει την SquareX

Εικόνα άρθρου: Zscaler finds autonomous agents succumb to IPI traps

Η δοκιμή της Zscaler διαπίστωσε, για παράδειγμα, ότι τέσσερα μοντέλα βρέθηκαν να είναι “ευάλωτα”: Llama3-3-70b-instruct, Llama3-2-90b-instruct, Gemini-3-flash και Gemini-2.5-pro. Τρία μοντέλα βρέθηκαν να είναι “ασφαλή”: Llama4-maverick, Gemini-3.1-pro και Gemini-3.1-flash-lite.

Αυτά τα αποτελέσματα υποδείκνυαν ότι η αντίσταση στις απάτες του Gemini-2.5-pro ήταν φαινομενικά ασθενέστερη από αυτή του Gemini-3.1-flash-lite. Ωστόσο, ο Noah Kenney, κύριος σύμβουλος στην Digital 520, δήλωσε ότι δεν υπάρχει απαραίτητα κάποιο πολύτιμο συμπέρασμα από αυτή την αποκάλυψη, επειδή οι πράκτορες αλλάζουν συνεχώς συμπεριφορά καθώς τρέφονται με νέα δεδομένα και αναθεωρούν τις αναλυμένες υποθέσεις τους.

Αυτό σημαίνει ότι ένας πράκτορας που απέτυχε σε μια συγκεκριμένη δοκιμή μπορεί πολύ καλά να περάσει την ίδια δοκιμή μια ώρα αργότερα, είπε. “Ο κίνδυνος ενός πράκτορα αλλάζει συνεχώς και αυτό μπορεί να προκαλέσει τελείως διαφορετικά αποτελέσματα. Δεν μπορείτε να υποθέσετε ότι τα αποτελέσματα είναι γενικεύσιμα. Το αποτέλεσμα της δοκιμής είναι μόνο σε ένα σημείο στο χρόνο,” επεσήμανε ο Kenney. Η Zscaler “προσπαθεί να αποδείξει ένα σημείο που δεν νομίζω ότι τα δεδομένα αποδεικνύουν απαραίτητα.” Ο Kenney πρόσθεσε ότι η ύπαρξη μιας καθαρής “ασφαλούς/ευάλωτης” ταξινόμησης είναι υπερβολικά απλοϊκή για να είναι χρήσιμη.

“Αυτή είναι μια δυαδική ταξινόμηση. Δεν θα συνιστούσα ποτέ σε έναν CISO να κάνει μια δυαδική ταξινόμηση.” Το πλήρες άρθρο της ZScaler υποστήριξε ότι πολλοί αυτόνομοι πράκτορες είναι ευάλωτοι σε παγίδες IPI. Η εταιρεία είπε ότι εντόπισε IPI ενσωματωμένες σε πολλαπλές ιστοσελίδες, όπου κρυφές οδηγίες σχεδιάστηκαν για να χειραγωγήσουν τη συμπεριφορά ενός πράκτορα AI. Στην εσωτερική της επικύρωση σε 26 LLMs, 4 μοντέλα “απέτυχαν να λάβουν κατάλληλες ενέργειες,” το οποίο, είπε, έδειξε “μετρήσιμο πραγματικό αντίκτυπο, δείχνοντας ότι η ευπάθεια ποικίλλει ανά μοντέλο και από το πλαίσιο που παρέχεται στο LLM μαζί με την προτροπή.” Το άρθρο πρόσθεσε, “καθώς οι πράκτορες AI γίνονται μια πιο κοινή διεπαφή στο διαδίκτυο, το ίδιο το περιεχόμενο πρόκειται να γίνει μια μεγαλύτερη επιφάνεια επίθεσης, υπογραμμίζοντας ότι η AI είναι ένα δίκοπο μαχαίρι που μπορεί να απλοποιήσει τις ροές εργασίας ενώ επίσης εισάγει νέες οδούς για κατάχρηση.” Ο Aman Mahapatra, επικεφαλής στρατηγικής στην Tribeca Softtech, μια εταιρεία τεχνολογικών συμβουλών με έδρα τη Νέα Υόρκη, δήλωσε ότι αν και τα αποτελέσματα δεν είναι εκπληκτικά, είναι σημαντικά.

Η ιδιαίτερα ανησυχητική λεπτομέρεια στην αναφορά είναι ότι οποιοδήποτε εμπορικό LLM απέτυχε καθόλου, “επειδή το μοντέλο ασφάλειας για την πράκτορα AI ιστορικά υπέθεσε ότι η εκπαίδευση ασφάλειας σε επίπεδο μοντέλου θα μείωνε ουσιαστικά αυτή την κατηγορία επίθεσης,” είπε ο Mahapatra. “Δεν το κάνει, και τα δεδομένα της Zscaler είναι η πρώτη ευρέως αναφερόμενη δημόσια απόδειξη.” Ένα θεμελιώδες αρχιτεκτονικό ζήτημα Ο Mahapatra επίσης είπε ότι τα παραδείγματα που αναφέρονται από την Zscaler δεν είναι τόσο ανησυχητικά όσο οι επιπτώσεις της μεγαλύτερης ζημιάς που θα μπορούσε να συμβεί.

Δείτε επίσης: Η Zscaler εξαγοράζει την SPLX – Ενίσχυση της Zero Trust Exchange με AI

Η Zscaler ανακαλύπτει ότι οι αυτόνομοι AI agents υποκύπτουν σε παγίδες IPI

“Το σενάριο απάτης πληρωμών της Zscaler, όπου ένας πράκτορας πληρώνει ένα ψεύτικο τέλος “άδειας προγραμματιστή” 3 δολαρίων για να αποκτήσει ένα κλειδί API, είναι η πιο αβλαβής εκδοχή αυτού,” είπε.

“Η ίδια τεχνική που εφαρμόζεται σε έναν πράκτορα εξουσιοδοτημένο για προμήθειες, επεξεργασία εξόδων, ενσωμάτωση προμηθευτών ή εκτέλεση εμπορίου παράγει απώλειες σε εντελώς διαφορετικές κλίμακες. Έχω παρακολουθήσει τράπεζες της Fortune 50 να δημιουργούν πράκτορες ροών εργασίας τους τελευταίους έξι μήνες που θα αποτύγχαναν ακριβώς αυτή την επίθεση σε μια ζωντανή εξέταση.” Πράγματι, σημείωσε, οι περισσότεροι προμηθευτές AI ήδη κατανοούν το μέγεθος του κινδύνου από τους σημερινούς πράκτορες AI.

“Κάθε πάροχος μοντέλου θα παραδεχτεί ιδιωτικά ότι η θεμελιώδης αρχιτεκτονική της λογικής που βασίζεται σε μετασχηματιστές δεν μπορεί να διαχωρίσει καθαρά το μη αξιόπιστο περιεχόμενο από τις αξιόπιστες οδηγίες όταν και τα δύο μοιράζονται το παράθυρο περιεχομένου,” είπε ο Mahapatra. “Η επιφάνεια επίθεσης είναι αρχιτεκτονική, όχι μόνο συμπεριφορική. Αυτό σημαίνει ότι η άμυνα πρέπει να είναι επίσης αρχιτεκτονική, και εδώ είναι που η συζήτηση για την πράκτορα AI της επιχείρησης υστερεί ακόμα πολύ.” Οι δοκιμές της Zscaler επίσης ενίσχυσαν τη διαφορά στον τρόπο που οι πράκτορες AI και οι άνθρωποι επεξεργάζονται πληροφορίες.

“Οι άνθρωποι είναι σκεπτικοί για οδηγίες που δεν περίμεναν. Οι πράκτορες είναι πρόθυμοι να ακολουθήσουν δομημένα μεταδεδομένα επειδή η εκπαίδευσή τους τους ανταμείβει για την αντιμετώπιση πεδίων υψηλού σήματος ως αυθεντικά. Οι άνθρωποι παρατηρούν όταν ένα αίτημα πληρωμής εμφανίζεται στη μέση μιας άσχετης εργασίας. Οι πράκτορες θα ενσωματώσουν αυτό το αίτημα πληρωμής στο σχέδιο εκτέλεσής τους αν το περιβάλλον πλαίσιο το πλαισιώνει ως διαδικαστικά απαραίτητο,” επεσήμανε ο Mahapatra, σημειώνοντας ότι ενώ οι άνθρωποι έχουν σχέσεις με προμηθευτές, αναμνήσεις προηγούμενων αλληλεπιδράσεων, και κοινωνικό πλαίσιο για να τους παρέχουν σήματα επαλήθευσης, οι πράκτορες έχουν μόνο ό,τι βρίσκεται στο παράθυρο περιεχομένου, και, είπε, “το παράθυρο περιεχομένου είναι τώρα η κύρια επιφάνεια επίθεσης.”

Ο Fritz Jean-Louis, κύριος σύμβουλος κυβερνοασφάλειας στην Info-Tech Research Group, συμφώνησε ότι οι κίνδυνοι που περιγράφονται στην ανάρτηση της ZScaler είναι ανησυχητικοί, επειδή βρίσκονται σε περιοχές που δεν αντιμετωπίζονται παραδοσιακά από την ασφάλεια της επιχείρησης.

Δείτε επίσης: Η Zscaler επιβεβαιώνει παραβίαση δεδομένων μετά την επίθεση στο Salesloft Drift

Η Zscaler ανακαλύπτει ότι οι αυτόνομοι AI agents υποκύπτουν σε παγίδες IPI

“Αυτές οι επιθέσεις διαφέρουν από τις παραδοσιακές απειλές στο ότι στοχεύουν στο πώς τα συστήματα AI επεξεργάζονται, ερμηνεύουν και ενεργούν σε πληροφορίες πίσω από τα παρασκήνια,” είπε ο Jean-Louis. “Ο AI agent εισάγει νέα όρια εμπιστοσύνης, συμπεριλαμβανομένου του μη αξιόπιστου περιεχομένου που επηρεάζει την αυτοματοποιημένη λήψη αποφάσεων, εργαλεία και πρόσθετα που ενεργούν αυτόνομα εκ μέρους των χρηστών, και συστήματα AI που λειτουργούν με ευρείες, κληρονομημένες άδειες. Αυτό ουσιαστικά μετατρέπει την πρόκληση σε ένα παράδειγμα απειλής από το εσωτερικό.“

Επιλογή της ομάδας

🔒 Προστατέψτε την ιδιωτικότητά σας με Proton VPN

Ελβετικό VPN από τους δημιουργούς του Proton Mail — αυστηρή πολιτική no-logs, ισχυρή κρυπτογράφηση και ενσωματωμένο NetShield που μπλοκάρει διαφημίσεις, trackers & malware.

  • ✔ No-logs, με έδρα την Ελβετία (εκτός 14-Eyes)
  • ✔ NetShield: φραγή διαφημίσεων, trackers & κακόβουλων domains
  • ✔ Καλύπτει όλες τις συσκευές — δωρεάν έκδοση διαθέσιμη
Δοκιμάστε δωρεάν το Proton VPN — 30 ημέρες εγγύηση επιστροφής →

Ο σύνδεσμος είναι συνεργατικός (affiliate) — το SecNews ενδέχεται να λάβει προμήθεια χωρίς επιπλέον κόστος για εσάς. Δεν επηρεάζει την ανεξαρτησία της αρθρογραφίας μας.

📧
Εγγραφείτε στο Newsletter του SecNews

Τα σημαντικότερα νέα Ασφάλειας & Τεχνολογίας στο Inbox σας.

Absenta Mia
Absenta Miahttps://www.secnews.gr
Being your self, in a world that constantly tries to change you, is your greater achievement

ΑΝΑΖΗΤΗΣΗ

FOLLOW US

📧
Newsletter SecNews
Τα σημαντικότερα νέα Ασφάλειας & Τεχνολογίας στο inbox σας.

LIVE NEWS