Η Microsoft έχει αναπτύξει το PyRIT (Python Risk Identification Tool), ένα εργαλείο ελέγχου ανοιχτής πρόσβασης για τον προληπτικό εντοπισμό κινδύνων σε συστήματα παραγωγής τεχνητής νοημοσύνης (AI).
Το red teaming εργαλείο έχει σχεδιαστεί για να επιτρέπει σε κάθε οργανισμό παγκοσμίως να καινοτομεί υπεύθυνα, αναμένοντας τις πιο πρόσφατες εξελίξεις στην τεχνητή νοημοσύνη, όπως δήλωσε ο Ram Shankar Siva Kumar, επικεφαλής της ομάδας AI red της Microsoft.
Διαβάστε ακόμη: LockBit ransomware: Συλλήψεις μελών και εργαλείο αποκρυπτογράφησης
Η εταιρεία αναφέρθηκε στο ότι το PyRIT θα μπορούσε να χρησιμοποιηθεί για να αξιολογήσει την ανθεκτικότητα των τελικών σημείων του μεγάλου γλωσσικού μοντέλου (LLM) έναντι διαφορετικών επιβλαβών κατηγοριών, όπως οι σκεωυρίες, η μεταχείριση και η παρενόχληση.
Επίσης, μπορεί να χρησιμοποιηθεί για την ανίχνευση βλαβών στην ασφάλεια, από τη δημιουργία κακόβουλου λογισμικού μέχρι το jailbreaking, καθώς και για παραβιάσεις απορρήτου, όπως η κλοπή ταυτότητας.
Το PyRIT της Microsoft παρέχει πέντε διεπαφές: στόχο, σύνολα δεδομένων, μηχανή αξιολόγησης, δυνατότητα υποστήριξης στρατηγικών πολλαπλών επιθέσεων και ενσωμάτωση ενός στοιχείου μνήμης, το οποίο μπορεί να είναι σε μορφή JSON ή μια βάση δεδομένων, για την αποθήκευση των ενδιάμεσων αλληλεπιδράσεων εισόδου και εξόδου.
Η μηχανή αξιολόγησης προσφέρει δύο επιλογές για την αξιολόγηση των δαπανών από το σύστημα της τεχνητής νοημοσύνης. Αυτό επιτρέπει στο red teaming να χρησιμοποιεί είτε έναν κλασικό ταξινομητή μηχανικής μάθησης, είτε να εκμεταλλεύεται ένα τελικό σημείο LLM για αυτοαξιολόγηση.
Σύμφωνα με τη Microsoft, ο στόχος είναι να παρέχεται στους ερευνητές μια βασική γραμμή για την αξιολόγηση της απόδοσης του μοντέλου τους και τη διαδικασία συμπερασμάτων για διαφορετικές κατηγορίες βλαβών. Έτσι, μπορούν να συγκρίνουν αυτή τη βασική γραμμή με τις μελλοντικές εκδοχές του μοντέλου τους.
Αυτό επιτρέπει στους χρήστες να έχουν στοιχεία σχετικά με την τρέχουσα απόδοση του μοντέλου τους και να ανιχνεύουν πιθανές μειώσεις στην απόδοση με βάση μελλοντικές βελτιώσεις.
Δείτε περισσότερα: Εργαλείο αποκρυπτογράφησης για το Rhysida Ransomware!
Με αυτή τη δήλωση, ο τεχνολογικός γίγαντας τονίζει ότι το PyRIT δεν αντικαθιστά τη χειροκίνητο red teaming των συστημάτων AI, αλλά συμπληρώνει την υπάρχουσα τεχνογνωσία μιας red teaming στον τομέα αυτό.
Κατά κύριο λόγο, το εργαλείο σχεδιάστηκε για να επισημαίνει τα επικίνδυνα “hot spots” δημιουργώντας μηνύματα που μπορούν να χρησιμοποιηθούν για να αξιολογηθεί το σύστημα AI και να επισημανθούν περιοχές που απαιτούν περαιτέρω εξέταση.
Η Microsoft αναγνώρισε ότι ταred teaming συστήματα παραγωγής τεχνητής νοημοσύνης απαιτούν ταυτόχρονη διερεύνηση των κινδύνων ασφάλειας και των υπεύθυνων κινδύνων της τεχνητής νοημοσύνης. Επισημαίνεται ότι η άσκηση είναι πιο πιθανή, με την επισήμανση των μεγάλων διαφορών στις αρχιτεκτονικές των συστημάτων παραγωγής της τεχνητής νοημοσύνης.
Η χειροκίνητη έρευνα, αν και χρονοβόρα, είναι συχνά απαραίτητη για τον εντοπισμό πιθανών σημείων που διαφεύγουν, σύμφωνα με τον Siva Kumar. “Η αυτοματοποίηση είναι αναγκαία για την επιτάχυνση μιας διαδικασίας, ωστόσο δεν μπορεί να αντικαταστήσει τη χειροκίνητη διερεύνηση”.
Το Protect AI επιπλέον αποκάλυψε πολλαπλά κρίσιμα σημεία ευπάθειας σε δημοφιλείς πλατφόρμες τεχνητής νοημοσύνης στην εφοδιαστική αλυσίδα, όπως τα ClearML, Hugging Face, MLflow και Triton Inference Server. Αυτά θα μπορούσαν να οδηγήσουν σε αυθαίρετη εκτέλεση κώδικα και αποκάλυψη ευαίσθητων πληροφοριών.
Δείτε επίσης: Apple: Επέκταση του self-service repair προγράμματος & κυκλοφορία νέου remote diagnostic tool
Πηγή: thehackernews.com
, ένα εργαλείο ελέγχου ανοιχτής πρόσβασης για τον προληπτικό εντοπισμό κινδύνων σε συστήματα παραγωγής τεχνητής νοημοσύνης (AI).){kind=link}