Χαρακτηριστικό Ενώ βιάζονται να κατανοήσουν, να δημιουργήσουν και να στείλουν προϊόντα τεχνητής νοημοσύνης, οι προγραμματιστές και οι επιστήμονες δεδομένων καλούνται να προσέχουν την ασφάλεια και να μην πέφτουν θύματα επιθέσεων στην αλυσίδα εφοδιασμού.

Υπάρχουν αμέτρητα μοντέλα, βιβλιοθήκες, αλγόριθμοι, προκατασκευασμένα εργαλεία και πακέτα με τα οποία μπορείτε να παίξετε και η πρόοδος είναι αμείλικτη. Το αποτέλεσμα αυτών των συστημάτων είναι ίσως μια άλλη ιστορία, αν και είναι αναμφισβήτητο ότι υπάρχει πάντα κάτι νέο για να παίξετε, τουλάχιστον.

Δεν πειράζει όλος ο ενθουσιασμός, η διαφημιστική εκστρατεία, η περιέργεια και ο φόβος της απώλειας, η ασφάλεια δεν μπορεί να ξεχαστεί. Αν αυτό δεν είναι ένα σοκ για εσάς, φανταστικό. Αλλά μια υπενθύμιση είναι χρήσιμη εδώ, ειδικά επειδή η τεχνολογία μηχανικής μάθησης τείνει να συναρμολογείται από επιστήμονες και όχι από μηχανικούς, τουλάχιστον στη φάση ανάπτυξης, και ενώ αυτοί οι άνθρωποι ξέρουν τον τρόπο τους γύρω από πράγματα όπως αρχιτεκτονικές νευρωνικών δικτύων, κβαντοποίηση και επόμενα- γενικές τεχνικές εκπαίδευσης, το infosec είναι κατανοητό ότι μπορεί να μην είναι το πλεονέκτημά τους.

Η συνένωση ενός έργου τεχνητής νοημοσύνης δεν διαφέρει πολύ από την κατασκευή οποιουδήποτε άλλου λογισμικού. Συνήθως θα κολλήσετε βιβλιοθήκες, πακέτα, δεδομένα εκπαίδευσης, μοντέλα και προσαρμοσμένο πηγαίο κώδικα για να εκτελέσετε εργασίες εξαγωγής συμπερασμάτων. Τα στοιχεία κώδικα που διατίθενται από δημόσια αποθετήρια μπορεί να περιέχουν κρυφές κερκόπορτες ή στοιχεία εξαγωγής δεδομένων και τα προκατασκευασμένα μοντέλα και σύνολα δεδομένων μπορεί να δηλητηριαστούν για να προκαλέσουν απροσδόκητη ακατάλληλη συμπεριφορά των εφαρμογών.

Στην πραγματικότητα, ορισμένα μοντέλα μπορεί να περιέχουν κακόβουλο λογισμικό εκτελέστηκε εάν το περιεχόμενό τους δεν είναι ασφαλώς απελευθερωμένο. Η ασφάλεια των προσθηκών ChatGPT έχει επίσης εμπίπτω στενός έλεγχος.

Με άλλα λόγια, επιθέσεις εφοδιαστικής αλυσίδας που έχουμε δει στον κόσμο της ανάπτυξης λογισμικού μπορούν να συμβούν σε έδαφος τεχνητής νοημοσύνης. Τα κακά πακέτα θα μπορούσαν να οδηγήσουν σε παραβίαση των σταθμών εργασίας των προγραμματιστών, οδηγώντας σε επιζήμιες εισβολές στα εταιρικά δίκτυα και η παραβίαση μοντέλων και συνόλων δεδομένων εκπαίδευσης θα μπορούσε να προκαλέσει λανθασμένη ταξινόμηση πραγμάτων από τις εφαρμογές, προσβολή των χρηστών κ.λπ. Οι βιβλιοθήκες και τα μοντέλα με κερκόπορτα ή κακόβουλα προγράμματα, εάν ενσωματωθούν σε λογισμικό που αποστέλλεται, θα μπορούσαν να αφήσουν τους χρήστες αυτών των εφαρμογών επίσης ανοιχτούς σε επιθέσεις.

Θα λύσουν ένα ενδιαφέρον μαθηματικό πρόβλημα και μετά θα το αναπτύξουν και τέλος. Δεν είναι δοκιμασμένο με στυλό, δεν υπάρχει AI red teaming

Σε απάντηση, οι νεοφυείς επιχειρήσεις στον κυβερνοχώρο και την τεχνητή νοημοσύνη αναδύονται ειδικά για την αντιμετώπιση αυτής της απειλής. Αναμφίβολα, οι καθιερωμένοι παίκτες το προσέχουν επίσης, ή τουλάχιστον έτσι ελπίζουμε. Τα έργα μηχανικής μάθησης πρέπει να ελέγχονται και να επιθεωρούνται, να ελέγχονται για ασφάλεια και να αξιολογούνται ως προς την ασφάλεια.

«Η [AI] έχει βγει από τον ακαδημαϊκό χώρο. Ήταν σε μεγάλο βαθμό ερευνητικά έργα στο πανεπιστήμιο ή ήταν μικρά έργα ανάπτυξης λογισμικού που έχουν διακοπεί σε μεγάλο βαθμό από ακαδημαϊκούς ή μεγάλες εταιρείες και απλώς δεν έχουν την ασφάλεια μέσα τους», είπε ο Tom Bonner, Αντιπρόεδρος της έρευνας στο HiddenLayer. τέτοια startup εστιασμένη στην ασφάλεια, είπε Το μητρώο.

«Θα λύσουν ένα ενδιαφέρον μαθηματικό πρόβλημα χρησιμοποιώντας λογισμικό και μετά θα το αναπτύξουν και τέλος. Δεν είναι δοκιμασμένο με στυλό, δεν υπάρχει ομαδοποίηση με κόκκινο AI, εκτιμήσεις κινδύνου ή ασφαλής κύκλος ζωής ανάπτυξης. Ξαφνικά η τεχνητή νοημοσύνη και η μηχανική μάθηση έχουν πραγματικά απογειωθεί και όλοι προσπαθούν να μπουν σε αυτό. Πηγαίνουν όλοι και παίρνουν όλα τα κοινά πακέτα λογισμικού που έχουν αναπτυχθεί από τον ακαδημαϊκό χώρο και ιδού, είναι γεμάτα τρωτά σημεία, γεμάτα τρύπες».

Η εφοδιαστική αλυσίδα τεχνητής νοημοσύνης έχει πολλά σημεία εισόδου για εγκληματίες, οι οποίοι μπορούν να χρησιμοποιήσουν πράγματα όπως δακτυλογράφηση Για να εξαπατήσουν τους προγραμματιστές να χρησιμοποιήσουν κακόβουλα αντίγραφα κατά τα άλλα νόμιμων βιβλιοθηκών, επιτρέποντας στους απατεώνες να κλέβουν ευαίσθητα δεδομένα και εταιρικά διαπιστευτήρια, να κλέβουν διακομιστές που εκτελούν τον κώδικα και πολλά άλλα, υποστηρίζεται. Οι άμυνες της εφοδιαστικής αλυσίδας λογισμικού θα πρέπει να εφαρμόζονται και στην ανάπτυξη συστημάτων μηχανικής μάθησης.

«Αν σκέφτεστε ένα διάγραμμα πίτας για το πώς θα σας χακάρουν μόλις ανοίξετε ένα τμήμα τεχνητής νοημοσύνης στην εταιρεία ή τον οργανισμό σας», είπε ο Dan McInerney, επικεφαλής ερευνητής ασφάλειας AI στο Protect AI. Το μητρώο, «ένα μικρό κλάσμα αυτής της πίτας θα είναι επιθέσεις εισόδου μοντέλου, για το οποίο μιλάνε όλοι. Και ένα τεράστιο μέρος θα επιτεθεί στην αλυσίδα εφοδιασμού – τα εργαλεία που χρησιμοποιείτε για να φτιάξετε το ίδιο το μοντέλο».

Επιθέσεις εισόδου είναι ενδιαφέροντες τρόπους ότι οι άνθρωποι μπορούν να σπάσουν το λογισμικό AI χρησιμοποιώντας.

Για να δείξετε τον πιθανό κίνδυνο, το HiddenLayer την άλλη εβδομάδα τονίζεται αυτό που πιστεύει ακράδαντα είναι ένα ζήτημα ασφαλείας με μια διαδικτυακή υπηρεσία που παρέχεται από το Hugging Face που μετατρέπει μοντέλα σε μη ασφαλή μορφή Pickle σε πιο ασφαλή Προστατευτικά, που αναπτύχθηκε επίσης από την Hugging Face.

Τα μοντέλα Pickle μπορεί να περιέχουν κακόβουλο λογισμικό και άλλο αυθαίρετο κώδικα που θα μπορούσε να εκτελεστεί σιωπηλά και απροσδόκητα όταν αποδεσμευθεί, κάτι που δεν είναι εξαιρετικό. Τα Safetensors δημιουργήθηκαν ως μια ασφαλέστερη εναλλακτική λύση: Τα μοντέλα που χρησιμοποιούν αυτήν τη μορφή δεν θα πρέπει να καταλήγουν να εκτελούν ενσωματωμένο κώδικα όταν αποδεσμεύονται. Για όσους δεν γνωρίζουν, το Hugging Face φιλοξενεί εκατοντάδες χιλιάδες μοντέλα νευρωνικών δικτύων, σύνολα δεδομένων και κομμάτια κώδικα που οι προγραμματιστές μπορούν να κάνουν λήψη και χρήση με λίγα μόνο κλικ ή εντολές.

Ο μετατροπέας Safetensors εκτελείται στην υποδομή Hugging Face και μπορεί να λάβει οδηγίες να μετατρέψει ένα μοντέλο PyTorch Pickle που φιλοξενείται από το Hugging Face σε ένα αντίγραφο στη μορφή Safetensors. Αλλά αυτή η ίδια η διαδικτυακή διαδικασία μετατροπής είναι ευάλωτη σε αυθαίρετη εκτέλεση κώδικα, σύμφωνα με το HiddenLayer.

Οι ερευνητές του HiddenLayer είπαν ότι βρήκαν ότι θα μπορούσαν να υποβάλουν ένα αίτημα μετατροπής για ένα κακόβουλο μοντέλο Pickle που περιέχει αυθαίρετο κώδικα και κατά τη διαδικασία μετασχηματισμού, αυτός ο κώδικας θα εκτελούνταν στα συστήματα του Hugging Face, επιτρέποντας σε κάποιον να αρχίσει να μπλέκει με το bot μετατροπέα και τους χρήστες του. Εάν ένας χρήστης μετέτρεπε ένα κακόβουλο μοντέλο, το διακριτικό του Hugging Face θα μπορούσε να διεισδύσει από τον κρυφό κώδικα και «θα μπορούσαμε στην πραγματικότητα να κλέψουμε το διακριτικό Hugging Face, να παραβιάσουμε το αποθετήριό του και να προβάλουμε όλα τα ιδιωτικά αποθετήρια, τα σύνολα δεδομένων και τα μοντέλα που έχει αυτός ο χρήστης πρόσβαση σε», υποστήριξε το HiddenLayer.

Επιπλέον, μας είπαν ότι τα διαπιστευτήρια του ρομπότ μετατροπέα θα μπορούσαν να είναι προσβάσιμα και να διαρρεύσουν μέσω κώδικα που είναι κρυμμένος σε ένα μοντέλο Pickle, επιτρέποντας σε κάποιον να μεταμφιεστεί ως το bot και να ανοίξει αιτήματα έλξης για αλλαγές σε άλλα αποθετήρια. Αυτές οι αλλαγές θα μπορούσαν να εισάγουν κακόβουλο περιεχόμενο εάν γίνουν αποδεκτές. Ζητήσαμε από την Hugging Face μια απάντηση στα ευρήματα του HiddenLayer.

"Κατά ειρωνικό τρόπο, η υπηρεσία μετατροπής για μετατροπή σε Safetensors ήταν η ίδια τρομερά ανασφαλής", μας είπε ο Bonner της HiddenLayer. «Δεδομένου του επιπέδου πρόσβασης που είχε το bot μετατροπής στα αποθετήρια, ήταν πραγματικά δυνατό να κλέψουν το διακριτικό που χρησιμοποιούν για την υποβολή αλλαγών μέσω άλλων αποθετηρίων.

«Θεωρητικά, λοιπόν, ένας εισβολέας θα μπορούσε να είχε υποβάλει οποιαδήποτε αλλαγή σε οποιοδήποτε αποθετήριο και να την κάνει να μοιάζει σαν να προέρχεται από το Hugging Face και μια ενημέρωση ασφαλείας θα μπορούσε να τον ξεγελάσει ώστε να την αποδεχτεί. Οι άνθρωποι θα είχαν απλά μοντέλα με κερκόπορτα ή ανασφαλή μοντέλα στα repos τους και δεν θα το ήξεραν».

Αυτό είναι κάτι περισσότερο από μια θεωρητική απειλή: Devops shop JFrog είπε ότι βρέθηκε κακόβουλος κώδικας που κρύβεται σε 100 μοντέλα που φιλοξενούνται στο Hugging Face.

Υπάρχουν, στην πραγματικότητα, διάφοροι τρόποι για την απόκρυψη επιβλαβών ωφέλιμων φορτίων κώδικα σε μοντέλα που –ανάλογα με τη μορφή αρχείου– εκτελούνται όταν φορτώνονται και αναλύονται τα νευρωνικά δίκτυα, επιτρέποντας στους παραβάτες να αποκτήσουν πρόσβαση στις μηχανές των ανθρώπων. Τα μοντέλα PyTorch και Tensorflow Keras «έχουν τον υψηλότερο πιθανό κίνδυνο εκτέλεσης κακόβουλου κώδικα επειδή είναι δημοφιλείς τύποι μοντέλων με γνωστές τεχνικές εκτέλεσης κώδικα που έχουν δημοσιευτεί», σημείωσε ο JFrog.

Ανασφαλείς συστάσεις

Οι προγραμματιστές που χρησιμοποιούν βοηθούς που προτείνουν κώδικα για την ανάπτυξη εφαρμογών πρέπει επίσης να είναι προσεκτικοί, προειδοποίησε ο Bonner, διαφορετικά μπορεί να καταλήξουν να ενσωματώνουν μη ασφαλή κώδικα. Το GitHub Copilot, για παράδειγμα, εκπαιδεύτηκε σε αποθετήρια ανοιχτού κώδικα και τουλάχιστον 350,000 από αυτούς είναι δυνητικά ευάλωτοι σε παλιό θέμα ασφαλείας που περιλαμβάνει αρχεία Python και tar.

Πύθωνα tarfile Η ενότητα, όπως υποδηλώνει το όνομα, βοηθά τα προγράμματα να αποσυσκευάσουν τα αρχεία tar. Είναι δυνατό να δημιουργήσετε ένα .tar έτσι ώστε όταν ένα αρχείο μέσα στο αρχείο εξάγεται από τη λειτουργική μονάδα Python, θα επιχειρήσει να αντικαταστήσει ένα αυθαίρετο αρχείο στο σύστημα αρχείων του χρήστη. Αυτό μπορεί να εκμεταλλευτεί στον κάδο απορριμμάτων, να αντικαταστήσει σενάρια και να προκαλέσει άλλες ατασθαλίες.

Το ελάττωμα εντοπίστηκε το 2007 και τονίζεται και πάλι το 2022, ωθώντας τους ανθρώπους να αρχίσουν να επιδιορθώνουν έργα για να αποφύγουν αυτήν την εκμετάλλευση. Αυτές οι ενημερώσεις ασφαλείας μπορεί να μην έχουν μπει στα σύνολα δεδομένων που χρησιμοποιούνται για την εκπαίδευση μεγάλων γλωσσικών μοντέλων στον προγραμματισμό, λυπήθηκε ο Bonner. "Έτσι, αν ζητήσετε από ένα LLM να πάει και να αποσυσκευάσει ένα αρχείο tar αυτή τη στιγμή, πιθανότατα θα σας φτύσει πίσω [τον παλιό] ευάλωτο κώδικα."

Ο Bonner προέτρεψε την κοινότητα της τεχνητής νοημοσύνης να αρχίσει να εφαρμόζει πρακτικές ασφάλειας εφοδιαστικής αλυσίδας, όπως να απαιτεί από τους προγραμματιστές να αποδείξουν ψηφιακά ότι είναι αυτοί που λένε ότι είναι όταν κάνουν αλλαγές στα δημόσια αποθετήρια κώδικα, που θα καθησυχάζουν τους ανθρώπους ότι οι νέες εκδόσεις των πραγμάτων παράγονται από νόμιμους προγραμματιστές και δεν ήταν κακόβουλες αλλαγές. Αυτό θα απαιτούσε από τους προγραμματιστές να εξασφαλίσουν οτιδήποτε χρησιμοποιούν για τον έλεγχο ταυτότητας, έτσι ώστε κάποιος άλλος να μην μπορεί να μεταμφιεστεί ως αυτούς.

Και όλοι οι προγραμματιστές, μεγάλοι και μικροί, θα πρέπει να διεξάγουν αξιολογήσεις ασφαλείας και να επιθεωρούν τα εργαλεία που χρησιμοποιούν και να δοκιμάζουν με στυλό το λογισμικό τους προτού αναπτυχθεί.

Η προσπάθεια ενίσχυσης της ασφάλειας στην εφοδιαστική αλυσίδα τεχνητής νοημοσύνης είναι δύσκολη, και με τόσα πολλά εργαλεία και μοντέλα που κατασκευάζονται και κυκλοφορούν, είναι δύσκολο να συμβαδίσουμε.

Ο McInerney του Protect AI τόνισε «σε αυτή την κατάσταση βρισκόμαστε αυτή τη στιγμή. Υπάρχουν πολλά φρούτα που κρέμονται χαμηλά που υπάρχουν παντού. Απλώς δεν υπάρχει αρκετό ανθρώπινο δυναμικό για να τα δούμε όλα γιατί όλα προχωρούν τόσο γρήγορα». ®

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/