Το jailbreaking και το prompt injection είναι νέα, αυξάνονται απειλές στο γενετικό AI (GenAI). Το jailbreaking ξεγελάει την τεχνητή νοημοσύνη με συγκεκριμένες προτροπές για να παράγει επιβλαβή ή παραπλανητικά αποτελέσματα. Η έγκαιρη έγχυση κρύβει κακόβουλα δεδομένα ή οδηγίες μέσα σε τυπικές προτροπές, που μοιάζουν με την έγχυση SQL σε βάσεις δεδομένων, που οδηγεί το μοντέλο να παράγει ακούσια αποτελέσματα, δημιουργώντας τρωτά σημεία ή κινδύνους φήμης.

Η εξάρτηση από το παραγόμενο περιεχόμενο δημιουργεί και άλλα προβλήματα. Για παράδειγμα, πολλοί προγραμματιστές αρχίζουν να χρησιμοποιούν μοντέλα GenAI, όπως το Microsoft Copilot ή το ChatGPT, για να τους βοηθήσουν να γράψουν ή να αναθεωρήσουν τον πηγαίο κώδικα. Δυστυχώς, πρόσφατη έρευνα υποδεικνύει ότι η έξοδος κώδικα από το GenAI μπορεί να περιέχει ευπάθειες ασφαλείας και άλλα προβλήματα που οι προγραμματιστές ενδέχεται να μην αντιληφθούν. Ωστόσο, υπάρχει και ελπίδα ότι με την πάροδο του χρόνου Το GenAI μπορεί να είναι σε θέση να βοηθήσει τους προγραμματιστές γράψτε κώδικα που είναι πιο ασφαλής.

Επιπλέον, το GenAI είναι κακό στο να κρατά μυστικά. Η εκπαίδευση ενός AI σε ιδιόκτητα ή ευαίσθητα δεδομένα εισάγει τον κίνδυνο έμμεσης έκθεσης ή συμπερασμάτων αυτών των δεδομένων. Αυτό μπορεί να περιλαμβάνει τη διαρροή στοιχείων προσωπικής ταυτοποίησης (PII) και διακριτικών πρόσβασης. Το πιο σημαντικό, ο εντοπισμός αυτών των διαρροών μπορεί να είναι δύσκολος λόγω της απρόβλεπτης συμπεριφοράς του μοντέλου. Δεδομένου του τεράστιου αριθμού πιθανών προτροπών που μπορεί να υποβάλει ένας χρήστης, είναι αδύνατο να τα προβλέψουμε και να τα προφυλάξουμε πλήρως από όλα αυτά.

Παραδοσιακές προσεγγίσεις υποχωρούν

Οι επιθέσεις στο GenAI μοιάζουν περισσότερο με επιθέσεις σε ανθρώπους - όπως απάτες, παιχνίδια απάτης και κοινωνική μηχανική - παρά τεχνικές επιθέσεις σε κώδικα. Τα παραδοσιακά προϊόντα ασφαλείας, όπως τα τείχη προστασίας που βασίζονται σε κανόνες, που έχουν σχεδιαστεί κυρίως για συμβατικές απειλές στον κυβερνοχώρο, δεν σχεδιάστηκαν με γνώμονα τη δυναμική και προσαρμοστική φύση των απειλών GenAI και δεν μπορούν να αντιμετωπίσουν τις έκτακτες απειλές που περιγράφονται παραπάνω. Δύο κοινές μεθοδολογίες ασφάλειας — η συσκότιση δεδομένων και το φιλτράρισμα βάσει κανόνων — έχουν σημαντικούς περιορισμούς.

Η συσκότιση ή η κρυπτογράφηση δεδομένων, η οποία συγκαλύπτει τα πρωτότυπα δεδομένα για την προστασία ευαίσθητων πληροφοριών, χρησιμοποιείται συχνά για τη διασφάλιση του απορρήτου των δεδομένων. Ωστόσο, η πρόκληση της συσκότισης δεδομένων για το GenAI είναι η δυσκολία στον εντοπισμό και τον καθορισμό των δεδομένων που είναι ευαίσθητα. Επιπλέον, το αλληλεξαρτήσεις στα σύνολα δεδομένων σημαίνει ότι ακόμη και αν ορισμένες πληροφορίες είναι ασαφείς, ενδέχεται να υπάρχουν άλλα σημεία δεδομένων παρέχουν αρκετό πλαίσιο για την τεχνητή νοημοσύνη να συμπεράνει τα δεδομένα που λείπουν.

Παραδοσιακά, οι μέθοδοι φιλτραρίσματος που βασίζονται σε κανόνες προστατεύουν από ανεπιθύμητα αποτελέσματα. Η εφαρμογή αυτού στο GenAI σαρώνοντας τις εισόδους και τις εξόδους του φαίνεται διαισθητική. Ωστόσο, κακόβουλους χρήστες μπορεί συχνά να παρακάμψουν αυτά τα συστήματα, καθιστώντας τα ακατάλληλα για ασφάλεια AI.

Αυτό το σχήμα υπογραμμίζει ορισμένες σύνθετες προτροπές jailbreaking που αποφεύγουν απλούς κανόνες:

Τρέχοντα μοντέλα από εταιρείες όπως η OpenAI και η Anthropic χρησιμοποιούν RLHF για την ευθυγράμμιση των αποτελεσμάτων του μοντέλου με τις παγκόσμιες ανθρώπινες αξίες. Ωστόσο, οι καθολικές τιμές μπορεί να μην επαρκούν: Κάθε εφαρμογή του GenAI μπορεί να απαιτεί τη δική της προσαρμογή για ολοκληρωμένη προστασία.

Προς μια πιο ισχυρή ασφάλεια GenAI

Όπως φαίνεται στα παραπάνω παραδείγματα, οι επιθέσεις στο GenAI μπορεί να είναι ποικίλες και δύσκολο να προβλεφθούν. Πρόσφατη έρευνα τονίζει ότι μια άμυνα θα πρέπει να είναι τόσο έξυπνη όσο το υποκείμενο μοντέλο για να είναι αποτελεσματική. Η χρήση του GenAI για την προστασία του GenAI είναι μια πολλά υποσχόμενη κατεύθυνση για την άμυνα. Προβλέπουμε δύο πιθανές προσεγγίσεις: άμυνα μαύρου κιβωτίου και λευκού κουτιού.

Μια άμυνα μαύρου κουτιού θα συνεπαγόταν ένα έξυπνο σύστημα παρακολούθησης —το οποίο κατ' ανάγκη έχει ένα στοιχείο GenAI— για το GenAI, το οποίο θα αναλύει τα αποτελέσματα για απειλές. Είναι σαν να έχεις έναν φύλακα που επιθεωρεί οτιδήποτε βγαίνει από ένα κτίριο. Είναι πιθανώς πιο κατάλληλο για εμπορικά μοντέλα GenAI κλειστού κώδικα, όπου δεν υπάρχει τρόπος να τροποποιηθεί το ίδιο το μοντέλο.

Μια άμυνα λευκού κουτιού εμβαθύνει στα εσωτερικά του μοντέλου, παρέχοντας ταυτόχρονα μια ασπίδα και τη γνώση για τη χρήση του. Με ανοιχτά μοντέλα GenAI, καθίσταται δυνατός ο ακριβής συντονισμός τους έναντι γνωστών κακόβουλων μηνυμάτων, όπως η εκπαίδευση κάποιου σε αυτοάμυνα. Ενώ μια προσέγγιση μαύρου κουτιού μπορεί να προσφέρει προστασία, στερείται εξατομικευμένης εκπαίδευσης. Έτσι, η μέθοδος του λευκού κουτιού είναι πιο ολοκληρωμένη και αποτελεσματική έναντι αόρατων επιθέσεων.

Εκτός από τις έξυπνες άμυνες, η GenAI ζητά την εξελισσόμενη διαχείριση απειλών. Οι απειλές GenAI, όπως όλες οι τεχνολογικές απειλές, δεν είναι στάσιμες. Είναι ένα παιχνίδι γάτας και ποντικιού όπου, για κάθε αμυντική κίνηση, οι επιτιθέμενοι σχεδιάζουν μια αντίθετη κίνηση. Έτσι, τα συστήματα ασφαλείας πρέπει να εξελίσσονται συνεχώς, να μαθαίνουν από τις παραβιάσεις του παρελθόντος και να προβλέπουν μελλοντικές στρατηγικές. Δεν υπάρχει καθολική προστασία για άμεση έγχυση, jailbreak ή άλλες επιθέσεις, επομένως προς το παρόν μια ρεαλιστική άμυνα μπορεί να είναι η παρακολούθηση και η ανίχνευση απειλών. Οι προγραμματιστές θα χρειαστούν εργαλεία για την παρακολούθηση, τον εντοπισμό και την απόκριση σε επιθέσεις στο GenAI, καθώς και μια στρατηγική πληροφοριών απειλών για την παρακολούθηση νέων αναδυόμενων απειλών.

Πρέπει επίσης να διατηρήσουμε την ευελιξία στις αμυντικές τεχνικές. Η κοινωνία είχε χιλιάδες χρόνια να βρει τρόπους προστασίας από απατεώνες. Τα GenAIs υπάρχουν εδώ και αρκετά χρόνια, επομένως ακόμα ψάχνουμε πώς να τα υπερασπιστούμε. Συνιστούμε στους προγραμματιστές να σχεδιάζουν συστήματα με τρόπο που να διατηρεί την ευελιξία για το μέλλον, έτσι ώστε να μπορούν να τοποθετούνται νέες άμυνες καθώς ανακαλύπτονται.

Με την εποχή της τεχνητής νοημοσύνης μπροστά μας, είναι ζωτικής σημασίας να δίνουμε προτεραιότητα στα νέα μέτρα ασφαλείας που βοηθούν τις μηχανές να αλληλεπιδρούν με την ανθρωπότητα αποτελεσματικά, ηθικά και με ασφάλεια. Αυτό σημαίνει χρήση ευφυΐας ίση με την εργασία.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.darkreading.com/dr-tech/genai-requires-new-intelligent-defenses