KOMENTAR

OWASP je pred kratkim izdal svoj seznam 10 najboljših za aplikacije velikih jezikovnih modelov (LLM)., v prizadevanju za izobraževanje industrije o morebitnih varnostnih grožnjah, ki se jih je treba zavedati pri uvajanju in upravljanju LLM-jev. Ta izdaja je opazen korak v pravo smer za varnostno skupnost, saj imajo razvijalci, oblikovalci, arhitekti in menedžerji zdaj 10 področij, na katera se morajo jasno osredotočiti. 

Podoben Okvir Nacionalnega inštituta za standarde in tehnologijo (NIST). in Smernice Agencije za kibernetsko varnost in varnost infrastrukture (CISA). Seznam OWSAP, ki je namenjen varnostni industriji, ustvarja priložnost za boljšo usklajenost znotraj organizacij. S tem znanjem lahko glavni uradniki za informacijsko varnost (CISO) in vodje varnosti zagotovijo najboljše varnostne ukrepe pri uporabi tehnologij LLM, ki se hitro razvijajo. LLM so samo koda. Uporabiti moramo, kar smo se naučili o kodi za preverjanje pristnosti in avtorizacijo, da preprečimo zlorabo in ogrožanje. Zato identiteta zagotavlja uničevalno stikalo za umetno inteligenco, ki je zmožnost avtentikacije in avtorizacije vsakega modela in njihovih dejanj ter zaustavitev, ko pride do zlorabe, ogrožanja ali napak.

Nasprotniki izkoriščajo vrzeli v organizacijah

Kot strokovnjaki za varnost smo dolgo govoril kaj počnejo nasprotniki, na primer zastrupitev s podatki, ranljivosti dobavne verige, prekomerno posredovanje in kraje ter drugo. Ta seznam OWASP za LLM je dokaz, da se industrija zaveda, kje so tveganja. Za zaščito naših organizacij se moramo hitro popraviti in biti proaktivni. 

Generativna umetna inteligenca (GenAI) opozarja na nov val tveganj programske opreme, ki izvirajo iz enake zmogljivosti zaradi česar je bil sploh močan. Vsakič, ko uporabnik LLM-ju postavi vprašanje, le-ta preišče nešteto spletnih lokacij, da bi zagotovil odgovor ali rezultat, ki ga ustvari umetna inteligenca. Medtem ko vsaka nova tehnologija prinaša nova tveganja, so LLM še posebej zaskrbljujoči, ker se tako razlikujejo od orodij, ki smo jih vajeni.

Skoraj vseh 10 najpogostejših groženj LLM se osredotoča na kompromis avtentikacije za identitete, uporabljene v modelih. Različne metode napadov vodijo lestvico in ne vplivajo le na identitete vhodnih podatkov modela, temveč tudi na identitete samih modelov, pa tudi na njihove rezultate in dejanja. To ima posredni učinek in zahteva avtentikacijo v procesih podpisovanja kode in ustvarjanja, da se ranljivost zaustavi pri viru.

Usposabljanje za preverjanje pristnosti in modeli za preprečevanje zastrupitev in zlorabe

Z več stroji, ki se pogovarjajo med seboj kot kdaj koli prej, je potrebno usposabljanje in preverjanje pristnosti načina, kako se bodo identitete uporabljale za pošiljanje informacij in podatkov iz enega stroja v drugega. Model mora preveriti pristnost kode, tako da lahko model zrcali to avtentikacijo na druge stroje. Če pride do težave z začetnim vnosom ali modelom – ker so modeli ranljivi in ​​jih je treba pozorno spremljati – bo prišlo do učinka domin. Modeli in njihovi vnosi morajo biti overjeni. Če niso, se bodo člani varnostne skupine spraševali, ali je to pravi model, ki so ga usposobili, ali uporablja vtičnike, ki so jih odobrili. Ko lahko modeli uporabljajo API-je in preverjanje pristnosti drugih modelov, mora biti avtorizacija dobro definirana in upravljana. Vsak model mora biti overjen z edinstveno identiteto.

Pred kratkim smo videli to predstavo z Okvara AT&T, ki so ga poimenovali "napaka v konfiguraciji programske opreme", zaradi česar je na tisoče ljudi med jutranjo vožnjo v službo in domov ostalo brez storitev mobilnega telefona. Isti teden je Google doživel napako, ki je bila zelo drugačna, a enako zaskrbljujoča. Googlov generator slik Gemini napačno predstavljen zgodovinske podobe, kar povzroča pomisleke glede raznolikosti in pristranskosti zaradi umetne inteligence. V obeh primerih so bili podatki, uporabljeni za usposabljanje modelov GenAI in LLM - kot tudi pomanjkanje zaščitnih ograj okoli njih - vzrok problema. Da bi preprečila takšne težave v prihodnosti, morajo podjetja z umetno inteligenco porabiti več časa in denarja za ustrezno usposabljanje modelov in boljše informiranje podatkov. 

Da bi oblikovali neprebojen in varen sistem, bi morali CISO in vodje varnosti oblikovati sistem, v katerem model deluje z drugimi modeli. Na ta način nasprotnik, ki ukrade en model, ne sesuje celotnega sistema in omogoča pristop kill-switch. Lahko izklopite model in nadaljujete z delom ter zaščitite intelektualno lastnino podjetja. To postavlja varnostne ekipe na veliko močnejši način in preprečuje nadaljnjo škodo. 

Ukrepanje po lekcijah s seznama 

Voditeljem na področju varnosti priporočam, da upoštevajo smernice OWASP in povprašajo svojega CISO ali vodje na ravni C, kako organizacija na splošno ocenjuje te ranljivosti. Ta okvir nam vsem daje večjo odgovornost za zagotavljanje varnostnih vpogledov in rešitev na ravni trga. Spodbudno je, da imamo našemu izvršnemu direktorju in upravnemu odboru nekaj za pokazati, da ponazorimo, kako nam gre, ko gre za pripravljenost na tveganja. 

Še naprej opažamo, da se pojavljajo tveganja z LLM in orodji za pomoč strankam z umetno inteligenco, kot smo pravkar storili Klepetalni robot družbe Air Canada, ki potniku povrne stroške, bodo podjetja odgovarjala za napake. Čas je, da začnete urejati študije LLM, da zagotovite, da so natančno usposobljeni in pripravljeni na obravnavo poslovnih poslov, ki bi lahko vplivali na rezultat. 

Skratka, ta seznam služi kot odličen okvir za naraščajoče spletne ranljivosti in tveganja, na katera moramo biti pozorni pri uporabi LLM. Medtem ko je več kot polovica od 10 največjih tveganj tistih, ki so v bistvu omilila in zahtevajo prekinitveno stikalo za umetno inteligenco, bodo morala podjetja pri uvajanju novih LLM oceniti svoje možnosti. Če so na voljo ustrezna orodja za preverjanje pristnosti vnosov in modelov, pa tudi dejanj modelov, bodo podjetja bolje opremljena za izkoriščanje ideje o prekinitvi AI in preprečitev nadaljnjega uničenja. Čeprav se to morda zdi zastrašujoče, obstajajo načini za zaščito vaše organizacije med infiltracijo AI in LLM v vašem omrežju.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10