KOMMENTIT

OWASP julkaisi äskettäin Top 10 -lista suurten kielimallien (LLM) sovelluksille, jonka tarkoituksena on kouluttaa alaa mahdollisista turvallisuusuhkista, jotka on oltava tietoisia LLM:ien käyttöönoton ja hallinnan yhteydessä. Tämä julkaisu on merkittävä askel oikeaan suuntaan tietoturvayhteisölle, sillä kehittäjillä, suunnittelijoilla, arkkitehdeillä ja johtajilla on nyt 10 aluetta, joihin selkeästi keskittyä. 

Samanlainen National Institute of Standards and Technology (NIST) -kehys ja Cybersecurity and Infrastructure Security Agency (CISA) -ohjeet Turvallisuusalalle tarkoitettu OWSAP:n luettelo luo mahdollisuuden parempaan yhdenmukaistamiseen organisaatioiden sisällä. Tämän tiedon avulla tietoturvapäälliköt (CISO) ja tietoturvajohtajat voivat varmistaa, että nopeasti kehittyvien LLM-tekniikoiden käytön ympärillä on parhaat turvatoimet. LLM:t ovat vain koodia. Meidän on sovellettava koodin todentamisesta ja valtuutamisesta oppimiamme väärinkäytösten ja kompromissien estämiseksi. Tästä syystä identiteetti tarjoaa tekoälyn tappokytkimen, joka on kyky todentaa ja valtuuttaa jokainen malli ja niiden toimet sekä pysäyttää se väärinkäytön, kompromissin tai virheiden sattuessa.

Vastustajat käyttävät hyväkseen organisaatioiden aukkoja

Turvallisuusalan ammattilaisina olemme pitkään puhuttu mitä vastustajat tekevät, kuten tietomyrkytys, toimitusketjun haavoittuvuudet, liiallinen agentuuri ja varkaus ja paljon muuta. Tämä OWASP-luettelo LLM:ille on todiste siitä, että teollisuus tunnistaa riskit. Organisaatioidemme suojelemiseksi meidän on korjattava nopeasti ja oltava ennakoivia. 

Generatiivinen tekoäly (GenAI) asettaa valokeilaan ohjelmistoriskien uudelle aallolle, jonka juuret ovat samat ominaisuudet mikä teki siitä alun perin voimakkaan. Joka kerta kun käyttäjä kysyy LLM:ltä kysymyksen, se indeksoi lukemattomia Web-sijainteja yrittääkseen tarjota tekoälyn luoman vastauksen tai tulosteen. Vaikka jokaiseen uuteen teknologiaan liittyy uusia riskejä, LLM:t ovat erityisen huolestuttavia, koska ne ovat niin erilaisia ​​kuin tavalliset työkalut.

Lähes kaikki 10 suosituinta LLM-uhat keskittyvät malleissa käytettyjen henkilöllisyyksien todentamisen kompromissiin. Erilaiset hyökkäysmenetelmät ajavat kirjoa ja vaikuttavat paitsi mallisyötteiden identiteeteihin, myös itse mallien identiteeteihin sekä niiden ulostuloihin ja toimiin. Tällä on knock-on-vaikutus ja se vaatii todennusta koodin allekirjoitus- ja luontiprosesseissa haavoittuvuuden pysäyttämiseksi lähteellä.

Koulutuksen ja mallien todentaminen myrkytyksen ja väärinkäytön estämiseksi

Koska enemmän koneita puhuu keskenään kuin koskaan ennen, on koulutettava ja todettava tapa, jolla identiteettejä käytetään tiedon ja datan lähettämiseen koneesta toiseen. Mallin täytyy todentaa koodi, jotta malli voi peilata todennusta muille koneille. Jos alkuperäisessä syötteessä tai mallissa on ongelma – koska mallit ovat haavoittuvia ja joita on syytä pitää silmällä – syntyy dominoefekti. Mallit ja niiden syötteet on todennettu. Jos he eivät ole, turvallisuustiimin jäsenet kyseenalaistavat, onko tämä oikea malli, jonka he ovat kouluttaneet, vai käyttääkö se heidän hyväksymiään laajennuksia. Kun mallit voivat käyttää sovellusliittymiä ja muiden mallien todennusta, valtuutuksen on oltava hyvin määriteltyä ja hallittua. Jokainen malli on tunnistettava yksilöllisellä henkilöllisyydellä.

Näimme tämän näytelmän äskettäin AT&T:n vika, jota kutsuttiin "ohjelmiston määritysvirheeksi", jolloin tuhannet ihmiset jäivät ilman matkapuhelinpalvelua aamumatkan aikana. Samalla viikolla Google havaitsi virheen, joka oli hyvin erilainen, mutta yhtä huolestuttava. Googlen Gemini-kuvageneraattori on esitetty väärin historiallisia kuvia, mikä aiheuttaa tekoälyn aiheuttamaa monimuotoisuutta ja ennakkoluuloja. Molemmissa tapauksissa GenAI-mallien ja LLM:ien kouluttamiseen käytetyt tiedot – samoin kuin suojakaiteiden puute sen ympärillä – olivat ongelman syy. Tällaisten ongelmien estämiseksi tulevaisuudessa tekoälyyritysten on käytettävä enemmän aikaa ja rahaa mallien kouluttamiseen ja tietojen parantamiseen. 

Luodinkestävän ja turvallisen järjestelmän suunnittelemiseksi CISO:n ja turvallisuusjohtajien tulee suunnitella järjestelmä, jossa malli toimii muiden mallien kanssa. Tällä tavalla yhden mallin varastava vastustaja ei romahda koko järjestelmää ja mahdollistaa kill-switch-lähestymistavan. Voit sammuttaa mallin ja jatkaa työskentelyä ja suojella yrityksen immateriaalioikeuksia. Tämä asemoi turvatiimit paljon vahvemmin ja estää lisävahingot. 

Toimiminen luettelon oppituntien mukaan 

Tietoturvajohtajille suosittelen ottamaan OWASP:n ohjeet ja kysymään CISO- tai C-tason johtajiltasi, kuinka organisaatio arvioi näitä haavoittuvuuksia yleisesti. Tämä viitekehys pitää meidät enemmän vastuussa markkinatason tietoturvanäkemysten ja -ratkaisujen toimittamisesta. On rohkaisevaa, että meillä on jotain näytettävää toimitusjohtajallemme ja hallitukselle, joka havainnollistaa, kuinka meillä menee riskivalmiuden suhteen. 

Kuten näemme jatkuvasti, riskit syntyvät LLM:ien ja tekoälyn asiakaspalvelutyökalujen kanssa, kuten teimme juuri Air Canadan chatbot, joka maksaa matkailijalle korvauksen, yritykset joutuvat vastuuseen virheistä. On aika alkaa säännellä LLM-yrityksiä varmistaaksesi, että ne ovat asianmukaisesti koulutettuja ja valmiita käsittelemään liiketoimia, jotka voivat vaikuttaa tulokseen. 

Yhteenvetona voidaan todeta, että tämä luettelo toimii loistavana puitteena kasvaville Web-haavoittuvuuksille ja riskeille, joihin meidän on kiinnitettävä huomiota LLM:itä käytettäessä. Vaikka yli puolet 10 suurimmasta riskistä on olennaisesti lievennettyjä ja vaativat tekoälyn lopettamista, yritysten on arvioitava vaihtoehtoja ottaessaan käyttöön uusia LLM:itä. Jos oikeat työkalut ovat käytössä syötteiden ja mallien sekä mallien toiminnan todentamiseksi, yritykset voivat paremmin hyödyntää tekoälyn kill-switch -ideaa ja estää tuhoamisen. Vaikka tämä saattaa tuntua pelottavalta, on olemassa tapoja suojella organisaatiotasi AI:n ja LLM:n soluttautumiselta verkkoosi.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10