Microsoft a anunțat câteva capacități noi în Azure AI Studio despre care compania spune că ar trebui să ajute dezvoltatorii să construiască aplicații AI generative care sunt mai fiabile și mai rezistente împotriva manipulării modelelor rău intenționate și a altor amenințări emergente.

Într-o postare pe blog din 29 martie, directorul de produs al Microsoft AI responsabil, Sarah Bird, a subliniat îngrijorările tot mai mari cu privire la utilizarea actorilor amenințări atacuri de injectare promptă pentru a determina sistemele AI să se comporte în moduri periculoase și neașteptate, ca factor principal de conducere pentru noile instrumente.

„Organizațiile sunt și ele preocupat de calitate și fiabilitate”, spuse Bird. „Vor să se asigure că sistemele lor AI nu generează erori sau nu adaugă informații care nu sunt fundamentate în sursele de date ale aplicației, ceea ce poate eroda încrederea utilizatorilor.”

Azure AI Studio este o platformă găzduită pe care organizațiile o pot folosi pentru a crea asistenți AI personalizați, copiloți, roboți, instrumente de căutare și alte aplicații, bazate pe propriile lor date. Anunțată în noiembrie 2023, platforma găzduiește modelele Microsoft de învățare automată și, de asemenea, modele din mai multe alte surse, inclusiv OpenAI. Meta, Hugging Face și Nvidia. Le permite dezvoltatorilor să integreze rapid capabilități multimodale și funcții responsabile AI în modelele lor.

Alți jucători importanți, cum ar fi Amazon și Google, s-au grăbit pe piață cu oferte similare în ultimul an pentru a profita de interesul crescând pentru tehnologiile AI la nivel mondial. Un studiu recent comandat de IBM a constatat că 42% din organizații cu peste 1,000 de angajați, folosesc deja în mod activ AI într-un fel, mulți dintre ei plănuind să crească și să accelereze investițiile în tehnologie în următorii câțiva ani. Și nu toate îi spuneau în prealabil despre utilizarea lor AI.

Protejarea împotriva ingineriei prompte

Cele cinci noi capabilități pe care Microsoft le-a adăugat – sau le va adăuga în curând – la Azure AI Studio sunt: ​​Prompt Shields; detectarea impamantarii; mesajele sistemului de siguranță; evaluări de siguranță; și monitorizarea riscurilor și siguranței. Caracteristicile sunt concepute pentru a răspunde unor provocări semnificative pe care cercetătorii le-au descoperit recent – ​​și continuă să le descopere în mod obișnuit – în ceea ce privește utilizarea modelelor de limbaj mari și a instrumentelor AI generative.

Scuturi prompte de exemplu, este atenuarea Microsoft pentru ceea ce sunt cunoscute sub numele de atacuri indirecte prompte și jailbreak-uri. Caracteristica se bazează pe atenuările existente în Azure AI Studio împotriva riscului de jailbreak. În atacuri inginerești prompte, adversarii folosesc indicații care par inofensive și nu dăunătoare în mod deschis pentru a încerca să conducă un model AI să genereze răspunsuri dăunătoare și nedorite. Ingineria promptă este printre cele mai periculoase dintr-o clasă tot mai mare de atacuri care încearcă și modele AI de jailbreak sau faceți-i să se comporte într-un mod care nu este în concordanță cu orice filtre și constrângeri pe care dezvoltatorii le-ar fi putut integra în ele.  

Cercetătorii au arătat recent cum adversarii se pot angaja în atacuri inginerești prompte pentru a obține modele AI generative. să-și deverseze datele de antrenament, pentru a vărsa informații personale, genera dezinformare și conținut potențial dăunător, cum ar fi instrucțiuni despre cum să conectați o mașină.

Cu Prompt Shields, dezvoltatorii pot integra capabilități în modelele lor care ajută la distingerea între intrările de sistem valide și potențial nedemne de încredere; setați delimitatori pentru a marca începutul și sfârșitul textului introdus și folosiți marcarea datelor pentru a marca textele introduse. Prompt Shields este disponibil în prezent în modul de previzualizare în Azure AI Content Safety și va deveni general disponibil în curând, potrivit Microsoft.

Atenuări pentru halucinații model și conținut dăunător

Între timp, cu detectarea temeiniciei, Microsoft a adăugat o funcție la Azure AI Studio despre care spune că poate ajuta dezvoltatorii să reducă riscul ca modelele lor AI să „halucineze”. Halucinația modelului este o tendință a modelelor AI de a genera rezultate care par plauzibile, dar care sunt complet inventate și nu se bazează – sau se bazează – pe datele de antrenament. Halucinațiile LLM pot fi extrem de problematice dacă o organizație ar lua rezultatul ca fapte și ar acționa asupra ei într-un fel. Într-un mediu de dezvoltare de software, de exemplu, halucinațiile LLM ar putea duce la dezvoltatorii potențial să introducă cod vulnerabil în aplicațiile lor.

Azure AI Studio este nou detectarea temeliei capacitatea se referă, în principal, la a ajuta la detectarea – mai fiabil și la scară mai mare – ieșiri AI generative potențial neîmpământate. Scopul este de a oferi dezvoltatorilor o modalitate de a-și testa modelele de inteligență artificială în raport cu ceea ce Microsoft numește metrici de fundamentare, înainte de a implementa modelul în produs. Caracteristica evidențiază, de asemenea, declarații potențial nefondate în ieșirile LLM, astfel încât utilizatorii să știe că trebuie să verifice rezultatele înainte de a o utiliza. Detectarea temeiniciei nu este încă disponibilă, dar ar trebui să fie disponibilă în viitorul apropiat, potrivit Microsoft.

Noul cadru de mesaje de sistem oferă dezvoltatorilor o modalitate de a defini clar capacitățile modelului lor, profilul și limitările în mediul lor specific. Dezvoltatorii pot folosi capacitatea de a defini formatul rezultatului și de a oferi exemple de comportament intenționat, astfel încât utilizatorii să devină mai ușor să detecteze abaterile de la comportamentul intenționat. Este o altă funcție nouă care nu este încă disponibilă, dar ar trebui să fie în curând.

Azure AI Studio este recent anunțat evaluări de siguranță capacitatea și ea monitorizarea riscurilor și siguranței ambele sunt disponibile în prezent în starea de previzualizare. Organizațiile pot folosi primul pentru a evalua vulnerabilitatea modelului lor LLM la atacuri de jailbreak și generarea de conținut neașteptat. Capacitatea de monitorizare a riscurilor și siguranței permite dezvoltatorilor să detecteze intrările de model care sunt problematice și care pot declanșa conținut halucinat sau neașteptat, astfel încât să poată implementa măsuri de atenuare împotriva acestuia.

„IA generativă poate fi un multiplicator de forță pentru fiecare departament, companie și industrie”, a spus Bird de la Microsoft. „În același timp, modelele de fundație introduc noi provocări pentru securitate și siguranță care necesită noi atenuări și învățare continuă.”

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai