КОМЕНТАР

OWASP нещодавно випустив його список 10 найпопулярніших для програм великої мовної моделі (LLM)., намагаючись поінформувати галузь про потенційні загрози безпеці, про які слід пам’ятати під час розгортання й керування LLM. Цей випуск є помітним кроком у правильному напрямку для спільноти безпеки, оскільки розробники, дизайнери, архітектори та менеджери тепер мають 10 сфер, на яких слід чітко зосередитися. 

Як Структура Національного інституту стандартів і технологій (NIST). та  Рекомендації Агентства з кібербезпеки та безпеки інфраструктури (CISA). Список OWSAP, наданий для галузі безпеки, створює можливість для кращого узгодження в організаціях. Володіючи цими знаннями, керівники служби інформаційної безпеки (CISO) і керівники служби безпеки можуть забезпечити найкращі запобіжні заходи щодо використання технологій LLM, які швидко розвиваються. LLM - це просто код. Нам потрібно застосувати те, що ми дізналися про код автентифікації та авторизації, щоб запобігти неправильному використанню та компрометації. Ось чому ідентифікація забезпечує вимикач для ШІ, тобто здатність автентифікувати та авторизувати кожну модель та її дії, а також зупиняти їх у разі неправильного використання, компрометації або помилок.

Супротивники використовують прогалини в організаціях

Як спеціалісти з безпеки, ми давно говорили що роблять зловмисники, як отруєння даних, вразливість ланцюга постачання, надмірне агентство та крадіжка тощо. Цей список OWASP для LLM є доказом того, що галузь усвідомлює, де є ризики. Щоб захистити наші організації, ми повинні швидко виправляти курс і бути проактивними. 

Generative Artificial Intelligence (GenAI) звертає увагу на нову хвилю програмних ризиків, які кореняться в однакові можливості що зробило його потужним у першу чергу. Кожного разу, коли користувач задає LLM запитання, він сканує незліченну кількість веб-сайтів, намагаючись надати згенеровану ШІ відповідь або результат. Хоча кожна нова технологія пов’язана з новими ризиками, LLMs особливо тривожні, оскільки вони дуже відрізняються від інструментів, до яких ми звикли.

Майже всі 10 найпоширеніших загроз LLM зосереджені навколо компромісу автентифікації для ідентифікаторів, які використовуються в моделях. Різні методи атаки охоплюють широкий діапазон, впливаючи не лише на ідентифікаційні дані моделей, але й на ідентифікаційні дані самих моделей, а також на їхні результати та дії. Це має додатковий ефект і вимагає автентифікації в процесах підписання коду та створення, щоб зупинити вразливість у джерелі.

Автентифікація навчання та моделей для запобігання отруєнню та неправильному використанню

Оскільки машин, які спілкуються одна з одною, стає все більше, ніж будь-коли раніше, необхідно провести навчання й автентифікацію способу використання ідентифікаторів для надсилання інформації та даних з однієї машини на іншу. Модель має автентифікувати код, щоб модель могла віддзеркалювати цю автентифікацію на інших машинах. Якщо виникне проблема з початковим введенням або моделлю — оскільки моделі вразливі і за ними слід уважно стежити — виникне ефект доміно. Моделі та їхні вхідні дані мають бути автентифіковані. Якщо ні, члени команди безпеки будуть сумніватися, чи це правильна модель, яку вони навчили, чи вона використовує плагіни, які вони схвалили. Коли моделі можуть використовувати API та інші моделі автентифікації, авторизація має бути чітко визначена та керована. Кожна модель має бути автентифікована за допомогою унікального ідентифікатора.

Нещодавно ми бачили цю виставу Збій AT&T, яку назвали «помилкою конфігурації програмного забезпечення», через яку тисячі людей залишаються без послуг мобільного зв’язку під час ранкової поїздки на роботу. Того ж тижня Google зіткнувся з помилкою, яка була дуже різною, але однаково тривожною. Генератор зображень Gemini Google неправильно представлений історичні образи, що викликає занепокоєння щодо різноманітності та упередженості через ШІ. В обох випадках корінням проблеми були дані, які використовувалися для навчання моделей GenAI і LLM, а також відсутність огорожі навколо них. Щоб запобігти подібним проблемам у майбутньому, компаніям, які займаються штучним інтелектом, потрібно витрачати більше часу та грошей на належне навчання моделей і кращу інформацію для даних. 

Щоб розробити куленепробивну та безпечну систему, CISO та лідери безпеки повинні розробити систему, у якій модель працює з іншими моделями. Таким чином, зловмисник, який вкраде одну модель, не зруйнує всю систему та дає змогу застосувати підхід «знищення». Ви можете вимкнути модель і продовжувати працювати та захищати інтелектуальну власність компанії. Це робить команди безпеки набагато сильнішими та запобігає подальшим збиткам. 

Виконання уроків зі списку 

Керівникам безпеки я рекомендую скористатися вказівками OWASP і запитати у свого керівника CISO або C-рівня, як організація загалом оцінює ці вразливості. Ця структура робить нас більш відповідальними за надання інформації про безпеку на ринковому рівні та рішень. Надихає те, що нам є що показати нашому генеральному директору та правлінню, щоб проілюструвати, як ми працюємо, коли йдеться про готовність до ризиків. 

Оскільки ми продовжуємо бачити ризики, пов’язані з LLM та інструментами обслуговування клієнтів ШІ, як ми щойно зробили Чат-бот Air Canada повертає мандрівникам витрати, компанії будуть притягнуті до відповідальності за помилки. Настав час почати регулювати LLMs, щоб переконатися, що вони добре навчені та готові виконувати ділові угоди, які можуть вплинути на кінцевий результат. 

Підсумовуючи, цей список служить чудовою основою для зростання вразливостей у мережі та ризиків, на які ми повинні звернути увагу під час використання LLM. Хоча більше половини з 10 найпоширеніших ризиків є ризиками, які по суті пом’якшені та вимагають відключення штучного інтелекту, компаніям потрібно буде оцінити свої варіанти під час розгортання нових LLM. Якщо потрібні інструменти для автентифікації вхідних даних і моделей, а також дій моделей, компанії будуть краще підготовлені, щоб використовувати ідею аварійного перемикання та запобігати подальшому руйнуванню. Хоча це може здатися страшним, є способи захистити вашу організацію від проникнення ШІ та LLM у вашу мережу.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10