حملات تزریقی سریع شامل دستکاری مدل برای ایجاد پاسخ های ناخواسته یا مضر است. در اینجا، مهاجم استراتژیک دستوراتی را برای فریب دادن LLM فرموله می کند، به طور بالقوه دور زدن اقدامات امنیتی یا محدودیت های اخلاقی اعمال شده برای اطمینان از استفاده مسئولانه از هوش مصنوعی (AI). در نتیجه، پاسخ های LLM می تواند به طور قابل توجهی از رفتار مورد نظر یا مورد انتظار منحرف شود و خطرات جدی برای حریم خصوصی، امنیت و قابلیت اطمینان برنامه های مبتنی بر هوش مصنوعی ایجاد کند.

مدیریت ناامن خروجی زمانی ایجاد می شود که خروجی تولید شده توسط یک سیستم هوش مصنوعی LLM یا مشابه آن پذیرفته شده و در یک برنامه نرم افزاری یا سرویس وب گنجانده شود، بدون اینکه تحت بررسی یا اعتبارسنجی کافی قرار گیرد. این می تواند افشا کند سیستم های پشتیبان نسبت به آسیب پذیری هامانند برنامه نویسی بین سایتی (XSS)، جعل درخواست بین سایتی (CSRF)، جعل درخواست سمت سرور (SSRF)، افزایش امتیاز، و اجرای کد از راه دور (RCE).

مسمومیت داده های آموزشی زمانی اتفاق می‌افتد که داده‌های مورد استفاده برای آموزش یک LLM به عمد دستکاری یا آلوده به اطلاعات مخرب یا مغرضانه شوند. فرآیند مسمومیت داده های آموزشی معمولاً شامل تزریق نقاط داده فریبنده، گمراه کننده یا مضر به مجموعه داده آموزشی است. این نمونه‌های داده دستکاری شده به‌طور استراتژیک برای بهره‌برداری از آسیب‌پذیری‌ها در الگوریتم‌های یادگیری مدل یا القای سوگیری‌هایی که ممکن است منجر به نتایج نامطلوب در پیش‌بینی‌ها و پاسخ‌های مدل شود، انتخاب می‌شوند.

پاکسازی ورودی به عنوان پیشنهاد نام، شامل پاکسازی ورودی ها برای جلوگیری از اقدامات غیرمجاز و درخواست های داده که توسط درخواست های مخرب آغاز می شوند. اولین مرحله اعتبار سنجی ورودی است تا اطمینان حاصل شود که ورودی به فرمت ها و انواع داده های مورد انتظار پایبند است. مورد بعدی پاکسازی ورودی است که در آن کاراکترها یا کدهای بالقوه مضر حذف یا کدگذاری می شوند تا حملات را خنثی کنند. سایر تاکتیک ها شامل لیست سفید محتوای تایید شده، لیست سیاه محتوای ممنوعه، پرس و جوهای پارامتری شده برای تعاملات پایگاه داده، سیاست های امنیتی محتوا، عبارات منظم، ورود به سیستم، و نظارت مستمر، و همچنین به روز رسانی و آزمایش امنیتی است.

بررسی خروجی is مدیریت دقیق و ارزیابی خروجی تولید شده توسط LLM برای کاهش آسیب‌پذیری‌ها، مانند XSS، CSRF و RCE. این فرآیند با اعتبارسنجی و فیلتر کردن پاسخ‌های LLM قبل از پذیرش آنها برای ارائه یا پردازش بیشتر آغاز می‌شود. این شامل تکنیک هایی مانند اعتبار سنجی محتوا، رمزگذاری خروجی، و خروج خروجی است که هدف همه آنها شناسایی و خنثی کردن خطرات امنیتی بالقوه در محتوای تولید شده است.

حفاظت از داده های آموزشی برای جلوگیری از مسمومیت داده های آموزشی ضروری است. این شامل اعمال کنترل‌های دسترسی دقیق، استفاده از رمزگذاری برای حفاظت از داده‌ها، حفظ پشتیبان‌گیری از داده‌ها و کنترل نسخه، اجرای اعتبارسنجی داده‌ها و ناشناس‌سازی، ایجاد گزارش و نظارت جامع، انجام ممیزی‌های منظم، و ارائه آموزش کارکنان در مورد امنیت داده‌ها است. همچنین بررسی قابلیت اطمینان منابع داده و اطمینان از شیوه های ذخیره سازی و انتقال ایمن بسیار مهم است.

اجرای سیاست های جعبه ایمنی و کنترل های دسترسی همچنین می تواند به کاهش خطر سوء استفاده های SSRF در عملیات LLM کمک کند. تکنیک‌هایی که می‌توانند در اینجا اعمال شوند عبارتند از: ایزوله‌سازی جعبه ایمنی، کنترل‌های دسترسی، فهرست‌بندی سفید و/یا فهرست سیاه، اعتبارسنجی درخواست، تقسیم‌بندی شبکه، اعتبارسنجی نوع محتوا، و بازرسی محتوا. به روز رسانی منظم، ثبت جامع و آموزش کارکنان نیز کلیدی است.

نظارت مستمر و فیلتر محتوا را می توان در خط لوله پردازش LLM برای شناسایی و جلوگیری از محتوای مضر یا نامناسب، با استفاده از فیلتر مبتنی بر کلمه کلیدی، تجزیه و تحلیل زمینه، مدل های یادگیری ماشینی، و فیلترهای قابل تنظیم، ادغام کرد. دستورالعمل‌های اخلاقی و اعتدال انسانی نقش‌های کلیدی در حفظ تولید محتوای مسئولانه دارند، در حالی که نظارت مستمر در زمان واقعی، حلقه‌های بازخورد کاربر و شفافیت تضمین می‌کند که هرگونه انحراف از رفتار مطلوب به‌سرعت رسیدگی می‌شود.