مایکروسافت مجموعه‌ای از ابزارها را برای کمک به ایمن‌تر کردن مدل‌های هوش مصنوعی در Azure معرفی کرده است.

از زمانی که تجارت ابر و کد شروع به جمع‌آوری سرمایه در OpenAI کرد و امپراتوری نرم‌افزاری خود را با قابلیت‌های ربات‌های چت القا کرد – نمایشی که رقبا در میان وعده‌های بزرگ در مورد بهره‌وری با شور و شوق مشابهی به اجرا در می‌آورد – مایکروسافت مجبور است اذعان کند که هوش مصنوعی مولد با خطراتی همراه است.

La خطرات به طور گسترده ای شناخته شده اند و گاهی اوقات با خیال راحت کنار گذاشته می شوند. یک دهه پیش، ایلان ماسک هشدار داد که هوش مصنوعی ممکن است درست باشد بشریت را نابود کند. با این حال، این نگرانی مانع از آن نشد که هوش مصنوعی را در دسترس قرار دهد اتومبیل، در خود مگافون رسانه های اجتماعی، و شاید به زودی در ربات ها.

ظهور مدل‌های زبانی بزرگ که توهم می‌کنند و پاسخ‌های نادرست یا مضر ارائه می‌دهند، منجر به بازگشت به تابلوی طراحی، اما برای بودجه بیشتر به اتاق هیئت مدیره شده است. صنعت فناوری به جای تولید یک محصول ایمن و اخلاقی، سعی می‌کند مدل‌های وحشی را رام کند، یا حداقل آن‌ها را به اندازه کافی از مشتریانی دور نگه دارد که می‌توانند بدون آسیب رساندن به کسی سرگردان شوند.

و اگر این کار نکرد، همیشه وجود دارد غرامت از ادعاهای قانونی، مشروط به شرایط خاص، از تامین کنندگان.

تعهدات صنعت به ایمنی هوش مصنوعی با خواسته‌های دولت مطابقت دارد. روز پنجشنبه در ایالات متحده، دفتر مدیریت و بودجه کاخ سفید (OMB) صادر شده اولین سیاست گسترده دولتی آن برای مقابله با خطرات هوش مصنوعی.

این سیاست از آژانس‌های فدرال می‌خواهد تا «هنگام استفاده از هوش مصنوعی به شیوه‌ای که می‌تواند بر حقوق یا ایمنی آمریکایی‌ها تأثیر بگذارد، تدابیر ملموسی را اجرا کنند.» این به معنای ارزیابی خطر، آزمایش و نظارت، تلاش برای محدود کردن تبعیض و تعصب، و ترویج است. شفافیت برای برنامه های کاربردی هوش مصنوعی در زمینه سلامت، آموزش، مسکن و اشتغال.

بنابراین مایکروسافت آخرین اقدامات ایمنی هوش مصنوعی خود را از طریق سارا برد، مدیر ارشد تولید هوش مصنوعی مسئول، عنوانی که حاکی از وجود هوش مصنوعی غیرمسئولانه است - اگر می‌توانید تصور کنید، به میان می‌آورد.

برد می‌گوید که رهبران کسب‌وکار سعی می‌کنند بین نوآوری و مدیریت ریسک تعادل برقرار کنند تا به آنها اجازه دهند که از هوش مصنوعی مولد استفاده کنند بدون اینکه توسط آن گاز گرفته شوند.

Bird توضیح می دهد: "حملات تزریق سریع به عنوان یک چالش مهم ظاهر شده اند، جایی که عوامل مخرب سعی می کنند یک سیستم هوش مصنوعی را برای انجام کاری خارج از هدف مورد نظر خود، مانند تولید محتوای مضر یا نفوذ به داده های محرمانه دستکاری کنند." پست های وبلاگ.

علاوه بر کاهش این خطرات امنیتی، سازمان‌ها به کیفیت و قابلیت اطمینان نیز توجه دارند. آنها می‌خواهند اطمینان حاصل کنند که سیستم‌های هوش مصنوعی آنها خطا ایجاد نمی‌کند یا اطلاعاتی را که در منابع داده‌ای برنامه ثابت نشده است اضافه نمی‌کند، که می‌تواند اعتماد کاربران را از بین ببرد.»

از آنجایی که ایمنی و دقت در هزینه اشتراک هوش مصنوعی لحاظ نشده است، مایکروسافت فرصتی را می بیند برای فروش آنها به عنوان یک افزونه

مشتریانی که از Azure AI Studio برای کمک به ایجاد برنامه های هوش مصنوعی مولد استفاده می کنند، می توانند منتظر چهار ابزار جدید باشند.

اول ، وجود دارد Prompt Shields، که قول کمک به دفاع در برابر حملات تزریق سریع را می دهد. قبلاً به عنوان تشخیص خطر فرار از زندان شناخته می شد و اکنون در پیش نمایش عمومی است، راهی برای کاهش خطر دخالت مستقیم و غیرمستقیم فوری در مدل های پایه است.

حملات مستقیم شامل اعلان‌ها (ورودی‌هایی) است که به گونه‌ای طراحی شده‌اند که مدل آموزش ایمنی خود را نادیده بگیرد. حملات غیرمستقیم به تلاش هایی برای ورود مخفیانه به یک مدل اشاره دارد. یکی از راه‌های انجام این کار ممکن است گنجاندن متن مخفی در ایمیل با آگاهی از این موضوع باشد که یک مدل هوش مصنوعی که از طرف گیرنده، مثلاً Copilot در Outlook عمل می‌کند، پیام را تجزیه می‌کند، متن پنهان را به عنوان یک دستور تفسیر می‌کند، و امیدواریم. طبق دستورالعمل‌ها عمل کنید، کاری مانند پاسخ دادن بی‌صدا با داده‌های حساس انجام دهید.

دوم این است تشخیص پایه، سیستمی برای تشخیص زمانی که مدل‌های هوش مصنوعی توهم می‌زنند یا چیزهایی را می‌سازند. در صورت شناسایی ادعای نادرست، چندین گزینه را به مشتریان ارائه می دهد، از جمله ارسال پاسخ برای بازبینی قبل از نمایش. مایکروسافت می‌گوید که این کار را با ساخت یک مدل زبان سفارشی که ادعاهای غیرقابل اثبات را بر اساس اسناد منبع ارزیابی می‌کند، انجام داده است. بنابراین، پاسخ ایمنی مدل هوش مصنوعی، شما حدس زدید، مدل دیگری است.

اگرچه این یک گام فوق العاده به سمت هوش مصنوعی قابل اعتماد است، اما مشکل هنوز حل نشده است

سوم، داریم ارزیابی های ایمنی به کمک هوش مصنوعی در AI Studio، که یک چارچوب آزمایشی برای ارائه الگوها و پارامترهای سریع برای مدل‌سازی ارائه می‌کند که تعاملات متخاصم مختلف را با برنامه مشتری آزمایش می‌کند. باز هم، این هوش مصنوعی برای آزمایش هوش مصنوعی است.

و سرانجام ، آنجا وجود دارد "ریسک ها و نظارت بر ایمنی"، یک ویژگی برای سرویس OpenAI Azure که معیارهای محتوای مضر را ارائه می دهد.

وینو سانکار ساداسیوان، دانشجوی دکترا در دانشگاه مریلند که به توسعه آن کمک کرد حمله جانوران در LLM، گفت ثبت نام که اگرچه دیدن ابزارهای ساخت Azure برای ایمن‌تر کردن هوش مصنوعی هیجان‌انگیز است، اما افزودن مدل‌های بیشتر به این ترکیب، سطح حمله احتمالی را گسترش می‌دهد.

او گفت: «ارزیابی‌های ایمنی Azure و ابزارهای نظارت بر ریسک و ایمنی برای بررسی قابلیت اطمینان مدل‌های هوش مصنوعی مهم هستند. اگرچه این یک گام فوق العاده به سمت هوش مصنوعی قابل اعتماد است، اما مشکل هنوز حل نشده است. به عنوان مثال، Prompt Shields که آنها معرفی می‌کنند احتمالاً از یک مدل هوش مصنوعی دیگر برای شناسایی و مسدود کردن حملات سریع غیرمستقیم استفاده می‌کنند. این مدل هوش مصنوعی می تواند در برابر تهدیداتی مانند حملات خصمانه آسیب پذیر باشد.

«دشمنان می‌توانند از این آسیب‌پذیری‌ها برای دور زدن Prompt Shields استفاده کنند. اگرچه پیام‌های سیستم ایمنی در برخی موارد مؤثر بوده‌اند، حملات موجود مانند BEAST می‌توانند به طور خصمانه به مدل‌های هوش مصنوعی حمله کنند تا در کمترین زمان آنها را از زندان فراری دهند. در حالی که اجرای سیستم‌های دفاعی برای سیستم‌های هوش مصنوعی مفید است، ضروری است که از معایب احتمالی آنها آگاه باشیم. ®

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/