هوش داده افلاطون
جستجوی عمودی و هوش مصنوعی

مهندس مایکروسافت می گوید که تولید تصویر Copilot یک مشکل است

تاریخ:

یک مهندس یادگیری ماشین در مایکروسافت که از آنچه که ادعا می کند پاسخ ندادن به نگرانی های ایمنی جدی اش در مورد ابزار تبدیل متن به تصویر Copilot ناراضی است، ادعاهای خود را علنی کرده است.

شین جونز، مدیر مهندسی هوش مصنوعی در غول ویندوز، امروز به اشتراک گذاشته شد نامه هایی که او برای هیئت مدیره مایکروسافت و رئیس FTC، لینا خان ارسال کرد. 

در این پیام‌ها، جونز ادعا می‌کند که در حین کار به‌عنوان یک داوطلب تیم قرمز در حال آزمایش DALL-E 3 OpenAI، که طراح Copilot مایکروسافت برای تولید تصاویر از متن استفاده می‌کند، آسیب‌پذیری‌هایی پیدا کرده است که به او اجازه می‌دهد نرده‌های ایمنی را دور بزند و تصاویر متفاوتی تولید کند. . جونز مشکلات را «سیستمیک» توصیف می‌کند، اما می‌گوید نه مایکروسافت و نه OpenAI به آنها رسیدگی نمی‌کنند.

در داخل شرکت به خوبی از مسائل سیستمی آگاه است

جونز در نامه خود به FTC، سازمان نظارت بر مصرف کنندگان آمریکا، به خان گفت: «در حالی که مایکروسافت به طور عمومی Copilot Designer را به عنوان یک محصول ایمن هوش مصنوعی برای استفاده همه، از جمله کودکان در هر سنی، بازاریابی می کند، در داخل شرکت به خوبی از مسائل سیستمیک آگاه است. 

جونز افزود: «در طول سه ماه گذشته، من بارها از مایکروسافت خواسته‌ام که Copilot Designer را از استفاده عمومی حذف کند تا زمانی که حفاظت‌های بهتری اعمال شود. آنها در اجرای این تغییرات شکست خورده اند ادامه دادن برای بازاریابی محصول به هر کسی. هر جا. هر دستگاهی." 

عینیت، خشونت و وکلا

As رجیستر خوانندگان خوب می دانند، مایکروسافت فشار آورده است Copilot با همکاری OpenAI، که فناوری هوش مصنوعی مولد زیربنایی را تامین می‌کند و آن را به تمام گوشه‌های امپراتوری نرم‌افزار خود، از ویندوز گرفته تا Azure تزریق می‌کند. از Copilot می توان برای پاسخ دادن به سوالات، جستجوی اطلاعات، تولید تصاویر، کد و نثر و غیره، دادن یا گرفتن توهم استفاده کرد.

به گفته جونز، او آسیب‌پذیری بای پس حفاظ خود را در اوایل دسامبر کشف کرد و آن را به همتایان خود در مایکروسافت گزارش داد. 

در میان یافته‌های جونز این واقعیت وجود داشت که «DALLE-E 3 تمایل دارد به طور ناخواسته تصاویری را درج کند که زنان را از نظر جنسی عینیت می‌بخشد، حتی زمانی که درخواست ... کاملاً خوش‌خیم است». برای مثال، «حادثه اتومبیل» سریع، تصاویری از زنی که چیزی جز لباس زیر به تن ندارد و در مقابل یک ماشین زانو زده است، یا زنانی که لباس زیر زنانه با وسایل نقلیه شکسته عکس گرفته اند، را نشان می دهد. 

گفتن به Copilot Designer برای تولید تصاویری از "نوجوانانی که با تفنگ های تهاجمی بازی می کنند" نیز در صورت درخواست چنین تصاویری را ایجاد کرد که جونز گفت با توجه به وضعیت خشونت با اسلحه در ایالات متحده نامناسب است - البته اگر منصفانه باشیم، این درخواست دقیقاً بی خطر نیست. بالاخره آمریکاست

جونز گفت، استفاده از اعلان‌های ساده مانند «انتخاب حرفه‌ای» تصاویری «بی‌حساس یا کاملاً هشداردهنده» را نشان داد. در یک مصاحبه با CNBC، جونز گفت که درخواست با مضمون سقط جنین تصاویری از شیاطین در حال خوردن نوزادان و «دستگاه مته‌مانندی با عنوان «انتخاب حرفه‌ای» که بر روی یک نوزاد کاملاً بالغ استفاده می‌شود، از جمله موارد دیگر را نشان می‌دهد. 

و به گفته جونز، Copilot با خوشحالی تصاویری را که حاوی تصاویر دارای حق چاپ هستند، مانند صحنه‌هایی که السا را ​​از فیلم کودکانه Frozen به تصویر می‌کشد، بیرون می‌دهد.

هنگامی که این نگرانی ها در پایان سال گذشته مورد توجه مایکروسافت قرار گرفت، به جونز گفته شد که آن را به OpenAI برساند. به گفته جونز، او هرگز از OpenAI چیزی نشنید، بنابراین در 14 دسامبر نامه ای سرگشاده به هیئت مدیره OpenAI در لینکدین ارسال کرد.

پاسخی دریافت کرد، اما نه آن چیزی که او امیدوار بود. او به جای شنیدن از OpenAI، از وکلای مایکروسافت شنید که به او گفتند آن را حذف کند. 

جونز امروز در یادداشت خود به هیئت مدیره مایکروسافت گفت: اندکی پس از افشای نامه به مایکروسافت، مدیر من با من تماس گرفت و به من گفت که [حقوقی مایکروسافت] از من خواسته است که پست را حذف کنم، که من با اکراه انجام دادم. 

جونز ادعا می‌کند: «با وجود تلاش‌های متعدد برای بحث مستقیم این موضوع با [حقوقی مایکروسافت]، آنها از برقراری ارتباط مستقیم با من خودداری می‌کنند. "تا به امروز، من هنوز نمی دانم که آیا مایکروسافت نامه من را به هیئت مدیره OpenAI تحویل داده است یا آنها برای جلوگیری از پوشش منفی مطبوعات مجبورم کرده اند آن را حذف کنم." 

جونز از آن زمان این موضوع را به قانونگذاران در مجلس سنا و مجلس نمایندگان ایالات متحده رسانده است که به گفته او منجر به جلسات بعدی با اعضای کمیته بازرگانی، علم و حمل و نقل سنا شده است. 

جونز گفت: «من تلاش‌های فوق‌العاده‌ای انجام داده‌ام تا سعی کنم این موضوع را در داخل مطرح کنم [اما] این شرکت طراح Copilot را از استفاده عمومی حذف نکرده یا اطلاعات افشای مناسبی را روی محصول اضافه نکرده است.» 

ما از مایکروسافت توضیح خواستیم و یک سخنگوی به ما گفت:

ما متعهد به رسیدگی به هر و همه نگرانی های کارکنان مطابق با سیاست های شرکت خود هستیم و از تلاش کارمندان در مطالعه و آزمایش آخرین فناوری خود برای افزایش ایمنی آن قدردانی می کنیم.

هنگامی که صحبت از دور زدن ایمنی یا نگرانی هایی می شود که می تواند تأثیر بالقوه ای بر خدمات ما یا شرکای ما داشته باشد، ما ابزارهای بازخورد کاربر درون محصول و کانال های گزارش دهی داخلی قوی ایجاد کرده ایم تا به درستی بررسی، اولویت بندی و رفع مشکلات صورت گیرد، که توصیه می کنیم کارمند استفاده می کند تا بتوانیم نگرانی های او را به درستی تایید و آزمایش کنیم.

ما همچنین جلساتی را با رهبری محصول و دفتر هوش مصنوعی مسئول خود برای بررسی این گزارش‌ها تسهیل کرده‌ایم و به طور مداوم این بازخوردها را برای تقویت سیستم‌های ایمنی موجود برای ارائه یک تجربه ایمن و مثبت برای همه در نظر می‌گیریم.

جونز برای اظهار نظر بیشتر در دسترس نبود. OpenAI هم نبود.

بازی گوگل، پس بهانه مایکروسافت و OpenAI چیست؟

شایان ذکر است که عدم پاسخگویی مایکروسافت به ایمنی بالقوه در اجرای Copilot Designer از DALL-E 3 برعکس واکنش گوگل به شکایات مشابه در مورد تولید تصاویر مشکل ساز Gemini است. 

جمینی توسط کاربران اینترنتی در حال تولید تصاویر افراد رنگین پوست در زمینه های نادرست، مانند خدمت در نیروهای مسلح آلمان نازی یا به عنوان پدران بنیانگذار ایالات متحده، دستگیر شد. این مدل که از تاریخ سفیدشویی وحشت کرده بود و مردم را در صحنه های تاریخی جایی که به آنها تعلق ندارند قرار می داد، بیش از حد جبران کرد و ظاهراً مردم قفقازی را تقریباً به طور کامل پاک کرد.

در پاسخ، گوگل مکث کرد قابلیت های متن به تصویر Gemini از افراد برای دادن زمان به مهندسان برای کالیبره مجدد نرم افزار آن.

جونز گفت: «در این مرحله مهم در پیشرفت [AI]، بسیار مهم است که مایکروسافت به مشتریان، کارمندان، سهامداران، شرکا و جامعه خود نشان دهد که ما متعهد به تضمین ایمنی و شفافیت هوش مصنوعی هستیم. 

با این حال، ممکن است دشوار باشد، زیرا جونز ادعا کرد که مایکروسافت حتی ابزارهای گزارش دهی مناسبی برای برقراری ارتباط با مشکلات احتمالی با محصولات هوش مصنوعی بیز ندارد. 

جونز در نامه خود به هیئت مدیره مایکروسافت به این عدم نظارت اشاره کرد و توضیح داد که دفتر هوش مصنوعی مسئول این شرکت هیچ ابزار گزارشگری به جز نام مستعار ایمیلی که به پنج کارمند مایکروسافت حل می شود، ندارد. جونز گفت که یکی از مدیران ارشد طراح Copilot به او گفته است که دفتر هوش مصنوعی مسئول مسائل را برای آنها ارسال نکرده است. 

جونز به هیئت مدیره مایکروسافت گفت: «از آنجایی که [هوش مصنوعی] امسال به سرعت پیشرفت می کند، قبل از سرمایه گذاری در ساخت زیرساخت های مورد نیاز برای ایمن نگه داشتن محصولات و مصرف کنندگان، نباید منتظر یک حادثه بزرگ باشیم. ®

نقطه_img

جدیدترین اطلاعات

نقطه_img

چت با ما

سلام! چگونه می توانم به شما کمک کنم؟