استارت‌آپ سخت‌افزار آمریکایی Cerebras ادعا می‌کند که بزرگترین مدل هوش مصنوعی را بر روی یک دستگاه منفرد که توسط بزرگترین تراشه Wafer Scale Engine 2 در جهان به اندازه یک بشقاب طراحی شده است، آموزش داده است.

با استفاده از پلتفرم نرم افزاری Cerebras (CSoft)، مشتریان ما می توانند به راحتی مدل های پیشرفته زبان GPT (مانند GPT-3 و GPT-J) را با حداکثر 20 میلیارد پارامتر در یک سیستم CS-2 آموزش دهند. " شرکت ادعا کرد که این هفته. این مدل‌ها با استفاده از یک CS-2، چند دقیقه طول می‌کشند تا راه‌اندازی شوند و کاربران می‌توانند به سرعت بین مدل‌ها تنها با چند ضربه کلید حرکت کنند.»

CS-2 دارای 850,000 هسته است و 40 گیگابایت حافظه داخلی دارد که می‌تواند به پهنای باند حافظه 20 PB/s برسد. مشخصات انواع دیگر شتاب‌دهنده‌های هوش مصنوعی و پردازنده‌های گرافیکی در مقایسه کمرنگ است، به این معنی که مهندسان یادگیری ماشین باید مدل‌های هوش مصنوعی عظیم را با میلیاردها پارامتر در سرورهای بیشتری آموزش دهند.

اگرچه سربراس ظاهراً موفق شده است بزرگترین مدل را روی یک دستگاه آموزش دهد، اما همچنان برای جلب نظر مشتریان بزرگ هوش مصنوعی تلاش خواهد کرد. این روزها بزرگترین سیستم های شبکه عصبی حاوی صدها میلیارد تا تریلیون پارامتر هستند. در واقع، سیستم‌های CS-2 بیشتری برای آموزش این مدل‌ها مورد نیاز است. 

مهندسان یادگیری ماشین احتمالاً با چالش‌هایی مشابه با چالش‌هایی مواجه می‌شوند که قبلاً در هنگام توزیع آموزش روی ماشین‌های متعددی که دارای GPU یا TPU هستند – پس چرا به یک سیستم سخت‌افزاری کمتر آشنا که پشتیبانی نرم‌افزاری زیادی ندارد تغییر دهید؟

شگفتی، تعجب: رباتی که بر روی داده های اینترنتی آموزش دیده بود، نژادپرست و جنسیت بود

روباتی که بر روی یک مجموعه داده معیوب که از اینترنت استخراج شده بود، آموزش دیده بود، در آزمایشی رفتارهای نژادپرستانه و جنسیتی را نشان داد.

محققان دانشگاه جان هاپکینز، موسسه فناوری جورجیا و دانشگاه واشنگتن به روباتی دستور دادند که بلوک ها را در یک جعبه قرار دهد. این بلوک ها با تصاویری از صورت انسان چسبانده شده بودند. به ربات دستور داده شد تا بلوکی را که معتقد بود پزشک، خانه‌دار یا مجرم است در جعبه‌ای رنگی قرار دهد.

این ربات با یک مدل بینایی کامپیوتری مبتنی بر CLIP که اغلب در سیستم های متن به تصویر استفاده می شود، نیرو می گیرد. این مدل ها برای یادگیری نگاشت بصری یک شی با توضیحات کلمه آن آموزش داده شده اند. با توجه به عنوان، سپس می تواند تصویری مطابق با جمله ایجاد کند. متأسفانه، این مدل ها اغلب همان تعصبات موجود در داده های آموزشی خود را نشان می دهند. 

برای مثال، این روبات بیشتر از مردان سفیدپوست، بلوک‌هایی را که چهره زنان دارند به‌عنوان خانه‌دار شناسایی می‌کرد، یا چهره‌های سیاه‌پوست را به عنوان مجرم معرفی می‌کرد. همچنین به نظر می‌رسد که این دستگاه به نفع زنان و کسانی است که پوست تیره‌تری نسبت به مردان سفیدپوست و آسیایی دارند. اگرچه این تحقیق فقط یک آزمایش است، اما استقرار ربات‌هایی که بر روی داده‌های ناقص آموزش دیده‌اند می‌تواند عواقبی در زندگی واقعی داشته باشد.

ویکی زنگ، دانشجوی فارغ التحصیل رشته علوم کامپیوتر در دانشگاه جان هاپکینز، می گوید: «در یک خانه شاید ربات در حال برداشتن عروسک سفید است که بچه ای عروسک زیبا را درخواست می کند. گفت:. یا شاید در انباری که در آن محصولات زیادی با مدل‌های روی جعبه وجود دارد، می‌توانید تصور کنید که ربات بیشتر به محصولاتی با صورت‌های سفید روی آن‌ها دست می‌برد.

بزرگترین مدل زبان منبع باز منتشر شد

شرکت اینترنتی روسی Yandex کد یک مدل زبان 100 میلیارد پارامتری را این هفته منتشر کرد.

سیستم، به نام YaLM، بر روی 1.7 ترابایت داده متنی خراشیده شده از اینترنت آموزش داده شد و برای محاسبه به 800 پردازنده گرافیکی Nvidia A100 نیاز داشت. جالب اینجاست که رمز تحت مجوز Apache 2.0 منتشر شد، به این معنی که این مدل می تواند برای اهداف تحقیقاتی و تجاری استفاده شود.

دانشگاهیان و توسعه‌دهندگان از تلاش‌ها برای تکرار و باز کردن مدل‌های زبان بزرگ استقبال کرده‌اند. ساخت این سیستم ها چالش برانگیز است و معمولاً فقط شرکت های بزرگ فناوری منابع و تخصص لازم برای توسعه آنها را دارند. آنها اغلب انحصاری هستند و بدون دسترسی مطالعه آنها دشوار است.

یکی از سخنگویان Yandex گفت: "ما واقعاً معتقدیم که پیشرفت فناوری جهانی تنها از طریق همکاری امکان پذیر است." ثبت نام. شرکت های بزرگ فناوری مدیون نتایج آشکار محققان هستند. با این حال، در سال‌های اخیر، فن‌آوری‌های پیشرفته NLP، از جمله مدل‌های زبان بزرگ، برای جامعه علمی غیرقابل دسترس شده‌اند، زیرا منابع برای آموزش فقط در دسترس فناوری‌های بزرگ است.

"محققان و توسعه دهندگان در سراسر جهان نیاز به دسترسی به این راه حل ها دارند. بدون تحقیقات جدید، رشد کاهش خواهد یافت. تنها راه جلوگیری از این امر، به اشتراک گذاری بهترین شیوه ها با جامعه است. ما با به اشتراک گذاشتن مدل زبان خود از سرعت توسعه NLP جهانی حمایت می کنیم.

اینستاگرام از هوش مصنوعی برای تایید سن کاربران استفاده می کند

شرکت والدین اینستاگرام، متا، در حال آزمایش روش‌های جدیدی است تا تأیید کند که کاربرانش ۱۸ سال به بالا هستند، از جمله استفاده از هوش مصنوعی برای تجزیه و تحلیل عکس‌ها.

تحقیقات و شواهد حکایتی نشان داده است که استفاده از رسانه های اجتماعی می تواند برای کودکان و نوجوانان جوان مضر باشد. کاربران در اینستاگرام تاریخ تولد خود را برای تأیید سن کافی برای استفاده از این برنامه ارائه می کنند. شما باید حداقل 13 سال داشته باشید و محدودیت های بیشتری برای افراد زیر 18 سال وجود دارد.

اکنون، شرکت مادرش متا در حال تلاش از سه راه مختلف است تا در صورت تغییر تاریخ تولد فردی بالای 18 سال را تأیید کند. 

اگر فردی در سنین زیر 18 تا 18 سال یا بیشتر سعی کند تاریخ تولد خود را در اینستاگرام ویرایش کند، از او می‌خواهیم سن خود را با استفاده از یکی از سه گزینه تأیید کند: شناسه خود را آپلود کند، یک سلفی ویدیویی ضبط کند یا از دوستان مشترک بپرسد. برای بررسی سن آنها،” این شرکت اعلام کرد این هفته است.

متا گفت که با Yoti، یک پلتفرم هویت دیجیتال، برای تجزیه و تحلیل سن افراد شریک شده است. تصاویر سلفی ویدیویی توسط نرم افزار Yoti برای پیش بینی سن افراد مورد بررسی قرار می گیرد. متا گفت که یوتی از «مجموعه داده‌ای بر روی تصاویر ناشناس افراد مختلف از سراسر جهان» استفاده می‌کند.

به گفته محققان، GPT-4chan ایده بدی بود

صدها نفر از دانشگاهیان نامه ای را در محکومیت امضا کرده اند GPT-4chan، مدل زبان هوش مصنوعی در بیش از 130 میلیون پست در صفحه پیام های اینترنتی بدنام 4chan آموزش دیده است.

"مدل های زبان بزرگ و به طور کلی مدل های پایه، فناوری های قدرتمندی هستند که خطر بالقوه آسیب های قابل توجهی را به همراه دارند." نامه، به رهبری دو استاد دانشگاه استنفورد آغاز شد. متأسفانه، ما، جامعه هوش مصنوعی، در حال حاضر فاقد هنجارهای جامعه در مورد توسعه و استقرار مسئولانه آنها هستیم. با این وجود، برای اعضای جامعه هوش مصنوعی ضروری است که اقدامات آشکارا غیرمسئولانه را محکوم کنند.»

این نوع از سیستم ها بر روی مقادیر زیادی متن آموزش می بینند و یاد می گیرند که داده ها را تقلید کنند. GPT-4chan را به چیزی که شبیه یک مکالمه بین کاربران اینترنتی است، تغذیه کنید، و شایعات جعلی بیشتری به این ترکیب اضافه خواهد کرد. 4chan به دلیل داشتن قوانین متعادل کننده محتوا بدنام است - کاربران ناشناس هستند و می توانند هر چیزی را تا زمانی که غیرقانونی نباشد پست کنند. بدون تعجب، GPT-4chan نیز شروع به انتشار متنی با سطوح سمی و محتوای مشابه کرد. وقتی روی 4chan آزاد شد، برخی از کاربران مطمئن نبودند که آیا ربات است یا نه.

اکنون، کارشناسان، سازنده آن، یوتیوبر، یانیک کیلچر، را به دلیل استفاده غیر مسئولانه از این مدل مورد انتقاد قرار داده اند. می‌توان یک مورد معقول برای آموزش یک مدل زبانی در گفتار سمی تصور کرد - برای مثال، برای تشخیص و درک سمیت در اینترنت، یا برای تجزیه و تحلیل کلی. با این حال، تصمیم کیلچر برای استقرار این ربات هیچ آزمون منطقی را برآورده نمی کند. اقدامات او مستحق سرزنش است. او عملکرد مسئولانه علم هوش مصنوعی را تضعیف می کند.» در پایان نامه آمده است. ®