في العمق نشرت العديد من الشركات الكبرى كود المصدر الذي يشتمل على حزمة برامج كانت مهلوسة سابقًا بواسطة الذكاء الاصطناعي التوليدي.
ليس هذا فقط ولكن شخص ما لديه رصدت هذا وقد علمنا أن الهلوسة المتكررة قد حولت تلك التبعية المختلقة إلى تبعية حقيقية، والتي تم تنزيلها وتثبيتها لاحقًا آلاف المرات من قبل المطورين نتيجة لنصيحة الذكاء الاصطناعي السيئة. إذا كانت الحزمة مليئة ببرامج ضارة فعلية، بدلاً من كونها اختبارًا حميدًا، فقد تكون النتائج كارثية.
وفقًا لبار لانيادو، الباحث الأمني في Lasso Security، فإن إحدى الشركات التي خدعها الذكاء الاصطناعي لدمج الحزمة هي علي بابا، والتي في وقت كتابة هذا التقرير لا تزال تتضمن حزمة pip أمر لتحميل حزمة بايثون huggingface-cli في تقريرها مترجم الرسم البياني تعليمات التحميل.
هناك شرعي Huggingface-cli، تم التثبيت باستخدام pip install -U "huggingface_hub[cli]".
لكن huggingface-cli يتم توزيعه عبر Python Package Index (PyPI) ويتطلبه GraphTranslator الخاص بـ Alibaba - ويتم تثبيته باستخدام pip install huggingface-cli - مزيف، تخيله الذكاء الاصطناعي ثم تحول إلى حقيقة بواسطة لانيادو كتجربة.
ابتكر huggingface-cli في ديسمبر/كانون الأول بعد رؤيته يهلوس بشكل متكرر من قبل الذكاء الاصطناعي التوليدي؛ بحلول شهر فبراير من هذا العام، كانت شركة Alibaba تشير إليها في تعليمات README الخاصة بـ GraphTranslator بدلاً من أداة Hugging Face CLI الحقيقية.
دراسة
فعل Lanyado ذلك لاستكشاف ما إذا كانت هذه الأنواع من حزم البرامج المهلوسة - أسماء الحزم التي اخترعتها نماذج الذكاء الاصطناعي التوليدية، على الأرجح أثناء تطوير المشروع - تستمر بمرور الوقت ولاختبار ما إذا كان من الممكن اختيار أسماء الحزم المخترعة واستخدامها لتوزيع تعليمات برمجية ضارة عن طريق كتابة برامج فعلية الحزم التي تستخدم أسماء التعليمات البرمجية التي ابتكرها الذكاء الاصطناعي.
الفكرة هنا هي أن شخصًا شريرًا يمكنه أن يطلب نماذج للحصول على مشورة برمجية، ويقوم بتدوين الحزم المتخيلة التي توصي بها أنظمة الذكاء الاصطناعي مرارًا وتكرارًا، ثم يقوم بتنفيذ تلك التبعيات بحيث ينتهي الأمر بالمبرمجين الآخرين، عند استخدام نفس النماذج والحصول على نفس الاقتراحات، بالانسحاب تلك المكتبات، والتي قد تكون مسمومة بالبرامج الضارة.
العام الماضي، من خلال شركة الأمن فولكان سايبر، لانيادو نشرت بحث يوضح بالتفصيل كيف يمكن للمرء أن يطرح سؤال ترميز على نموذج الذكاء الاصطناعي مثل ChatGPT ويتلقى إجابة توصي باستخدام مكتبة برامج أو حزمة أو إطار عمل غير موجود.
وأوضح لانيادو: "عندما يدير المهاجم مثل هذه الحملة، فإنه سيطلب نموذجًا للحزم التي تحل مشكلة الترميز، ثم سيتلقى بعض الحزم غير الموجودة". السجل. "سيقوم بتحميل حزم ضارة بنفس الأسماء إلى السجلات المناسبة، ومن تلك النقطة فصاعدًا، كل ما عليه فعله هو انتظار قيام الأشخاص بتنزيل الحزم."
افتراضات خطيرة
رغبة نماذج الذكاء الاصطناعي في العمل بثقة استشهد بقضايا قضائية غير موجودة أصبح الآن معروفًا جيدًا ولم يسبب قدرًا كبيرًا من الإحراج بين المحامين غير المدركين لهذا الاتجاه. وكما اتضح، فإن نماذج الذكاء الاصطناعي التوليدية ستفعل الشيء نفسه بالنسبة لحزم البرامج.
وكما أشار Lanyado سابقًا، قد يستخدم أحد المجرمين اسمًا اخترعه الذكاء الاصطناعي لحزمة ضارة تم تحميلها إلى بعض المستودعات على أمل أن يقوم الآخرون بتنزيل البرامج الضارة. ولكن لكي يكون هذا ناقل هجوم ذا معنى، ستحتاج نماذج الذكاء الاصطناعي إلى التوصية بشكل متكرر بالاسم المختار.
هذا ما شرع لانيادو في اختباره. مسلحًا بآلاف الأسئلة "كيفية التنفيذ"، استفسر عن أربعة نماذج للذكاء الاصطناعي (GPT-3.5-Turbo، وGPT-4، وGemini Pro المعروف أيضًا باسم Bard، وCommand [Cohere]) فيما يتعلق بتحديات البرمجة في خمس لغات برمجة/أوقات تشغيل مختلفة (Python، Node.js وGo و.Net وRuby)، ولكل منها نظام التغليف الخاص بها.
لقد اتضح أن بعض الأسماء التي تسحبها روبوتات الدردشة هذه من لا شيء هي أسماء ثابتة، وبعضها عبر نماذج مختلفة. والمثابرة -تكرار الاسم المزيف- هي المفتاح لتحويل نزوة الذكاء الاصطناعي إلى هجوم وظيفي. يحتاج المهاجم إلى نموذج الذكاء الاصطناعي لتكرار أسماء الحزم المهلوسة في استجاباته للمستخدمين للبحث عن البرامج الضارة التي تم إنشاؤها تحت تلك الأسماء وتنزيلها.
اختار Lanyado 20 سؤالًا عشوائيًا للهلوسة الصفرية، وطرحها 100 مرة على كل نموذج. كان هدفه هو تقييم عدد المرات التي ظل فيها اسم الحزمة المهلوسة كما هو. تكشف نتائج اختباره أن الأسماء تكون ثابتة في كثير من الأحيان بما يكفي لتكون بمثابة ناقل هجوم وظيفي، ولكن ليس طوال الوقت، وفي بعض أنظمة التعبئة والتغليف البيئية أكثر من غيرها.
مع GPT-4، أنتجت 24.2% من إجابات الأسئلة حزمًا هلوسة، منها 19.6% كانت متكررة، وفقًا للانيادو. طاولة مقدمة ل السجلأدناه، يعرض تفصيلاً أكثر تفصيلًا لاستجابات GPT-4.
| بايثون | نود.جي إس | روبي | . NET | Go | |
|---|---|---|---|---|---|
| مجموع الأسئلة | 21340 | 13065 | 4544 | 5141 | 3713 |
| أسئلة تحتوي على حزمة هلوسة واحدة على الأقل | 5347 (25٪) | 2524 (19.3٪) | 1072 (23.5٪) | 1476 (28.7%) 1093 قابل للاستغلال (21.2%) | 1150 (30.9%) 109 قابل للاستغلال (2.9%) |
| الهلوسة في صفر طلقة | 1042 (4.8٪) | 200 (1.5٪) | 169 (3.7٪) | 211 (4.1%) 130 قابل للاستغلال (2.5%) | 225 (6%) 14 قابل للاستغلال (0.3%) |
| الهلوسة في الطلقة الثانية | 4532 (21٪) | 2390 (18.3٪) | 960 (21.1٪) | 1334 (25.9%) 1006 قابل للاستغلال (19.5%) | 974 (26.2%) 98 قابل للاستغلال (2.6%) |
| التكرار في طلقة صفر | 34.4% | 24.8% | 5.2% | 14% | - |
مع GPT-3.5، 22.2% من إجابات الأسئلة أثارت الهلوسة، مع 13.6% تكرار. بالنسبة لـ جيميني، 64.5 من الأسئلة جلبت أسماء مخترعة، حوالي 14% منها مكررة. وبالنسبة لكوهيري، كانت نسبة الهلوسة 29.1%، والتكرار 24.2%.
ومع ذلك، فقد تم بناء أنظمة التعبئة والتغليف في Go و.Net بطرق تحد من احتمالية الاستغلال من خلال حرمان المهاجمين من الوصول إلى مسارات وأسماء معينة.
وأوضح لانيادو قائلاً: "في Go و.Net، تلقينا حزمًا مهلوسة ولكن الكثير منها لا يمكن استخدامه للهجوم (في Go كانت الأرقام أكثر أهمية بكثير مما كانت عليه في .Net)، ولكل لغة سببها الخاص". السجل. "في Python وnpm، ليس الأمر كذلك، حيث يوصينا النموذج بحزم غير موجودة ولا شيء يمنعنا من تحميل الحزم بهذه الأسماء، لذا فمن المؤكد أنه من الأسهل بكثير تشغيل هذا النوع من الهجوم على لغات مثل بايثون وNode.js."
زرع البرمجيات الخبيثة PoC
لقد أوضح Lanyado هذه النقطة من خلال توزيع برامج ضارة لإثبات المفهوم - وهي مجموعة غير ضارة من الملفات في نظام Python البيئي. بناءً على نصيحة ChatGPT للتشغيل pip install huggingface-cli، قام بتحميل حزمة فارغة تحمل نفس الاسم إلى PyPI - الحزمة المذكورة أعلاه - وأنشأ حزمة وهمية باسم blabladsa123 للمساعدة في فصل فحص تسجيل الحزمة عن محاولات التنزيل الفعلية.
والنتيجة، كما يدعي، هي ذلك huggingface-cli تلقى أكثر من 15,000 عملية تنزيل أصلية في الأشهر الثلاثة التي كانت متاحة فيها.
وقال لانيادو: "بالإضافة إلى ذلك، أجرينا بحثًا على GitHub لتحديد ما إذا كانت هذه الحزمة قد تم استخدامها داخل مستودعات الشركات الأخرى". الكتابة لتجربته.
"كشفت النتائج التي توصلنا إليها أن العديد من الشركات الكبيرة إما تستخدم هذه الحزمة أو توصي بها في مستودعاتها. على سبيل المثال، يمكن العثور على تعليمات تثبيت هذه الحزمة في الملف التمهيدي (README) الخاص بالمستودع المخصص للأبحاث التي تجريها شركة علي بابا.
ولم ترد علي بابا على طلب للتعليق.
قال Lanyado أيضًا أن هناك مشروعًا مملوكًا لـ Hugging Face يتضمن Huggingface-cli المزيف، لكن ذلك تمت إزالة بعد أن نبه بيز.
حتى الآن على الأقل، لم يتم استخدام هذه التقنية في هجوم فعلي يعرفه Lanyado.
وقال: "إلى جانب حزمتنا المهلوسة (حزمتنا ليست ضارة، إنها مجرد مثال على مدى سهولة وخطورة الاستفادة من هذه التقنية)، لم أتمكن بعد من تحديد استغلال تقنية الهجوم هذه من قبل الجهات الخبيثة". "من المهم أن نلاحظ أن تحديد مثل هذا الهجوم أمر معقد، لأنه لا يترك الكثير من الخطوات." ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/
