जबकि ओपन एआई से चैटजीपीटी को सभी जेनरेटिव एआई टूल्स के सबसे बड़े मुख्यधारा के माइंडशेयर का आनंद मिलता है, इसका शीर्ष स्थान एआई शोधकर्ताओं द्वारा उपयोग किए जाने वाले लोकप्रिय क्राउडसोर्स लीडरबोर्ड पर बारहमासी दावेदार एंथ्रोपिक से टॉप-ऑफ़-द-लाइन क्लाउड 3 ओपस द्वारा चुरा लिया गया है।
चैटबॉट एरेना रैंकिंग में क्लाउड का आरोहण पहली बार है कि OpenAI का GPT-4, जो ChatGPT प्लस को शक्ति प्रदान करता है, पिछले साल मई में लीडरबोर्ड पर पहली बार दिखाई देने के बाद से हटा दिया गया है।
चैटबॉट एरिना लार्ज मॉडल सिस्टम्स ऑर्गनाइजेशन (एलएमएसवाईएस ओआरजी) द्वारा चलाया जाता है, जो एक शोध संगठन है जो ओपन मॉडल के लिए समर्पित है जो कैलिफोर्निया विश्वविद्यालय, बर्कले, यूसी सैन डिएगो और कार्नेगी मेलॉन विश्वविद्यालय में छात्रों और संकाय के बीच सहयोग का समर्थन करता है। प्लेटफ़ॉर्म उपयोगकर्ताओं को दो बिना लेबल वाले भाषा मॉडल प्रस्तुत करता है और उनसे किसी भी मानदंड के आधार पर बेहतर प्रदर्शन करने के लिए कहता है जो उन्हें उपयुक्त लगता है।
हजारों व्यक्तिपरक तुलनाओं को एकत्रित करने के बाद, चैटबॉट एरिना लीडरबोर्ड के लिए "सर्वश्रेष्ठ" मॉडल की गणना करता है, इसे समय के साथ अपडेट करता है।
प्रतिभागियों के अलग-अलग व्यक्तिगत स्वाद पर आधारित वह व्यक्तिपरक दृष्टिकोण, चैटबॉट एरेना को अन्य एआई बेंचमार्क से अलग करता है। मॉडल प्रशिक्षक एल्गोरिथम को मात देने के लिए अपने मॉडलों को तैयार करके "धोखा" नहीं दे सकते, जैसा कि वे मात्रात्मक बेंचमार्क के साथ कर सकते हैं। लोग जो पसंद करते हैं उसे मापकर, चैटबॉट एरेना एआई शोधकर्ताओं के लिए एक मूल्यवान, गुणात्मक संसाधन है।
प्लेटफ़ॉर्म उपयोगकर्ताओं की प्रतिक्रिया एकत्र करता है और इसे चलाता है ब्रैडली-टेरी सांख्यिकीय मॉडल किसी विशेष मॉडल द्वारा सीधी प्रतिस्पर्धा में दूसरों से बेहतर प्रदर्शन करने की संभावना का अनुमान लगाना। यह दृष्टिकोण एलो रेटिंग अनुमानों के लिए कॉन्फिडेंस इंटरवल रेंज सहित व्यापक आंकड़ों को तैयार करने में सक्षम बनाता है - वही तकनीक जिसका उपयोग शतरंज खिलाड़ियों के कौशल को मापने के लिए किया जाता है।
चैटबॉट एरेना द्वारा रैंक किए गए शीर्ष 10 एलएलएम। छवि: आलिंगनबद्ध चेहरा
क्लाउड 3 ओपस का शीर्ष पर पहुंचना लीडरबोर्ड पर एकमात्र महत्वपूर्ण विकास नहीं है। क्लॉड 3 सॉनेट (मध्यम आकार का मॉडल मुफ्त में उपलब्ध है) और क्लॉड 3 हाइकू (एक छोटा, तेज मॉडल), जिसे एंथ्रोपिक द्वारा भी विकसित किया गया है, वर्तमान में क्रमशः चौथे और छठे स्थान पर हैं।
लीडरबोर्ड में GPT-4 के विभिन्न संस्करण शामिल हैं, जैसे GPT-4-0314 (मार्च 4 से GPT-2023 का "मूल" संस्करण), GPT-4-0613, GPT-4-1106-पूर्वावलोकन, और GPT-4 -0125-पूर्वावलोकन (नवीनतम जीपीटी-4 टर्बो मॉडल जनवरी 2024 से एपीआई के माध्यम से उपलब्ध है)। रैंकिंग के अनुसार, सॉनेट और हाइकू दोनों मूल GPT-4 से बेहतर हैं, साथ ही सॉनेट ने जून 2023 में ओपनएआई द्वारा लॉन्च किए गए संशोधित संस्करण को भी पीछे छोड़ दिया है।
इसका मतलब यह भी है कि, दुख की बात है कि वर्तमान में शीर्ष 10 में केवल एक ओपन-सोर्स एलएलएम है: क्वेन, स्टार्लिंग 7बी और मिक्सट्रल 8x7बी शीर्ष 20 में एकमात्र अन्य ओपन मॉडल हैं।
GPT-4 की तुलना में क्लाउड के फायदों में से एक इसकी टोकन संदर्भ क्षमता और पुनर्प्राप्ति क्षमता है। क्लाउड 3 ओपस का सार्वजनिक संस्करण 200K से अधिक संभालता है - और संगठन का दावा है कि एक प्रतिबंधित संस्करण लगभग सही पुनर्प्राप्ति दरों के साथ 1 मिलियन टोकन को संभालने में सक्षम है। इसका मतलब यह है कि क्लाउड लंबे समय तक संकेतों को समझ सकता है और जानकारी को अधिक प्रभावी ढंग से बनाए रख सकता है GPT-4 टर्बो की तुलना में, जो 128K टोकन संभालता है और लंबे संकेतों के साथ अपनी पुनर्प्राप्ति क्षमताओं को खो देता है।
क्लाउड 3 ओपस बनाम जीपीटी-4 टर्बो की सटीकता को याद करें। एंथ्रोपिक और ग्रेग कामरेड के डेटा का उपयोग करके डिक्रिप्ट से छवि।
गूगल की मिथुन उन्नत एआई सहायक क्षेत्र में भी लोकप्रियता हासिल कर रहा है। कंपनी एक योजना पेश करती है जिसमें चैट जीपीटी प्लस सदस्यता ($2 प्रति माह) के समान कीमत पर Google उत्पादों के सूट में 20 टीबी स्टोरेज और एआई क्षमताएं शामिल हैं।
मुफ़्त जेमिनी प्रो वर्तमान में GPT-4 टर्बो और क्लाउड 4 सॉनेट के बीच चौथे स्थान पर है। टॉप-ऑफ़-द-लाइन जेमिनी अल्ट्रा मॉडल परीक्षण के लिए उपलब्ध नहीं है और अभी तक रैंकिंग में प्रदर्शित नहीं किया गया है।
