অ্যানালিটিক্স প্ল্যাটফর্ম ডেটাব্রিক্স একটি ওপেন সোর্স ফাউন্ডেশনাল বৃহৎ ভাষার মডেল চালু করেছে, আশা করা হচ্ছে যে এন্টারপ্রাইজগুলি এলএলএম ব্যান্ডওয়াগনের উপর ঝাঁপিয়ে পড়ার জন্য এর সরঞ্জামগুলি ব্যবহার করতে বেছে নেবে।
অ্যাপাচি স্পার্কের আশেপাশে প্রতিষ্ঠিত বিজটি তার সাধারণ-উদ্দেশ্য LLM - DBRX নামে ডাকা - ভাষা বোঝার, প্রোগ্রামিং এবং গণিতের উপর ওপেন সোর্স প্রতিদ্বন্দ্বীদের পরাজিত করে দাবি করে বেশ কয়েকটি বেঞ্চমার্ক প্রকাশ করেছে৷ ডেভেলপারও দাবি করেছে যে এটি একই ব্যবস্থা জুড়ে OpenAI এর মালিকানাধীন GPT-3.5 কে হারিয়েছে।
DBRX মোজাইক এআই দ্বারা তৈরি করা হয়েছিল, যা ডেটাব্রিক্স অর্জিত $1.3 বিলিয়নের জন্য, এবং Nvidia DGX ক্লাউডে প্রশিক্ষিত। ডেটাব্রিক্স দাবি করে যে এটি দক্ষতার জন্য ডিবিআরএক্সকে অপ্টিমাইজ করেছে যা একে বিশেষজ্ঞদের মিশ্রণ (MoE) আর্কিটেকচার বলে – যেখানে একাধিক বিশেষজ্ঞ নেটওয়ার্ক বা শিক্ষার্থীরা একটি সমস্যাকে ভাগ করে।
ডেটাব্রিক্স ব্যাখ্যা করেছে যে মডেলটিতে 132 বিলিয়ন প্যারামিটার রয়েছে, তবে যে কোনও একটি ইনপুটে মাত্র 36 বিলিয়ন সক্রিয়।
জোয়েল মিনিক, ডেটাব্রিক্স মার্কেটিং ভাইস প্রেসিডেন্ট, বলেছেন নিবন্ধনকর্মী: "এটি একটি বড় কারণ যে মডেলটি এটির মতো দক্ষতার সাথে চালাতে সক্ষম হয়, তবে এটি উজ্জ্বলভাবে দ্রুত চলে। ব্যবহারিক পরিভাষায়, আপনি যদি আজকের যে কোনো ধরনের বড় চ্যাটবট ব্যবহার করেন, তাহলে আপনি সম্ভবত অপেক্ষা করতে এবং উত্তরটি জেনারেট হওয়া দেখতে অভ্যস্ত। DBRX এর সাথে এটি তাত্ক্ষণিক কাছাকাছি।"
কিন্তু মডেলের কর্মক্ষমতা নিজেই Databricks জন্য বিন্দু নয়. বিজ, সর্বোপরি, ডিবিআরএক্স এর জন্য উপলব্ধ করে GitHub-এ বিনামূল্যে এবং আলিঙ্গন মুখ.
ডেটাব্রিক্স আশা করছে গ্রাহকরা তাদের নিজস্ব এলএলএম-এর ভিত্তি হিসেবে মডেলটি ব্যবহার করবেন। যদি এটি ঘটে তবে এটি গ্রাহকের চ্যাটবট বা অভ্যন্তরীণ প্রশ্নের উত্তর উন্নত করতে পারে, পাশাপাশি ডেটাব্রিক্সের মালিকানাধীন সরঞ্জামগুলি ব্যবহার করে কীভাবে ডিবিআরএক্স তৈরি করা হয়েছিল তাও দেখায়।
ডেটাব্রিক্স ডেটাসেটকে একত্রিত করে যেখান থেকে ডেটা প্রক্রিয়াকরণের জন্য Apache Spark এবং Databricks নোটবুক ব্যবহার করে DBRX তৈরি করা হয়েছিল, ডেটা ম্যানেজমেন্ট এবং গভর্নেন্সের জন্য ইউনিটি ক্যাটালগ এবং এক্সপেরিমেন্ট ট্র্যাকিংয়ের জন্য MLflow।
মিনিক প্রকাশ করেছেন যে এলএলএম-এ এন্টারপ্রাইজ বিনিয়োগ তৃতীয় পক্ষের মালিকানা এবং শাসনের ভয়ের কারণে বিলম্বিত হয়েছিল। "তৃতীয় পক্ষের কাছে ডেটা স্থানান্তরিত করা, মডেলের ওজনের উপর মালিকানা না থাকা, শেষ থেকে শেষ পর্যন্ত ডেটার শাসনকে সম্পূর্ণরূপে নিয়ন্ত্রণ করতে না পারা - এই জিনিসগুলি তাদের ধীর করে দেয়," তিনি ব্যাখ্যা করেছিলেন।
"আমরা যা তৈরি করার জন্য সেট করেছি তা ছিল একটি অত্যন্ত দক্ষ … মডেল যা এন্টারপ্রাইজগুলি যেতে এবং তাদের নিজস্ব নির্দিষ্ট ব্যবহারের ক্ষেত্রে তাদের নিজস্ব অ্যাপ্লিকেশন আনতে ব্যবহার করতে পারে।"
অ্যামালগাম ইনসাইটস-এর সিইও এবং প্রধান বিশ্লেষক হিউন পার্ক, ডিবিআরএক্সের তাৎপর্য পর্যবেক্ষণ করেছেন যে ডেটাব্রিক্স কীভাবে মডেলটি তৈরি করা হয়েছিল, ধাপে ধাপে, অন্যান্য উদ্যোগগুলি অনুসরণ করার জন্য একটি প্রক্রিয়া হিসাবে এবং সূক্ষ্ম সুর দেখাতে পারে।
"এন্ড-টু-এন্ড মডেল টিউনিং, টেস্টিং এবং অপারেশনালাইজেশনে বংশ, দৃশ্যমানতা, পুনরাবৃত্তিযোগ্যতা এবং মডেল মালিকানার সমন্বয় গুরুত্বপূর্ণ।"
পার্ক উল্লেখ করেছেন যে তিনি বুঝতে পেরেছেন যে ডেটাব্রিক্স ইতিমধ্যে ক্লায়েন্টদের জন্য 50,000 টিরও বেশি কাস্টম মডেল তৈরি করেছে। "এটি হল মডেল নির্মাণের অভিজ্ঞতা এবং সেরা ব্যক্তিগত এবং ওপেন সোর্স প্রচেষ্টার সাথে সমানভাবে উচ্চ পারফরম্যান্সকারী মডেলের সাথে এটি করার ক্ষমতার সমন্বয় যা এই ঘোষণাটিকে একটি এন্টারপ্রাইজ আইটি দৃষ্টিকোণ থেকে আমার কাছে উল্লেখযোগ্য করে তোলে।"
DBRX খবর Databricks-এর জন্য পরিবর্তিত প্রতিযোগিতামূলক পটভূমির বিরুদ্ধে চলে। মাইক্রোসফ্টের সাথে বিজটির একটি দীর্ঘমেয়াদী কৌশলগত অংশীদারিত্ব রয়েছে, যার ফলস্বরূপ Azure Databricks – যেখানে ব্যবহারকারীদের প্রতিশ্রুতি দেওয়া হয়েছে যে রেডমন্ড জায়ান্টের ক্লাউড প্ল্যাটফর্মের সাথে ঘনিষ্ঠভাবে আবদ্ধ একীভূত ডেটা পরিষেবা।
কিন্তু 2017 সালে অফারটি চালু হওয়ার পর থেকে, মাইক্রোসফ্ট ডেটাব্রিক্সের লেকহাউস বাজারে চলে এসেছে - যেখানে ব্যবহারকারীদের ডেটা গুদামজাতকরণ এবং ডেটা লেকগুলি এক পরিবেশে দেওয়া হয় - এবং ব্যবহারকারীদের এন্টারপ্রাইজ-গ্রেড এলএলএমগুলির সাথে প্রতিশ্রুতি দেয় তার $10 বিলিয়ন OpenAI অংশীদারিত্ব। তার ফ্যাব্রিক পরিবেশে, মাইক্রোসফ্টও অফার করতে পারে এর লেনদেন সংক্রান্ত ডাটাবেস সিস্টেম Azure Cosmos DB এবং Azure SQL DB থেকে "মিররিং", ডেটা সরানো ছাড়াই অ্যানালিটিক্স পরিষেবাগুলিতে অ্যাক্সেস অফার করে৷
ডাটাব্রিক্স এবং মাইক্রোসফ্ট উভয়ের কৌশল নিয়ে একটি উন্মুক্ত প্রশ্ন ঝুলছে যখন এলএলএম প্রযুক্তিতে প্রত্যাশিত বিনিয়োগের বন্যা আসতে চলেছে। জানুয়ারীতে, গার্টনার পূর্বাভাস প্রযুক্তির উপর এন্টারপ্রাইজ খরচ এই বছর আসবে না, এবং অন্যান্য আইটি বিনিয়োগের উপর সামান্য প্রভাব ফেলবে। ®
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://go.theregister.com/feed/www.theregister.com/2024/03/28/databricks_dbrx_llm/
