ایمیزون سیج میکر آٹو پائلٹ، ایک کم کوڈ مشین لرننگ (ML) سروس جو خود بخود ٹیبلر ڈیٹا کی بنیاد پر بہترین ML ماڈلز بناتی، ٹریننگ اور ٹیون کرتی ہے، اب اس کے ساتھ مربوط ہے۔ ایمیزون سیج میکر پائپ لائنزML کے لیے پہلی مقصد سے تیار کردہ مسلسل انضمام اور مسلسل ترسیل (CI/CD) سروس۔ یہ آٹو پائلٹ کا استعمال کرتے ہوئے ایم ایل ماڈلز کی تعمیر کے اختتام سے آخر تک بہاؤ کے آٹومیشن کو قابل بناتا ہے اور ماڈلز کو بعد کے CI/CD مراحل میں ضم کرتا ہے۔

اب تک، پائپ لائنز کے اندر آٹو پائلٹ تجربہ شروع کرنے کے لیے، آپ کو پائپ لائنز کے ساتھ کسٹم انٹیگریشن کوڈ لکھ کر ایک ماڈل بلڈنگ ورک فلو بنانا ہوگا۔ لامڈا or پروسیسنگ قدم مزید معلومات کے لیے دیکھیں Amazon SageMaker Autopilot ML ماڈلز کو Amazon SageMaker پائپ لائنز کا استعمال کرتے ہوئے تجربات سے پروڈکشن میں منتقل کریں۔.

پائپ لائنز کے اندر ایک مقامی قدم کے طور پر آٹو پائلٹ کی حمایت کے ساتھ، آپ اب ایک خودکار تربیتی مرحلہ شامل کر سکتے ہیں (آٹو ایم ایل سٹیپ) پائپ لائنز میں اور اس کے ساتھ آٹو پائلٹ تجربہ کریں۔ انسمبلنگ ٹریننگ موڈ. مثال کے طور پر، اگر آپ پائپ لائنز کے ساتھ دھوکہ دہی کا پتہ لگانے کے استعمال کے کیس کے لیے تربیت اور تشخیص ML ورک فلو بنا رہے ہیں، تو اب آپ AutoML قدم کا استعمال کرتے ہوئے ایک آٹو پائلٹ تجربہ شروع کر سکتے ہیں، جو خود بخود ایک سے زیادہ ٹرائلز چلاتا ہے تاکہ دیے گئے ان پٹ ڈیٹاسیٹ پر بہترین ماڈل تلاش کیا جا سکے۔ . کا استعمال کرتے ہوئے بہترین ماڈل بنانے کے بعد ماڈل مرحلہکا استعمال کرتے ہوئے ٹیسٹ ڈیٹا پر اس کی کارکردگی کا اندازہ لگایا جا سکتا ہے۔ تبدیلی کا مرحلہ اور ایک کارروائی کا مرحلہ پائپ لائنز کے اندر حسب ضرورت تشخیص اسکرپٹ کے لیے۔ آخر کار، ماڈل کا استعمال کرتے ہوئے SageMaker ماڈل رجسٹری میں رجسٹر کیا جا سکتا ہے۔ ماڈل مرحلہ کے ساتھ مل کر حالت کا مرحلہ.

اس پوسٹ میں، ہم دکھاتے ہیں کہ پائپ لائنز میں نئے شروع کیے گئے آٹو ایم ایل اسٹیپ کا استعمال کرتے ہوئے سیج میکر کے تیار کردہ ایم ایل ماڈل کو تربیت دینے اور جانچنے کے لیے اینڈ ٹو اینڈ ایم ایل ورک فلو کیسے بنایا جائے اور اسے سیج میکر ماڈل رجسٹری کے ساتھ رجسٹر کریں۔ بہترین کارکردگی کے ساتھ ایم ایل ماڈل کو سیج میکر اینڈ پوائنٹ پر تعینات کیا جا سکتا ہے۔

ڈیٹا سیٹ کا جائزہ

ہم عوامی طور پر دستیاب استعمال کرتے ہیں۔ UCI بالغ 1994 کی مردم شماری آمدنی ڈیٹا سیٹ یہ اندازہ لگانے کے لیے کہ آیا کسی شخص کی سالانہ آمدنی $50,000 سے زیادہ ہے۔ یہ بائنری درجہ بندی کا مسئلہ ہے۔ آمدنی کے ہدف کے متغیر کے اختیارات یا تو <=50K یا >50K ہیں۔

ڈیٹاسیٹ میں تربیت اور تصدیق کے لیے 32,561 قطاریں اور 16,281 کالموں کے ساتھ جانچ کے لیے 15 قطاریں ہیں۔ اس میں افراد کے بارے میں آبادیاتی معلومات شامل ہیں۔ class ہدف کالم کے طور پر جو آمدنی کی کلاس کی نشاندہی کرتا ہے۔

حل جائزہ

ہم مختلف آرکیسٹریٹ کرنے کے لیے پائپ لائنز کا استعمال کرتے ہیں۔ پائپ لائن کے اقدامات آٹو پائلٹ ماڈل کو تربیت دینے کی ضرورت ہے۔ ہم ایک بناتے اور چلاتے ہیں۔ آٹو پائلٹ تجربہ آٹو ایم ایل قدم کے حصے کے طور پر جیسا کہ اس ٹیوٹوریل میں بیان کیا گیا ہے۔

اس اختتام سے آخر تک آٹو پائلٹ ٹریننگ کے عمل کے لیے درج ذیل اقدامات درکار ہیں:

• کا استعمال کرتے ہوئے آٹو پائلٹ ٹریننگ جاب بنائیں اور ان کی نگرانی کریں۔ AutoMLStep.
• استعمال کرکے سیج میکر ماڈل بنائیں ModelStep. یہ مرحلہ پچھلے مرحلے میں آٹو پائلٹ کے ذریعہ پیش کردہ بہترین ماڈل کا میٹا ڈیٹا اور نمونے حاصل کرتا ہے۔
• ٹیسٹ ڈیٹاسیٹ کا استعمال کرتے ہوئے تربیت یافتہ آٹو پائلٹ ماڈل کا اندازہ کریں۔ TransformStep.
• پچھلے رن سے آؤٹ پٹ کا موازنہ کریں۔ TransformStep استعمال کرنے والے اصل ہدف کے لیبل کے ساتھ ProcessingStep.
• ایم ایل ماڈل کو رجسٹر کریں۔ سیج میکر ماڈل رجسٹری کا استعمال کرتے ہوئے ModelStep، اگر پہلے سے حاصل کردہ تشخیصی میٹرک پہلے سے طے شدہ حد سے زیادہ ہے ConditionStep.
• جانچ کے مقاصد کے لیے ML ماڈل کو SageMaker اینڈ پوائنٹ کے بطور تعینات کریں۔

آرکیٹیکچر

ذیل میں آرکیٹیکچر ڈایاگرام مختلف پائپ لائن اقدامات کی وضاحت کرتا ہے جو دوبارہ پیدا کرنے کے قابل، خودکار، اور توسیع پذیر SageMaker آٹو پائلٹ ٹریننگ پائپ لائن میں تمام مراحل کو پیک کرنے کے لیے ضروری ہیں۔ ڈیٹا فائلوں کو S3 بالٹی سے پڑھا جاتا ہے اور پائپ لائن کے مراحل کو ترتیب وار کہا جاتا ہے۔

واک تھرو

یہ پوسٹ پائپ لائن کے مراحل کی تفصیلی وضاحت فراہم کرتی ہے۔ ہم کوڈ کا جائزہ لیتے ہیں اور ہر قدم کے اجزاء پر تبادلہ خیال کرتے ہیں۔ حل کو تعینات کرنے کے لیے، کا حوالہ دیں۔ مثال کے طور پر نوٹ بک، جو پائپ لائنز کا استعمال کرتے ہوئے آٹو پائلٹ MLOps ورک فلو کو نافذ کرنے کے لیے مرحلہ وار ہدایات فراہم کرتا ہے۔

شرائط

درج ذیل شرائط کو مکمل کریں:

جب ڈیٹاسیٹ استعمال کرنے کے لیے تیار ہو، تو ہمیں آٹو پائلٹ کا استعمال کرتے ہوئے ایم ایل ماڈلز کو خود بخود بنانے اور تربیت دینے کے لیے دوبارہ قابل عمل عمل قائم کرنے کے لیے پائپ لائنز قائم کرنے کی ضرورت ہے۔ ہم استعمال کرتے ہیں سیج میکر SDK پروگرام کے مطابق ایک اختتام سے آخر تک ML ٹریننگ پائپ لائن کی وضاحت، چلانے اور ٹریک کرنے کے لیے۔

پائپ لائن کے مراحل

مندرجہ ذیل حصوں میں، ہم SageMaker پائپ لائن میں مختلف مراحل سے گزرتے ہیں، بشمول AutoML ٹریننگ، ماڈل کی تخلیق، بیچ کا اندازہ، تشخیص، اور بہترین ماڈل کی مشروط رجسٹریشن۔ مندرجہ ذیل خاکہ پورے پائپ لائن کے بہاؤ کی وضاحت کرتا ہے۔

آٹو ایم ایل ٹریننگ مرحلہ

An آٹو ایم ایل آبجیکٹ آٹو پائلٹ ٹریننگ جاب رن کی وضاحت کے لیے استعمال کیا جاتا ہے اور اس کا استعمال کرکے سیج میکر پائپ لائن میں شامل کیا جا سکتا ہے۔ AutoMLStep کلاس، جیسا کہ درج ذیل کوڈ میں دکھایا گیا ہے۔ جوڑنے والے ٹریننگ موڈ کو متعین کرنے کی ضرورت ہے، لیکن ضرورت کے مطابق دیگر پیرامیٹرز کو ایڈجسٹ کیا جا سکتا ہے۔ مثال کے طور پر، آٹو ایم ایل جاب کو خود بخود ایم ایل کا اندازہ لگانے کی بجائے مسئلہ کی قسم اور مقصد میٹرک، ان کی وضاحت کرکے ہارڈ کوڈ کیا جاسکتا ہے۔ problem_type اور job_objective پیرامیٹرز آٹو ایم ایل آبجیکٹ کو بھیجے گئے۔

automl = AutoML( role=execution_role, target_attribute_name=target_attribute_name, sagemaker_session=pipeline_session, total_job_runtime_in_seconds=max_automl_runtime, mode="ENSEMBLING",
)
train_args = automl.fit( inputs=[ AutoMLInput( inputs=s3_train_val, target_attribute_name=target_attribute_name, channel_type="training", ) ]
)
step_auto_ml_training = AutoMLStep( name="AutoMLTrainingStep", step_args=train_args,
)

ماڈل بنانے کا مرحلہ

AutoML قدم مختلف ML ماڈل امیدواروں کو تیار کرنے، ان کو یکجا کرنے اور بہترین ML ماڈل حاصل کرنے کا خیال رکھتا ہے۔ ماڈل نمونے اور میٹا ڈیٹا خود بخود محفوظ ہو جاتے ہیں اور کال کر کے حاصل کیے جا سکتے ہیں۔ get_best_auto_ml_model() آٹو ایم ایل ٹریننگ مرحلہ پر طریقہ۔ اس کے بعد ماڈل قدم کے حصے کے طور پر سیج میکر ماڈل بنانے کے لیے استعمال کیا جا سکتا ہے:

best_auto_ml_model = step_auto_ml_training.get_best_auto_ml_model( execution_role, sagemaker_session=pipeline_session
)
step_args_create_model = best_auto_ml_model.create(instance_type=instance_type)
step_create_model = ModelStep(name="ModelCreationStep", step_args=step_args_create_model)

بیچ کی تبدیلی اور تشخیص کے اقدامات

ہم استعمال کرتے ہیں ٹرانسفارمر آبجیکٹ لیے بیچ کا اندازہ ٹیسٹ ڈیٹاسیٹ پر، جسے پھر تشخیص کے مقاصد کے لیے استعمال کیا جا سکتا ہے۔ آؤٹ پٹ کی پیشین گوئیوں کا موازنہ ایک Scikit-learn میٹرکس فنکشن کا استعمال کرتے ہوئے اصل یا زمینی سچائی کے لیبل سے کیا جاتا ہے۔ ہم اپنے نتائج کی بنیاد پر جانچتے ہیں۔ F1 سکور. کارکردگی کے میٹرکس کو JSON فائل میں محفوظ کیا جاتا ہے، جس کا حوالہ اگلے مرحلے میں ماڈل کو رجسٹر کرتے وقت دیا جاتا ہے۔

مشروط رجسٹریشن کے اقدامات

اس مرحلے میں، ہم اپنے نئے آٹو پائلٹ ماڈل کو SageMaker ماڈل رجسٹری میں رجسٹر کرتے ہیں، اگر یہ پہلے سے طے شدہ تشخیصی میٹرک کی حد سے زیادہ ہے۔

پائپ لائن بنائیں اور چلائیں۔

اقدامات کی وضاحت کرنے کے بعد، ہم انہیں سیج میکر پائپ لائن میں جوڑ دیتے ہیں:

pipeline = Pipeline( name="AutoMLTrainingPipeline", parameters=[ instance_count, instance_type, max_automl_runtime, model_approval_status, model_package_group_name, model_registration_metric_threshold, s3_bucket, target_attribute_name, ], steps=[ step_auto_ml_training, step_create_model, step_batch_transform, step_evaluation, step_conditional_registration, ], sagemaker_session=pipeline_session,
)

مرحلہ وار ترتیب میں چلائے جاتے ہیں۔ پائپ لائن ٹریننگ، ماڈل کی تشخیص، اور ماڈل رجسٹریشن کے لیے آٹو پائلٹ اور پائپ لائنز کا استعمال کرتے ہوئے آٹو ایم ایل جاب کے تمام مراحل چلاتی ہے۔

آپ اسٹوڈیو کنسول پر ماڈل رجسٹری پر جا کر اور کھول کر نیا ماڈل دیکھ سکتے ہیں۔ AutoMLModelPackageGroup. پر معروضی میٹرکس دیکھنے کے لیے تربیتی کام کا کوئی بھی ورژن منتخب کریں۔ ماڈل کا معیار ٹیب.

آپ پر وضاحتی رپورٹ دیکھ سکتے ہیں۔ وضاحت کی صلاحیت اپنے ماڈل کی پیشین گوئیوں کو سمجھنے کے لیے ٹیب۔

میں بنائے گئے تمام ماڈلز کے لیے بنیادی آٹو پائلٹ تجربہ دیکھنے کے لیے AutoMLStep، پر جائیں آٹو ایم ایل صفحہ اور نوکری کا نام منتخب کریں۔

ماڈل تعینات کریں۔

ایم ایل ماڈل کی کارکردگی کا دستی طور پر جائزہ لینے کے بعد، ہم اپنے نئے بنائے گئے ماڈل کو سیج میکر اینڈ پوائنٹ پر تعینات کر سکتے ہیں۔ اس کے لیے، ہم نوٹ بک میں موجود سیل چلا سکتے ہیں جو SageMaker ماڈل رجسٹری میں محفوظ کردہ ماڈل کنفیگریشن کا استعمال کرتے ہوئے ماڈل اینڈ پوائنٹ بناتے ہیں۔

نوٹ کریں کہ اس اسکرپٹ کو مظاہرے کے مقاصد کے لیے شیئر کیا گیا ہے، لیکن یہ تجویز کیا جاتا ہے کہ ML انفرنس کے لیے پروڈکشن کی تعیناتی کے لیے زیادہ مضبوط CI/CD پائپ لائن کی پیروی کریں۔ مزید معلومات کے لیے رجوع کریں۔ ایمیزون سیج میکر پائپ لائنز کا استعمال کرتے ہوئے ایم ایل ورک فلو کی تعمیر، خودکار، انتظام، اور اسکیلنگ.

خلاصہ

یہ پوسٹ آٹو پائلٹ، پائپ لائنز اور اسٹوڈیو کا استعمال کرتے ہوئے ٹیبلولر ایم ایل ماڈلز (آٹو ایم ایل) کو خود بخود تربیت دینے کے لیے استعمال میں آسان ML پائپ لائن اپروچ کی وضاحت کرتی ہے۔ AutoML ML پریکٹیشنرز کی کارکردگی کو بہتر بناتا ہے، ML تجربات سے پیداوار تک کے راستے کو وسیع ML مہارت کی ضرورت کے بغیر تیز کرتا ہے۔ ہم ML ماڈل کی تخلیق، تشخیص، اور رجسٹریشن کے لیے درکار متعلقہ پائپ لائن اقدامات کا خاکہ پیش کرتے ہیں۔ کو آزما کر شروع کریں۔ مثال کے طور پر نوٹ بک اپنے حسب ضرورت آٹو ایم ایل ماڈلز کو تربیت اور تعینات کرنے کے لیے۔

آٹو پائلٹ اور پائپ لائنز کے بارے میں مزید معلومات کے لیے رجوع کریں۔ ایمیزون سیج میکر آٹو پائلٹ کے ساتھ ماڈل کی ترقی کو خودکار بنائیں اور ایمیزون سیج میکر پائپ لائنز.

لانچ میں تعاون کرنے والے تمام لوگوں کا خصوصی شکریہ: شینگہوا یو، جان ہی، آو گو، ژنلو ٹو، تیان کن، یاندا ہو، ژانکوئی لو، اور دیوین کیو۔

مصنفین کے بارے میں

جنیشا آنند SageMaker Low/No Code ML ٹیم میں ایک سینئر پروڈکٹ مینیجر ہے، جس میں SageMaker آٹو پائلٹ شامل ہے۔ وہ کافی سے لطف اندوز ہوتی ہے، متحرک رہتی ہے، اور اپنے خاندان کے ساتھ وقت گزارتی ہے۔

مارسیلو ایبرل AWS AI میں ML انجینئر ہے۔ وہ مدد کرتا ہے ایمیزون ایم ایل حل لیب صارفین توسیع پذیر ML(-Ops) سسٹم اور فریم ورک بناتے ہیں۔ اپنے فارغ وقت میں، وہ سان فرانسسکو بے ایریا میں پیدل سفر اور سائیکلنگ سے لطف اندوز ہوتا ہے۔

جیریمی کوہن AWS کے ساتھ ایک سولیوشن آرکیٹیکٹ ہے جہاں وہ صارفین کو جدید، کلاؤڈ بیسڈ حل بنانے میں مدد کرتا ہے۔ اپنے فارغ وقت میں، وہ ساحل سمندر پر مختصر سیر سے لطف اندوز ہوتا ہے، اپنے خاندان کے ساتھ خلیج کے علاقے کو تلاش کرتا ہے، گھر کے ارد گرد چیزیں ٹھیک کرتا ہے، گھر کے ارد گرد چیزیں توڑتا ہے، اور BBQing کرتا ہے۔

شینگہوا یو ایمیزون سیج میکر میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ وہ صارفین کے لیے ML ٹولز اور مصنوعات بنانے پر توجہ مرکوز کرتی ہے۔ کام سے باہر، وہ باہر، یوگا، اور پیدل سفر سے لطف اندوز ہوتی ہے۔

• سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔یہاں کلک کریں
• پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/launch-amazon-sagemaker-autopilot-experiments-directly-from-within-amazon-sagemaker-pipelines-to-easily-automate-mlops-workflows/