অ্যামাজন সেজমেকার হাইপারপড ফাউন্ডেশন মডেল (এফএম) প্রশিক্ষণকে ত্বরান্বিত করার উদ্দেশ্যে নির্মিত, একটি বৃহৎ প্রশিক্ষণ কম্পিউট ক্লাস্টার পরিচালনা এবং অপ্টিমাইজ করার সাথে জড়িত অপরিবর্তিত ভারী উত্তোলনগুলিকে সরিয়ে দেওয়া। SageMaker HyperPod-এর সাহায্যে, আপনি সপ্তাহ বা মাস ধরে FM-কে কোনো বাধা ছাড়াই প্রশিক্ষণ দিতে পারেন।

সাধারণত, হাইপারপড ক্লাস্টারগুলি একাধিক ব্যবহারকারী দ্বারা ব্যবহার করা হয়: মেশিন লার্নিং (এমএল) গবেষক, সফ্টওয়্যার ইঞ্জিনিয়ার, ডেটা সায়েন্টিস্ট এবং ক্লাস্টার অ্যাডমিনিস্ট্রেটর৷ তারা তাদের নিজস্ব ফাইল সম্পাদনা করে, তাদের নিজস্ব কাজ চালায় এবং একে অপরের কাজের উপর প্রভাব এড়াতে চায়। এই মাল্টি-ইউজার এনভায়রনমেন্ট অর্জন করতে, আপনি লিনাক্সের ইউজার এবং গ্রুপ মেকানিজমের সুবিধা নিতে পারেন এবং লাইফসাইকেল স্ক্রিপ্টের মাধ্যমে প্রতিটি উদাহরণে স্ট্যাটিকভাবে একাধিক ব্যবহারকারী তৈরি করতে পারেন। এই পদ্ধতির ত্রুটি, যাইহোক, ব্যবহারকারী এবং গ্রুপ সেটিংস ক্লাস্টারে একাধিক দৃষ্টান্ত জুড়ে সদৃশ করা হয়, যার ফলে একটি নতুন দলের সদস্য যোগদানের মতো সমস্ত দৃষ্টান্তে ধারাবাহিকভাবে কনফিগার করা কঠিন করে তোলে।

এই ব্যথা বিন্দু সমাধান করতে, আমরা ব্যবহার করতে পারেন লাইটওয়েট ডিরেক্টরি অ্যাক্সেস প্রোটোকল (LDAP) এবং LDAP ওভার TLS/SSL (LDAPS) যেমন একটি ডিরেক্টরি পরিষেবার সাথে একীভূত করতে মাইক্রোসফ্ট অ্যাক্টিভ ডিরেক্টরির জন্য AWS ডিরেক্টরি পরিষেবা. ডিরেক্টরি পরিষেবার মাধ্যমে, আপনি কেন্দ্রীয়ভাবে ব্যবহারকারী এবং গোষ্ঠী এবং তাদের অনুমতিগুলি বজায় রাখতে পারেন।

এই পোস্টে, আমরা AWS পরিচালিত Microsoft AD-এর সাথে হাইপারপড ক্লাস্টারগুলিকে একীভূত করার জন্য একটি সমাধান প্রবর্তন করেছি, এবং ব্যাখ্যা করব কিভাবে একটি কেন্দ্রীয়ভাবে রক্ষণাবেক্ষণ করা ডিরেক্টরির সাথে একটি নিরবিচ্ছিন্ন মাল্টি-ইউজার লগইন পরিবেশ অর্জন করা যায়।

সমাধান ওভারভিউ

সমাধান নিম্নলিখিত AWS পরিষেবা এবং সংস্থান ব্যবহার করে:

আমরাও ব্যবহার করি এডাব্লুএস ক্লাউডফর্মেশন হাইপারপড ক্লাস্টারের পূর্বশর্ত তৈরি করতে একটি স্ট্যাক স্থাপন করতে: ভিপিসি, সাবনেট, নিরাপত্তা গোষ্ঠী এবং দীপ্তি জন্য Amazon FSx ভলিউম।

নিম্নলিখিত চিত্রটি উচ্চ-স্তরের সমাধান আর্কিটেকচারকে চিত্রিত করে।

এই সমাধানে, হাইপারপড ক্লাস্টার দৃষ্টান্তগুলি একটি NLB এর মাধ্যমে AWS পরিচালিত Microsoft AD-এর সাথে সংযোগ করতে LDAPS প্রোটোকল ব্যবহার করে। আমরা ব্যাবহার করি TLS সমাপ্তি এনএলবিতে একটি শংসাপত্র ইনস্টল করে। হাইপারপড ক্লাস্টার উদাহরণে LDAPS কনফিগার করতে, লাইফসাইকেল স্ক্রিপ্ট ইনস্টল এবং কনফিগার করে সিস্টেম সিকিউরিটি সার্ভিস ডেমন (SSSD)—এলডিএপি/এলডিএপিএস-এর জন্য একটি ওপেন সোর্স ক্লায়েন্ট সফ্টওয়্যার।

পূর্বশর্ত

এই পোস্টটি অনুমান করে যে আপনি ইতিমধ্যেই জানেন কিভাবে SSSD ছাড়া একটি মৌলিক হাইপারপড ক্লাস্টার তৈরি করতে হয়। হাইপারপড ক্লাস্টারগুলি কীভাবে তৈরি করবেন সে সম্পর্কে আরও বিশদ বিবরণের জন্য, পড়ুন সেজমেকার হাইপারপড দিয়ে শুরু করা এবং হাইপারপড ওয়ার্কশপ.

এছাড়াও, সেটআপের ধাপে, আপনি একটি স্ব-স্বাক্ষরিত শংসাপত্র তৈরি করতে এবং AD রিডার ব্যবহারকারীর জন্য একটি অস্পষ্ট পাসওয়ার্ড পেতে একটি Linux মেশিন ব্যবহার করবেন। আপনার যদি লিনাক্স মেশিন না থাকে তবে আপনি একটি EC2 লিনাক্স ইনস্ট্যান্স তৈরি করতে পারেন বা ব্যবহার করতে পারেন এডাব্লুএস ক্লাউডশেল.

একটি ভিপিসি, সাবনেট এবং একটি নিরাপত্তা গোষ্ঠী তৈরি করুন

নির্দেশাবলী অনুসরণ করুন নিজের হিসাব হাইপারপড ওয়ার্কশপের বিভাগ। আপনি একটি CloudFormation স্ট্যাক স্থাপন করবেন এবং Luster ভলিউমের জন্য VPC, সাবনেট, নিরাপত্তা গোষ্ঠী এবং FSx এর মতো পূর্বশর্ত সংস্থান তৈরি করবেন। ক্লাউডফর্মেশন স্ট্যাক স্থাপন করার সময় আপনাকে একটি প্রাথমিক সাবনেট এবং ব্যাকআপ সাবনেট উভয়ই তৈরি করতে হবে, কারণ AWS পরিচালিত Microsoft AD-এর জন্য কমপক্ষে দুটি সাবনেট প্রয়োজন বিভিন্ন প্রাপ্যতা অঞ্চল সহ।

এই পোস্টে, সরলতার জন্য, আমরা হাইপারপড ক্লাস্টার এবং ডিরেক্টরি পরিষেবা উভয়ের জন্য একই ভিপিসি, সাবনেট এবং নিরাপত্তা গোষ্ঠী ব্যবহার করি। আপনি যদি ক্লাস্টার এবং ডিরেক্টরি পরিষেবার মধ্যে বিভিন্ন নেটওয়ার্ক ব্যবহার করতে চান তবে নিশ্চিত করুন যে নিরাপত্তা গোষ্ঠী এবং রুট টেবিলগুলি কনফিগার করা হয়েছে যাতে তারা একে অপরের সাথে যোগাযোগ করতে পারে।

ডিরেক্টরি পরিষেবাতে AWS পরিচালিত Microsoft AD তৈরি করুন

আপনার ডিরেক্টরি সেট আপ করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. উপরে ডিরেক্টরি পরিষেবা কনসোলনির্বাচন ডিরেক্টরি নেভিগেশন ফলকে।
2. বেছে নিন ডিরেক্টরি সেট আপ করুন.
3. জন্য ডিরেক্টরির ধরন, নির্বাচন করুন AWS পরিচালিত Microsoft AD.
4. বেছে নিন পরবর্তী.
   
5. জন্য সংস্করণ, নির্বাচন করুন স্ট্যান্ডার্ড সংস্করণ.
6. জন্য ডিরেক্টরি DNS নাম, আপনার পছন্দের ডিরেক্টরি DNS নাম লিখুন (উদাহরণস্বরূপ, hyperpod.abc123.com).
7. জন্য অ্যাডমিন পাসওয়ার্ডএকটি পাসওয়ার্ড সেট করুন এবং পরবর্তীতে ব্যবহারের জন্য এটি সংরক্ষণ করুন।
8. বেছে নিন পরবর্তী.
   
9. মধ্যে নেটওয়ার্কিং বিভাগে, আপনার তৈরি করা VPC এবং দুটি ব্যক্তিগত সাবনেট উল্লেখ করুন।
10. বেছে নিন পরবর্তী.
    
11. কনফিগারেশন এবং মূল্য পর্যালোচনা করুন, তারপর চয়ন করুন ডিরেক্টরি তৈরি করুন.
    
    ডিরেক্টরি তৈরি শুরু হয়। থেকে স্ট্যাটাস পরিবর্তন না হওয়া পর্যন্ত অপেক্ষা করুন তৈরি করা হচ্ছে থেকে সক্রিয়, যা 20-30 মিনিট সময় নিতে পারে।
12. যখন স্থিতি পরিবর্তন হয় সক্রিয়, ডিরেক্টরির বিস্তারিত পৃষ্ঠা খুলুন এবং পরবর্তী ব্যবহারের জন্য DNS ঠিকানাগুলি নোট করুন।

ডিরেক্টরি পরিষেবার সামনে একটি NLB তৈরি করুন

NLB তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. উপরে আমাজন EC2 কনসোলনির্বাচন টার্গেট গ্রুপ নেভিগেশন ফলকে।
2. বেছে নিন টার্গেট গ্রুপ তৈরি করুন.
3. নিম্নলিখিত পরামিতি সহ একটি লক্ষ্য গোষ্ঠী তৈরি করুন:
   1. জন্য একটি লক্ষ্য টাইপ চয়ন করুন, নির্বাচন করুন আইপি ঠিকানা.
   2. জন্য টার্গেট গ্রুপের নামপ্রবেশ করান LDAP.
   3. জন্য প্রোটোকল: পোর্টনির্বাচন বিভিন্ন TCP এবং প্রবেশ করান 389.
   4. জন্য আইপি ঠিকানার ধরন, নির্বাচন করুন IPv4.
   5. জন্য VPCনির্বাচন সেজমেকার হাইপারপড ভিপিসি (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
   6. জন্য স্বাস্থ্য পরীক্ষা প্রোটোকলনির্বাচন বিভিন্ন TCP.
4. বেছে নিন পরবর্তী.
   
5. মধ্যে লক্ষ্য নিবন্ধন বিভাগে, লক্ষ্য হিসাবে ডিরেক্টরি পরিষেবার DNS ঠিকানাগুলি নিবন্ধন করুন।
6. জন্য বন্দরনির্বাচন নীচে মুলতুবি হিসাবে অন্তর্ভুক্ত করুন.ঠিকানা যোগ করা হয় লক্ষ্যগুলি পর্যালোচনা করুন সঙ্গে বিভাগ বিচারাধীন অবস্থা।
7. বেছে নিন টার্গেট গ্রুপ তৈরি করুন.
8. উপরে লোড ব্যালেন্সার কনসোলনির্বাচন লোড ব্যালেন্সার তৈরি করুন.
9. অধীনে নেটওয়ার্ক লোড ব্যালেন্সারনির্বাচন সৃষ্টি.
10. নিম্নলিখিত পরামিতিগুলির সাথে একটি NLB কনফিগার করুন:
    1. জন্য লোড ব্যালেন্সারের নাম, একটি নাম লিখুন (উদাহরণস্বরূপ, nlb-ds).
    2. জন্য পরিকল্পনা, নির্বাচন করুন অভ্যন্তরীণ.
    3. জন্য আইপি ঠিকানার ধরন, নির্বাচন করুন IPv4.
    4. জন্য VPCনির্বাচন সেজমেকার হাইপারপড ভিপিসি (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
    5. অধীনে ম্যাপিংস, দুটি ব্যক্তিগত সাবনেট এবং তাদের CIDR রেঞ্জ নির্বাচন করুন (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
    6. জন্য সুরক্ষা গ্রুপনির্বাচন CfStackName-SecurityGroup-XYZXYZ (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
11. মধ্যে শ্রোতা এবং রাউটিং বিভাগে, নিম্নলিখিত পরামিতিগুলি নির্দিষ্ট করুন:
    1. জন্য প্রোটোকলনির্বাচন বিভিন্ন TCP.
    2. জন্য বন্দরপ্রবেশ করান 389.
    3. জন্য ডিফল্ট অ্যাকশন, নামের টার্গেট গ্রুপ নির্বাচন করুন দ্বারা LDAP.

    এখানে, আমরা LDAP-এর জন্য একজন শ্রোতা যোগ করছি। আমরা পরে এলডিএপিএস যোগ করব।

12. বেছে নিন লোড ব্যালেন্সার তৈরি করুন.থেকে স্ট্যাটাস পরিবর্তন না হওয়া পর্যন্ত অপেক্ষা করুন প্রভিশনিং সক্রিয় হতে, যা 3-5 মিনিট সময় নিতে পারে।
13. যখন স্থিতি পরিবর্তন হয় সক্রিয়, বিধান করা NLB এর বিস্তারিত পৃষ্ঠা খুলুন এবং DNS নামটি নোট করুন (xyzxyz.elb.region-name.amazonaws.com) পরে ব্যবহারের জন্য।

একটি স্ব-স্বাক্ষরিত শংসাপত্র তৈরি করুন এবং এটি সার্টিফিকেট ম্যানেজারে আমদানি করুন৷

একটি স্ব-স্বাক্ষরিত শংসাপত্র তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. আপনার লিনাক্স-ভিত্তিক পরিবেশে (স্থানীয় ল্যাপটপ, EC2 লিনাক্স ইনস্ট্যান্স, বা ক্লাউডশেল), নিম্নলিখিতটি চালান দ্বারা OpenSSL একটি স্ব-স্বাক্ষরিত শংসাপত্র এবং ব্যক্তিগত কী তৈরি করার আদেশ:

   $ openssl genrsa 2048 > ldaps.key
   
   $ openssl req -new -key ldaps.key -out ldaps_server.csr
   
   You are about to be asked to enter information that will be incorporated
   into your certificate request.
   What you are about to enter is what is called a Distinguished Name or a DN.
   There are quite a few fields but you can leave some blank
   For some fields there will be a default value,
   If you enter '.', the field will be left blank.
   -----
   Country Name (2 letter code) [AU]:US
   State or Province Name (full name) [Some-State]:Washington
   Locality Name (eg, city) []:Bellevue
   Organization Name (eg, company) [Internet Widgits Pty Ltd]:CorpName
   Organizational Unit Name (eg, section) []:OrgName
   Common Name (e.g., server FQDN or YOUR name) []:nlb-ds-abcd1234.elb.region.amazonaws.com
   Email Address []:[email protected]
   
   Please enter the following 'extra' attributes
   to be sent with your certificate request
   A challenge password []:
   An optional company name []:
   
   $ openssl x509 -req -sha256 -days 365 -in ldaps_server.csr -signkey ldaps.key -out ldaps.crt
   
   Certificate request self-signature ok
   subject=C = US, ST = Washington, L = Bellevue, O = CorpName, OU = OrgName, CN = nlb-ds-abcd1234.elb.region.amazonaws.com, emailAddress = [email protected]
   
   $ chmod 600 ldaps.key

2. উপরে সার্টিফিকেট ম্যানেজার কনসোলনির্বাচন আমদানি.
3. এর বিষয়বস্তু থেকে শংসাপত্রের মূল অংশ এবং ব্যক্তিগত কী লিখুন ldaps.crt এবং ldaps.key যথাক্রমে.
4. বেছে নিন পরবর্তী.
5. যেকোনো ঐচ্ছিক ট্যাগ যোগ করুন, তারপর বেছে নিন পরবর্তী.
6. কনফিগারেশন পর্যালোচনা করুন এবং নির্বাচন করুন আমদানি.

একটি LDAPS শ্রোতা যোগ করুন

আমরা ইতিমধ্যেই NLB-তে LDAP-এর জন্য একজন শ্রোতা যোগ করেছি। এখন আমরা আমদানি করা শংসাপত্রের সাথে LDAPS-এর জন্য একজন শ্রোতা যোগ করি। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. উপরে লোড ব্যালেন্সার কনসোল, NLB বিবরণ পৃষ্ঠা নেভিগেট করুন.
2. উপরে শ্রোতাদের ট্যাব, চয়ন করুন শ্রোতা যোগ করুন.
3. নিম্নলিখিত পরামিতিগুলির সাথে শ্রোতাকে কনফিগার করুন:
   1. জন্য প্রোটোকলনির্বাচন TLS এর.
   2. জন্য বন্দরপ্রবেশ করান 636.
   3. জন্য ডিফল্ট অ্যাকশননির্বাচন দ্বারা LDAP.
   4. জন্য শংসাপত্রের উত্স, নির্বাচন করুন ACM থেকে.
   5. জন্য শংসাপত্র, আপনি ACM এ যা আমদানি করেছেন তা লিখুন।
4. বেছে নিন বিজ্ঞাপন.এখন NLB LDAP এবং LDAPS উভয়ের কথাই শোনে। এটি LDAP শ্রোতা মুছে ফেলার সুপারিশ করা হয় কারণ এটি LDAPS এর বিপরীতে এনক্রিপশন ছাড়াই ডেটা প্রেরণ করে।

AD-তে ব্যবহারকারী এবং গোষ্ঠীগুলি পরিচালনা করার জন্য একটি EC2 উইন্ডোজ ইনস্ট্যান্স তৈরি করুন

AD-তে ব্যবহারকারী এবং গোষ্ঠী তৈরি এবং বজায় রাখতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. Amazon EC2 কনসোলে, নির্বাচন করুন দৃষ্টান্ত নেভিগেশন ফলকে।
2. বেছে নিন লঞ্চ দৃষ্টান্ত.
3. জন্য নাম, আপনার উদাহরণের জন্য একটি নাম লিখুন।
4. জন্য আমাজন মেশিন ইমেজনির্বাচন মাইক্রোসফট উইন্ডোজ সার্ভার 2022 বেস.
5. জন্য দৃষ্টান্তের ধরণনির্বাচন t2.micro.
6. মধ্যে নেটওয়ার্ক সেটিংস বিভাগে, নিম্নলিখিত পরামিতি প্রদান করুন:
   1. জন্য VPCনির্বাচন সেজমেকার হাইপারপড ভিপিসি (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
   2. জন্য সাবনেট, ক্লাউডফর্মেশন টেমপ্লেটের সাথে আপনার তৈরি করা দুটি সাবনেটের যেকোনো একটি বেছে নিন।
   3. জন্য সাধারণ নিরাপত্তা গোষ্ঠীনির্বাচন CfStackName-SecurityGroup-XYZXYZ (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
7. জন্য স্টোরেজ কনফিগার করুন, স্টোরেজ 30 GB gp2 এ সেট করুন।
8. মধ্যে উন্নত বিবরণ বিভাগ, জন্য ডোমেইন জয়েন ডিরেক্টরি¸ আপনার তৈরি করা AD নির্বাচন করুন।
9. জন্য IAM উদাহরণ প্রোফাইল, একটি নির্বাচন করুন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা অন্তত সঙ্গে AmazonSSMManagedEC2InstanceDefaultPolicy নীতি।
10. সারাংশ পর্যালোচনা করুন এবং চয়ন করুন উদ্বোধন উদাহরণ.

EC2 উইন্ডোজ ইনস্ট্যান্স ব্যবহার করে AD এ ব্যবহারকারী এবং গোষ্ঠী তৈরি করুন

সঙ্গে রিমোট ডেস্কটপ, পূর্ববর্তী ধাপে আপনি যে EC2 উইন্ডোজ ইন্সট্যান্স তৈরি করেছেন তার সাথে সংযোগ করুন। একটি ব্রাউজার-ভিত্তিক রিমোট ডেস্কটপ ব্যবহার করে একটি RDP ক্লায়েন্ট ব্যবহার করার সুপারিশ করা হয় যাতে আপনি কপি-পেস্ট অপারেশন ব্যবহার করে আপনার স্থানীয় মেশিনের সাথে ক্লিপবোর্ডের বিষয়বস্তু বিনিময় করতে পারেন। EC2 Windows দৃষ্টান্তগুলির সাথে সংযোগ করার বিষয়ে আরও বিশদ বিবরণের জন্য, পড়ুন আপনার উইন্ডোজ ইনস্ট্যান্সের সাথে সংযোগ করুন.

আপনি একটি লগইন শংসাপত্রের জন্য অনুরোধ করা হলে, ব্যবহার করুন hyperpodAdmin (কোথায় hyperpod ব্যবহারকারীর নাম হিসাবে আপনার ডিরেক্টরি DNS নামের প্রথম অংশ, এবং আপনি ডিরেক্টরি পরিষেবাতে সেট করা অ্যাডমিন পাসওয়ার্ড ব্যবহার করুন।

1. যখন উইন্ডোজ ডেস্কটপ স্ক্রীন খোলে, নির্বাচন করুন সার্ভার ম্যানেজার থেকে শুরু মেনু.
2. বেছে নিন স্থানীয় সার্ভার নেভিগেশন প্যানে, এবং নিশ্চিত করুন যে ডোমেনটি আপনি যা ডিরেক্টরি পরিষেবাতে নির্দিষ্ট করেছেন।
3. উপরে পরিচালনা করা মেনু, নির্বাচন করুন ভূমিকা এবং বৈশিষ্ট্য যোগ করুন.
4. বেছে নিন পরবর্তী আপনি না হওয়া পর্যন্ত বৈশিষ্ট্য পাতা.
5. বৈশিষ্ট্যটি প্রসারিত করুন দূরবর্তী সার্ভার প্রশাসন সরঞ্জাম, বিস্তৃত করা ভূমিকা প্রশাসনিক সরঞ্জাম, এবং নির্বাচন করুন AD DS এবং AD LDS টুলস এবং অ্যাক্টিভ ডিরেক্টরি রাইটস ম্যানেজমেন্ট সার্ভিস.
6. বেছে নিন পরবর্তী এবং ইনস্টল করুন.বৈশিষ্ট্য ইনস্টলেশন শুরু হয়.
7. ইনস্টলেশন সম্পূর্ণ হলে, নির্বাচন করুন ঘনিষ্ঠ.
8. খোলা অ্যাক্টিভ ডিরেক্টরি ব্যবহারকারী এবং কম্পিউটার থেকে শুরু মেনু.
9. অধীনে hyperpod.abc123.com, বিস্তৃত করা hyperpod.
10. চয়ন করুন (ডান-ক্লিক করুন) hyperpodনির্বাচন নতুন, এবং চয়ন করুন প্রাতিষ্ঠানিক একক অংশ.
11. নামে একটি সাংগঠনিক ইউনিট তৈরি করুন Groups.
12. চয়ন করুন (ডান-ক্লিক করুন) গ্রুপনির্বাচন নতুন, এবং চয়ন করুন গ্রুপ.
13. নামে একটি গ্রুপ তৈরি করুন ClusterAdmin.
14. নামে একটি দ্বিতীয় গ্রুপ তৈরি করুন ClusterDev.
15. চয়ন করুন (ডান-ক্লিক করুন) ব্যবহারকারীরানির্বাচন নতুন, এবং চয়ন করুন ব্যবহারকারী.
16. একটি নতুন ব্যবহারকারী তৈরি করুন.
17. ব্যবহারকারীকে বেছে নিন (ডান-ক্লিক করুন) এবং নির্বাচন করুন একটি গ্রুপে যোগ করুন.
18. গ্রুপে আপনার ব্যবহারকারীদের যোগ করুন ClusterAdmin or ClusterDev.ব্যবহারকারীদের যোগ করা হয়েছে ClusterAdmin গ্রুপ থাকবে sudo ক্লাস্টারে বিশেষাধিকার।

AD-তে একটি শুধুমাত্র পাঠযোগ্য ব্যবহারকারী তৈরি করুন

নামে একটি ব্যবহারকারী তৈরি করুন ReadOnly অধীনে Users. দ্য ReadOnly ব্যবহারকারীকে ক্লাস্টার দ্বারা AD-তে ব্যবহারকারী এবং গোষ্ঠীগুলিকে প্রোগ্রাম্যাটিকভাবে অ্যাক্সেস করার জন্য ব্যবহার করা হয়।

পরবর্তীতে ব্যবহারের জন্য পাসওয়ার্ডটি নোট করুন।

(SSH পাবলিক কী প্রমাণীকরণের জন্য) ব্যবহারকারীদের কাছে SSH পাবলিক কী যোগ করুন

AD এ ব্যবহারকারীর কাছে একটি SSH পাবলিক কী সংরক্ষণ করে, আপনি পাসওয়ার্ড না দিয়েই লগ ইন করতে পারেন। আপনি একটি বিদ্যমান কী জোড়া ব্যবহার করতে পারেন, অথবা আপনি OpenSSH এর সাথে একটি নতুন কী জোড়া তৈরি করতে পারেন ssh-keygen আদেশ একটি কী জোড়া তৈরি করার বিষয়ে আরও তথ্যের জন্য, পড়ুন আপনার Amazon EC2 উদাহরণের জন্য একটি কী জোড়া তৈরি করুন.

1. In অ্যাক্টিভ ডিরেক্টরি ব্যবহারকারী এবং কম্পিউটার, উপরে চেক মেনু, সক্রিয় করুন উন্নত বৈশিষ্ট্য.
2. খোলা প্রোপার্টি ব্যবহারকারীর ডায়ালগ।
3. উপরে অ্যাট্রিবিউট এডিটর ট্যাব, চয়ন করুন altSecurityIdentities পছন্দ সম্পাদন করা.
4. জন্য মান যোগ করতেনির্বাচন বিজ্ঞাপন.
5. জন্য মানগুলি, একটি SSH পাবলিক কী যোগ করুন।
6. বেছে নিন OK.নিশ্চিত করুন যে SSH পাবলিক কী একটি বৈশিষ্ট্য হিসাবে উপস্থিত হয়।

শুধুমাত্র ReadOnly ব্যবহারকারীর জন্য একটি অস্পষ্ট পাসওয়ার্ড পান

SSSD কনফিগারেশন ফাইলে একটি প্লেইন টেক্সট পাসওয়ার্ড অন্তর্ভুক্ত করা এড়াতে, আপনি পাসওয়ার্ডটি অস্পষ্ট করুন। এই ধাপের জন্য, আপনার একটি লিনাক্স পরিবেশ প্রয়োজন (স্থানীয় ল্যাপটপ, EC2 লিনাক্স ইনস্ট্যান্স, বা ক্লাউডশেল)।

ইনস্টল করুন sssd-tools পাইথন মডিউল ইনস্টল করার জন্য লিনাক্স মেশিনে প্যাকেজ pysss অস্পষ্টতার জন্য:

# Ubuntu
$ sudo apt install sssd-tools

# Amazon Linux
$ sudo yum install sssd-tools

নিম্নলিখিত এক-লাইন পাইথন স্ক্রিপ্ট চালান। এর পাসওয়ার্ড ইনপুট করুন ReadOnly ব্যবহারকারী আপনি অস্পষ্ট পাসওয়ার্ড পাবেন।

$ python3 -c "import getpass,pysss; print(pysss.password().encrypt(getpass.getpass('AD reader user password: ').strip(), pysss.password().AES_256))"
AD reader user password: (Enter ReadOnly user password) 
AAAQACK2....

একটি SSSD-সক্ষম লাইফসাইকেল স্ক্রিপ্ট সহ একটি হাইপারপড ক্লাস্টার তৈরি করুন৷

এরপরে, আপনি LDAPS/Active Directory ইন্টিগ্রেশন সহ একটি হাইপারপড ক্লাস্টার তৈরি করুন।

1. কনফিগারেশন ফাইল খুঁজুন config.py আপনার লাইফসাইকেল স্ক্রিপ্ট ডিরেক্টরিতে, আপনার টেক্সট এডিটর দিয়ে এটি খুলুন এবং বৈশিষ্ট্যগুলি সম্পাদনা করুন Config ক্লাস এবং SssdConfig শ্রেণী:
   1. সেট True উন্নত enable_sssd SSSD সেট আপ সক্ষম করতে।
   2. সার্জারির SssdConfig ক্লাসে SSSD এর জন্য কনফিগারেশন প্যারামিটার রয়েছে।
   3. নিশ্চিত করুন যে আপনি এর জন্য অস্পষ্ট পাসওয়ার্ড ব্যবহার করছেন ldap_default_authtok সম্পত্তি, একটি সাধারণ পাঠ্য পাসওয়ার্ড নয়।

   # Basic configuration parameters
   class Config:
            :
       # Set true if you want to install SSSD for ActiveDirectory/LDAP integration.
       # You need to configure parameters in SssdConfig as well.
       enable_sssd = True
   # Configuration parameters for ActiveDirectory/LDAP/SSSD
   class SssdConfig:
   
       # Name of domain. Can be default if you are not sure.
       domain = "default"
   
       # Comma separated list of LDAP server URIs
       ldap_uri = "ldaps://nlb-ds-xyzxyz.elb.us-west-2.amazonaws.com"
   
       # The default base DN to use for performing LDAP user operations
       ldap_search_base = "dc=hyperpod,dc=abc123,dc=com"
   
       # The default bind DN to use for performing LDAP operations
       ldap_default_bind_dn = "CN=ReadOnly,OU=Users,OU=hyperpod,DC=hyperpod,DC=abc123,DC=com"
   
       # "password" or "obfuscated_password". Obfuscated password is recommended.
       ldap_default_authtok_type = "obfuscated_password"
   
       # You need to modify this parameter with the obfuscated password, not plain text password
       ldap_default_authtok = "placeholder"
   
       # SSH authentication method - "password" or "publickey"
       ssh_auth_method = "publickey"
   
       # Home directory. You can change it to "/home/%u" if your cluster doesn't use FSx volume.
       override_homedir = "/fsx/%u"
   
       # Group names to accept SSH login
       ssh_allow_groups = {
           "controller" : ["ClusterAdmin", "ubuntu"],
           "compute" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
           "login" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
       }
   
       # Group names for sudoers
       sudoers_groups = {
           "controller" : ["ClusterAdmin", "ClusterDev"],
           "compute" : ["ClusterAdmin", "ClusterDev"],
           "login" : ["ClusterAdmin", "ClusterDev"],
       }
   

2. সার্টিফিকেট ফাইল কপি করুন ldaps.crt একই ডিরেক্টরিতে (যেখানে config.py বিদ্যমান)।
3. পরিবর্তিত জীবনচক্র স্ক্রিপ্ট ফাইল আপলোড আপনার আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, এবং এটি দিয়ে একটি হাইপারপড ক্লাস্টার তৈরি করুন।
4. স্ট্যাটাস পরিবর্তন না হওয়া পর্যন্ত অপেক্ষা করুন সেবা.

প্রতিপাদন

এসএসএইচ দিয়ে ক্লাস্টারে লগ ইন করে সমাধানটি যাচাই করা যাক। যেহেতু ক্লাস্টারটি একটি ব্যক্তিগত সাবনেটে তৈরি করা হয়েছিল, আপনি আপনার স্থানীয় পরিবেশ থেকে ক্লাস্টারে সরাসরি SSH করতে পারবেন না। ক্লাস্টারে সংযোগ করতে আপনি দুটি বিকল্প থেকে বেছে নিতে পারেন।

বিকল্প 1: AWS সিস্টেম ম্যানেজারের মাধ্যমে SSH লগইন করুন

তুমি ব্যবহার করতে পার এডাব্লুএস সিস্টেম ম্যানেজার SSH সংযোগের জন্য একটি প্রক্সি হিসাবে। SSH কনফিগারেশন ফাইলে একটি হোস্ট এন্ট্রি যোগ করুন ~/.ssh/config নিম্নলিখিত উদাহরণ ব্যবহার করে। জন্য HostName ক্ষেত্রের বিন্যাসে সিস্টেম ম্যাঞ্জার টার্গেটের নাম উল্লেখ করুন sagemaker-cluster:[cluster-id]_[instance-group-name]-[instance-id]। জন্য IdentityFile ক্ষেত্রে, ব্যবহারকারীর SSH প্রাইভেট কী-তে ফাইল পাথ নির্দিষ্ট করুন। আপনি যদি পাসওয়ার্ড প্রমাণীকরণ চয়ন করেন তবে এই ক্ষেত্রটির প্রয়োজন নেই৷

Host MyCluster-LoginNode
    HostName sagemaker-cluster:abcd1234_LoginGroup-i-01234567890abcdef
    User user1
    IdentityFile ~/keys/my-cluster-ssh-key.pem
    ProxyCommand aws --profile default --region us-west-2 ssm start-session --target %h --document-name AWS-StartSSHSession --parameters portNumber=%p

চালান ssh আপনার নির্দিষ্ট করা হোস্ট নাম ব্যবহার করে কমান্ড। আপনি নির্দিষ্ট ব্যবহারকারীর সাথে উদাহরণে লগ ইন করতে পারেন তা নিশ্চিত করুন।

$ ssh MyCluster-LoginNode
   :
   :
   ____              __  ___     __             __ __                  ___          __
  / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
 _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
/___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
         /___/                                    /___/_/
You're on the controller
Instance Type: ml.m5.xlarge
user1@ip-10-1-111-222:~$

এই মুহুর্তে, ব্যবহারকারীরা এখনও ক্লাস্টারে লগ ইন করতে সিস্টেম ম্যানেজার ডিফল্ট শেল সেশন ব্যবহার করতে পারে ssm-user প্রশাসনিক সুবিধা সহ। ডিফল্ট সিস্টেম ম্যানেজার শেল অ্যাক্সেস ব্লক করতে এবং SSH অ্যাক্সেস প্রয়োগ করতে, আপনি নিম্নলিখিত উদাহরণটি উল্লেখ করে আপনার IAM নীতি কনফিগার করতে পারেন:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssm:StartSession",
                "ssm:TerminateSession"
            ],
            "Resource": [
                "arn:aws:sagemaker:us-west-2:123456789012:cluster/abcd1234efgh",
                "arn:aws:ssm:us-west-2:123456789012:document/AWS-StartSSHSession"
            ],
            "Condition": {
                "BoolIfExists": {
                    "ssm:SessionDocumentAccessCheck": "true"
                }
            }
        }
    ]
}

SSH অ্যাক্সেস কীভাবে প্রয়োগ করতে হয় সে সম্পর্কে আরও বিশদ বিবরণের জন্য, পড়ুন IAM নীতিতে সেশনের নথি উল্লেখ করে একটি নথি দিয়ে একটি সেশন শুরু করুন.

বিকল্প 2: বেসশন হোস্টের মাধ্যমে SSH লগইন করুন

ক্লাস্টার অ্যাক্সেস করার আরেকটি বিকল্প হল a ব্যবহার করা দুর্গ হোস্ট একটি প্রক্সি হিসাবে। আপনি এই বিকল্পটি ব্যবহার করতে পারেন যখন ব্যবহারকারীর সিস্টেম ম্যানেজার সেশনগুলি ব্যবহার করার অনুমতি নেই বা সিস্টেম ম্যানেজার কাজ না করলে সমস্যা সমাধানের জন্য।

1. আপনার স্থানীয় পরিবেশ থেকে ইনবাউন্ড SSH অ্যাক্সেস (TCP পোর্ট 22) মঞ্জুরি দেয় এমন একটি বুরজ নিরাপত্তা গোষ্ঠী তৈরি করুন।
2. বুজশন সিকিউরিটি গ্রুপ থেকে ইনবাউন্ড এসএসএইচ অ্যাক্সেসের অনুমতি দিতে ক্লাস্টারের জন্য নিরাপত্তা গ্রুপ আপডেট করুন।
3. একটি EC2 লিনাক্স উদাহরণ তৈরি করুন।
4. জন্য আমাজন মেশিন ইমেজনির্বাচন উবুন্টু সার্ভার 20.04 LTS.
5. জন্য দৃষ্টান্তের ধরণনির্বাচন t3. ছোট.
6. মধ্যে নেটওয়ার্ক সেটিংস বিভাগে, নিম্নলিখিত পরামিতি প্রদান করুন:
   1. জন্য VPCনির্বাচন সেজমেকার হাইপারপড ভিপিসি (যা আপনি CloudFormation টেমপ্লেট দিয়ে তৈরি করেছেন)।
   2. জন্য সাবনেট, ক্লাউডফরমেশন টেমপ্লেট দিয়ে আপনি যে পাবলিক সাবনেট তৈরি করেছেন তা বেছে নিন।
   3. জন্য সাধারণ নিরাপত্তা গোষ্ঠী, আপনার তৈরি করা বুরজ নিরাপত্তা গ্রুপ নির্বাচন করুন.
7. জন্য স্টোরেজ কনফিগার করুন, স্টোরেজ 8 GB এ সেট করুন।
8. বেসশন হোস্টের সর্বজনীন আইপি ঠিকানা এবং লক্ষ্য উদাহরণের ব্যক্তিগত আইপি ঠিকানা সনাক্ত করুন (উদাহরণস্বরূপ, ক্লাস্টারের লগইন নোড), এবং নিম্নলিখিত উদাহরণটি উল্লেখ করে SSH কনফিগারেশনে দুটি হোস্ট এন্ট্রি যুক্ত করুন:

   Host Bastion
       HostName 11.22.33.44
       User ubuntu
       IdentityFile ~/keys/my-bastion-ssh-key.pem
   
   Host MyCluster-LoginNode-with-Proxy
       HostName 10.1.111.222
       User user1
       IdentityFile ~/keys/my-cluster-ssh-key.pem
       ProxyCommand ssh -q -W %h:%p Bastion

9. চালান ssh আপনি আগে নির্দিষ্ট করা লক্ষ্য হোস্ট নাম ব্যবহার করে কমান্ড, এবং নিশ্চিত করুন যে আপনি নির্দিষ্ট ব্যবহারকারীর সাথে ইনস্ট্যান্সে লগ ইন করতে পারেন:

   $ ssh MyCluster-LoginNode-with-Proxy
      :
      :
      ____              __  ___     __             __ __                  ___          __
     / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
    _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
   /___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
            /___/                                    /___/_/
   You're on the controller
   Instance Type: ml.m5.xlarge
   user1@ip-10-1-111-222:~$

পরিষ্কার কর

নিম্নলিখিত ক্রমে সংস্থানগুলি পরিষ্কার করুন:

1. হাইপারপড ক্লাস্টার মুছুন।
2. নেটওয়ার্ক লোড ব্যালেন্সার মুছুন।
3. লোড ব্যালেন্সিং টার্গেট গ্রুপ মুছুন।
4. সার্টিফিকেট ম্যানেজারে আমদানি করা শংসাপত্রটি মুছুন।
5. EC2 উইন্ডোজ ইনস্ট্যান্স মুছুন।
6. বেসশন হোস্টের জন্য EC2 Linux উদাহরণ মুছুন।
7. AWS পরিচালিত Microsoft AD মুছুন।
8. ভিপিসি, সাবনেট, নিরাপত্তা গোষ্ঠী এবং লাস্টার ভলিউমের জন্য FSx-এর জন্য ক্লাউডফর্মেশন স্ট্যাক মুছুন।

উপসংহার

এই পোস্টটি অ্যাক্টিভ ডিরেক্টরির সাথে একত্রিত একটি হাইপারপড ক্লাস্টার তৈরি করার পদক্ষেপগুলি প্রদান করেছে৷ এই সমাধানটি বড় আকারের ক্লাস্টারগুলিতে ব্যবহারকারীর রক্ষণাবেক্ষণের ঝামেলা দূর করে এবং আপনাকে এক জায়গায় কেন্দ্রীয়ভাবে ব্যবহারকারী এবং গোষ্ঠীগুলি পরিচালনা করতে দেয়।

হাইপারপড সম্পর্কে আরও তথ্যের জন্য, দেখুন হাইপারপড ওয়ার্কশপ এবং সেজমেকার হাইপারপড বিকাশকারী গাইড. মন্তব্য বিভাগে এই সমাধান আপনার প্রতিক্রিয়া ছেড়ে দিন.

লেখক সম্পর্কে

তোমোনোরি শিমোমুরা তিনি আমাজন সেজমেকার দলের একজন সিনিয়র সলিউশন আর্কিটেক্ট, যেখানে তিনি সেজমেকার গ্রাহকদের গভীরভাবে প্রযুক্তিগত পরামর্শ প্রদান করেন এবং পণ্য দলকে পণ্যের উন্নতির পরামর্শ দেন। অ্যামাজনে যোগদানের আগে, তিনি ভিডিও গেম কনসোলগুলির জন্য এমবেডেড সফ্টওয়্যার ডিজাইন এবং বিকাশে কাজ করেছিলেন এবং এখন তিনি ক্লাউড সাইড প্রযুক্তিতে তার গভীর দক্ষতার ব্যবহার করছেন৷ তার অবসর সময়ে, তিনি ভিডিও গেম খেলা, বই পড়া এবং সফ্টওয়্যার লেখা উপভোগ করেন।

জিউসেপ অ্যাঞ্জেলো পোরসেলি অ্যামাজন ওয়েব পরিষেবাগুলির জন্য একজন প্রধান মেশিন লার্নিং বিশেষজ্ঞ সমাধান স্থপতি৷ কয়েক বছরের সফ্টওয়্যার ইঞ্জিনিয়ারিং এবং একটি ML ব্যাকগ্রাউন্ডের সাথে, তিনি যেকোন আকারের গ্রাহকদের সাথে তাদের ব্যবসা এবং প্রযুক্তিগত চাহিদাগুলি বোঝার জন্য এবং AI এবং ML সমাধানগুলি ডিজাইন করেন যা AWS ক্লাউড এবং Amazon মেশিন লার্নিং স্ট্যাকের সর্বোত্তম ব্যবহার করে৷ তিনি MLOps, কম্পিউটার ভিশন এবং NLP সহ বিভিন্ন ডোমেনে প্রজেক্টে কাজ করেছেন, যেখানে AWS পরিষেবার একটি বিস্তৃত সেট জড়িত। তার অবসর সময়ে, জিউসেপ ফুটবল খেলা উপভোগ করেন।

মনিদীপা চক্রবর্তী বর্তমানে Amazon Web Services (AWS) এ একজন সিনিয়র সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার হিসেবে কাজ করছেন, বিশেষ করে SageMaker HyperPod টিমের মধ্যে। তিনি পরিচালন শ্রেষ্ঠত্ব প্রদর্শন করে এমন শক্তিশালী এবং মাপযোগ্য সিস্টেম ডিজাইন এবং বাস্তবায়নের মাধ্যমে গ্রাহকদের সহায়তা করতে প্রতিশ্রুতিবদ্ধ। প্রায় এক দশকের সফ্টওয়্যার বিকাশের অভিজ্ঞতা নিয়ে, মনিদীপা ভিডিও, রিটেইল, অ্যামাজন গো এবং এডব্লিউএস সেজমেকার সহ অ্যামাজনের মধ্যে বিভিন্ন সেক্টরে অবদান রেখেছেন।

সতীশ পশুমূর্তি অ্যামাজন ওয়েব সার্ভিসের একজন সফটওয়্যার ডেভেলপার। কয়েক বছরের সফ্টওয়্যার ইঞ্জিনিয়ারিং এবং একটি ML ব্যাকগ্রাউন্ডের সাথে, তিনি ML এবং সিস্টেমের মধ্যে ব্যবধান পূরণ করতে পছন্দ করেন এবং এমন সিস্টেমগুলি তৈরি করতে উত্সাহী যা বৃহৎ আকারের মডেল প্রশিক্ষণ সম্ভব করে তোলে। তিনি মেশিন লার্নিং ফ্রেমওয়ার্ক, মডেল বেঞ্চমার্কিং, হাইপারপড বিটা নির্মাণ সহ AWS পরিষেবাগুলির একটি বিস্তৃত সেট সহ বিভিন্ন ডোমেনে প্রকল্পগুলিতে কাজ করেছেন। অবসর সময়ে, সতীশ ব্যাডমিন্টন খেলা উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/integrate-hyperpod-clusters-with-active-directory-for-seamless-multi-user-login/