อเมซอน SageMaker เป็นบริการที่มีการจัดการเต็มรูปแบบซึ่งช่วยให้นักพัฒนาและนักวิทยาศาสตร์ข้อมูลสามารถสร้าง ฝึกอบรม และปรับใช้โมเดลการเรียนรู้ของเครื่อง (ML) ได้อย่างรวดเร็วและง่ายดาย SageMaker ทำให้ง่ายต่อการปรับใช้โมเดลในการผลิตโดยตรงผ่านการเรียก API ไปยังบริการ โมเดลต่างๆ ได้รับการบรรจุลงในคอนเทนเนอร์เพื่อการปรับใช้ที่มีประสิทธิภาพและปรับขนาดได้

SageMaker มีตัวเลือกมากมายในการปรับใช้โมเดล ตัวเลือกเหล่านี้จะแตกต่างกันไปตามปริมาณการควบคุมที่คุณมีและงานที่จำเป็นในตอนท้าย ที่ AWS SDK ช่วยให้คุณควบคุมและยืดหยุ่นได้มากที่สุด เป็น API ระดับต่ำสำหรับ Java, C++, Go, JavaScript, Node.js, PHP, Ruby และ Python ที่ SageMaker Python SDK เป็น Python API ระดับสูงที่สรุปขั้นตอนและการกำหนดค่าบางส่วน และทำให้ปรับใช้โมเดลได้ง่ายขึ้น อินเทอร์เฟซบรรทัดคำสั่ง AWS (AWS CLI) เป็นอีกหนึ่งเครื่องมือระดับสูงที่คุณสามารถใช้เพื่อทำงานเชิงโต้ตอบกับ SageMaker เพื่อปรับใช้โมเดลโดยไม่ต้องเขียนโค้ดของคุณเอง

เรากำลังเปิดตัวสองตัวเลือกใหม่ที่ทำให้กระบวนการบรรจุและปรับใช้โมเดลโดยใช้ SageMaker ง่ายขึ้น วิธีหนึ่งคือการปรับใช้แบบเป็นโปรแกรม ด้วยเหตุนี้ เราจึงเสนอการปรับปรุง Python SDK สำหรับข้อมูลเพิ่มเติม โปรดดูที่ รวมแพ็คเกจและปรับใช้ ML และ LLM แบบคลาสสิกได้อย่างง่ายดายด้วย Amazon SageMaker ตอนที่ 1: การปรับปรุง PySDK วิธีที่สองคือการปรับใช้แบบโต้ตอบ ด้วยเหตุนี้ เรากำลังเปิดตัวประสบการณ์เชิงโต้ตอบแบบใหม่ใน สตูดิโอ Amazon SageMaker. มันจะช่วยให้คุณปรับใช้โมเดลที่ได้รับการฝึกหรือพื้นฐาน (FM) ของคุณเองได้อย่างรวดเร็ว Amazon SageMaker JumpStart ด้วยการกำหนดค่าที่ได้รับการปรับปรุงให้เหมาะสม และบรรลุประสิทธิภาพที่คาดการณ์ได้ในราคาที่ถูกที่สุด อ่านต่อเพื่อดูว่าประสบการณ์เชิงโต้ตอบแบบใหม่จะเป็นอย่างไร

ประสบการณ์การโต้ตอบใหม่ใน SageMaker Studio

โพสต์นี้จะถือว่าคุณได้ฝึกฝนโมเดล ML อย่างน้อยหนึ่งโมเดล หรือใช้ FM จากฮับโมเดล SageMaker JumpStart และพร้อมที่จะปรับใช้โมเดลเหล่านั้น การฝึกโมเดลโดยใช้ SageMaker ไม่ใช่ข้อกำหนดเบื้องต้นสำหรับการปรับใช้โมเดลโดยใช้ SageMaker มีความคุ้นเคยกับ SageMaker Studio บ้างเช่นกัน

เราจะแนะนำคุณตลอดวิธีการดำเนินการต่อไปนี้:

• สร้างโมเดล SageMaker
• ปรับใช้โมเดล SageMaker
• ปรับใช้ SageMaker JumpStart โมเดลภาษาขนาดใหญ่ (LLM)
• ปรับใช้หลายรุ่นหลังจุดสิ้นสุดเดียว
• การอนุมานแบบจำลองการทดสอบ
• แก้ไขข้อผิดพลาด

สร้างโมเดล SageMaker

ขั้นตอนแรกในการตั้งค่าตำแหน่งข้อมูล SageMaker สำหรับการอนุมานคือการสร้างออบเจ็กต์โมเดล SageMaker ออบเจ็กต์โมเดลนี้ประกอบด้วยสองสิ่ง: คอนเทนเนอร์สำหรับโมเดล และโมเดลที่ได้รับการฝึกที่จะใช้สำหรับการอนุมาน ประสบการณ์ UI แบบโต้ตอบใหม่ทำให้กระบวนการสร้างโมเดล SageMaker ตรงไปตรงมา หากคุณเพิ่งเริ่มใช้ SageMaker Studio โปรดดูที่ คู่มือสำหรับนักพัฒนา ที่จะเริ่มต้น

1. ในอินเทอร์เฟซ SageMaker Studio ให้เลือก Models ในบานหน้าต่างนำทาง
2. เกี่ยวกับ โมเดลที่ปรับใช้ได้ เลือกแท็บ สร้างบัญชีตัวแทน.

ตอนนี้สิ่งที่คุณต้องทำคือระบุรายละเอียดคอนเทนเนอร์โมเดล ตำแหน่งของข้อมูลโมเดลของคุณ และ AWS Identity และการจัดการการเข้าถึง บทบาท (IAM) สำหรับ SageMaker ที่จะรับแทนคุณ

3. สำหรับคอนเทนเนอร์โมเดล คุณสามารถใช้หนึ่งในอิมเมจ Docker ที่สร้างไว้ล่วงหน้าของ SageMaker ซึ่งมีให้สำหรับเฟรมเวิร์กและไลบรารียอดนิยมได้ หากคุณเลือกใช้ตัวเลือกนี้ ให้เลือกเฟรมเวิร์กคอนเทนเนอร์ เวอร์ชันเฟรมเวิร์กที่เกี่ยวข้อง และประเภทฮาร์ดแวร์จากรายการประเภทที่รองรับ
   

หรือคุณสามารถระบุเส้นทางไปยังคอนเทนเนอร์ของคุณเองที่จัดเก็บไว้ได้ การลงทะเบียน Amazon Elastic Container (อเมซอน อีซีอาร์).

4. จากนั้น อัปโหลดอาร์ติแฟกต์โมเดลของคุณ SageMaker Studio มีสองวิธีในการอัปโหลดอาร์ติแฟกต์ของโมเดล:
   • ขั้นแรก คุณสามารถระบุก model.tar.gz ไม่ว่าจะใน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ที่เก็บข้อมูลหรือในเส้นทางในพื้นที่ของคุณ นี้ model.tar.gz ต้องมีโครงสร้างในรูปแบบที่สอดคล้องกับคอนเทนเนอร์ที่คุณใช้
   • หรือรองรับการอัปโหลดอาร์ติแฟกต์ดิบสำหรับโมเดล PyTorch และ XGBoost สำหรับสองเฟรมเวิร์กนี้ ให้จัดเตรียมอาร์ติแฟกต์ของโมเดลในรูปแบบที่คอนเทนเนอร์ต้องการ ตัวอย่างเช่น สำหรับ PyTorch นี่จะเป็น model.pth. โปรดทราบว่าอาร์ติแฟกต์โมเดลของคุณยังรวมสคริปต์การอนุมานสำหรับการประมวลผลล่วงหน้าและการประมวลผลภายหลังด้วย หากคุณไม่ได้ระบุสคริปต์การอนุมาน ระบบจะใช้ตัวจัดการการอนุมานเริ่มต้นสำหรับคอนเทนเนอร์ที่คุณเลือก
5. หลังจากที่คุณเลือกคอนเทนเนอร์และอาร์ติแฟกต์แล้ว ให้ระบุบทบาท IAM
6. Choose สร้างโมเดลที่สามารถปรับใช้ได้ เพื่อสร้างโมเดล SageMaker
   

ขั้นตอนก่อนหน้านี้แสดงให้เห็นถึงขั้นตอนการทำงานที่ง่ายที่สุด คุณสามารถปรับแต่งกระบวนการสร้างแบบจำลองเพิ่มเติมได้ ตัวอย่างเช่น คุณสามารถระบุรายละเอียด VPC และเปิดใช้งานการแยกเครือข่ายเพื่อให้แน่ใจว่าคอนเทนเนอร์ไม่สามารถโทรออกบนอินเทอร์เน็ตสาธารณะได้ คุณสามารถขยาย ตัวเลือกขั้นสูง ส่วนเพื่อดูตัวเลือกเพิ่มเติม

คุณสามารถรับคำแนะนำเกี่ยวกับฮาร์ดแวร์สำหรับอัตราส่วนราคา/ประสิทธิภาพที่ดีที่สุดเพื่อปรับใช้ตำแหน่งข้อมูลของคุณโดยการรันงานการเปรียบเทียบประสิทธิภาพผู้แนะนำการอนุมานของ SageMaker หากต้องการปรับแต่งโมเดล SageMaker เพิ่มเติม คุณสามารถส่งผ่านตัวแปรสภาพแวดล้อมที่ปรับแต่งได้ที่ระดับคอนเทนเนอร์ ผู้แนะนำการอนุมานจะใช้ช่วงของตัวแปรเหล่านี้เพื่อค้นหาการกำหนดค่าที่เหมาะสมที่สุดสำหรับการแสดงโมเดลและคอนเทนเนอร์ของคุณ

หลังจากที่คุณสร้างแบบจำลองของคุณแล้ว คุณสามารถดูได้บน โมเดลที่ปรับใช้ได้ แท็บ หากพบปัญหาใดๆ ในการสร้างแบบจำลอง คุณจะเห็นสถานะใน ตรวจสอบสถานะ คอลัมน์. เลือกชื่อรุ่นเพื่อดูรายละเอียด

ปรับใช้โมเดล SageMaker

ในสถานการณ์พื้นฐานที่สุด สิ่งที่คุณต้องทำคือเลือกโมเดลที่สามารถปรับใช้ได้จาก Models หรือ LLM จากหน้า SageMaker JumpStart เลือกประเภทอินสแตนซ์ ตั้งค่าจำนวนอินสแตนซ์เริ่มต้น และปรับใช้โมเดล มาดูกันว่ากระบวนการนี้มีลักษณะอย่างไรใน SageMaker Studio สำหรับโมเดล SageMaker ของคุณเอง เราจะหารือเกี่ยวกับการใช้ LLM ในภายหลังในโพสต์นี้

1. เกี่ยวกับ Models หน้า เลือก โมเดลที่ปรับใช้ได้ แถบ
2. เลือกโมเดลที่จะปรับใช้และเลือก ปรับใช้.
   
3. ขั้นตอนต่อไปคือการเลือกประเภทอินสแตนซ์ที่ SageMaker จะวางไว้ด้านหลังตำแหน่งข้อมูลการอนุมาน

คุณต้องการอินสแตนซ์ที่ให้ประสิทธิภาพดีที่สุดด้วยต้นทุนที่ต่ำที่สุด SageMaker ช่วยให้คุณตัดสินใจได้อย่างตรงไปตรงมาโดยแสดงคำแนะนำ หากคุณได้เปรียบเทียบโมเดลของคุณโดยใช้ SageMaker Inference Recommender ในระหว่างขั้นตอนการสร้างแบบจำลอง SageMaker คุณจะเห็นคำแนะนำจากการวัดประสิทธิภาพนั้นในเมนูแบบเลื่อนลง

มิฉะนั้น คุณจะเห็นรายการอินสแตนซ์ที่คาดหวังบนเมนู SageMaker ใช้การวิเคราะห์พฤติกรรมของตัวเองเพื่อเติมรายการในกรณีนั้น

4. ระบุจำนวนอินสแตนซ์เริ่มต้น จากนั้นเลือก ปรับใช้.

SageMaker จะสร้างการกำหนดค่าตำแหน่งข้อมูลและปรับใช้โมเดลของคุณหลังตำแหน่งข้อมูลนั้น หลังจากปรับใช้โมเดลแล้ว คุณจะเห็นตำแหน่งข้อมูลและสถานะโมเดลเป็น อยู่ในการให้บริการ. โปรดทราบว่าจุดสิ้นสุดอาจพร้อมก่อนโมเดล

นี่คือที่ใน SageMaker Studio ที่คุณจะจัดการตำแหน่งข้อมูล คุณสามารถนำทางไปยังหน้ารายละเอียดปลายทางได้โดยการเลือก ปลายทาง ภายใต้ การใช้งาน ในบานหน้าต่างนำทาง ใช้ เพิ่มรุ่น และ ลบ ปุ่มเพื่อเปลี่ยนโมเดลเบื้องหลังปลายทางโดยไม่จำเป็นต้องสร้างปลายทางใหม่ ที่ อนุมานทดสอบ แท็บช่วยให้คุณสามารถทดสอบโมเดลของคุณโดยส่งคำขอทดสอบไปยังหนึ่งในโมเดลที่ให้บริการได้โดยตรงจากอินเทอร์เฟซ SageMaker Studio คุณยังสามารถแก้ไขนโยบายการปรับขนาดอัตโนมัติได้ที่ ปรับขนาดอัตโนมัติ แท็บในหน้านี้ รายละเอียดเพิ่มเติมเกี่ยวกับการเพิ่ม การลบ และการทดสอบโมเดลจะครอบคลุมอยู่ในส่วนต่อไปนี้ คุณสามารถดูข้อมูลเครือข่าย ความปลอดภัย และการประมวลผลสำหรับตำแหน่งข้อมูลนี้ได้ที่ การตั้งค่า แถบ

ปรับแต่งการใช้งาน

ตัวอย่างก่อนหน้านี้แสดงให้เห็นว่าการปรับใช้โมเดลเดียวโดยมีการกำหนดค่าขั้นต่ำที่จำเป็นจากฝั่งของคุณนั้นตรงไปตรงมาเพียงใด SageMaker เติมฟิลด์ส่วนใหญ่ให้กับคุณ แต่คุณสามารถปรับแต่งการกำหนดค่าได้ ตัวอย่างเช่น สร้างชื่อให้กับปลายทางโดยอัตโนมัติ อย่างไรก็ตาม คุณสามารถตั้งชื่อจุดสิ้นสุดตามความต้องการของคุณ หรือใช้จุดสิ้นสุดที่มีอยู่ใน ชื่อปลายทาง เมนูแบบเลื่อนลง สำหรับตำแหน่งข้อมูลที่มีอยู่ คุณจะเห็นเฉพาะตำแหน่งข้อมูลที่ให้บริการในขณะนั้นเท่านั้น คุณสามารถใช้ ตัวเลือกขั้นสูง ส่วนเพื่อระบุบทบาท IAM รายละเอียด VPC และแท็ก

ปรับใช้ SageMaker JumpStart LLM

หากต้องการปรับใช้ SageMaker JumpStart LLM ให้ทำตามขั้นตอนต่อไปนี้:

1. ไปที่ เริ่มกระโดด หน้าใน SageMaker Studio
2. เลือกชื่อพันธมิตรรายใดรายหนึ่งเพื่อเรียกดูรายการรุ่นที่มีจำหน่ายจากพันธมิตรรายนั้น หรือใช้คุณลักษณะการค้นหาเพื่อไปที่หน้ารุ่นหากคุณทราบชื่อของรุ่นนั้น
3. เลือกโมเดลที่คุณต้องการปรับใช้
   
4. Choose ปรับใช้.
   

โปรดทราบว่าการใช้ LLM อยู่ภายใต้ EULA และข้อกำหนดและเงื่อนไขของผู้ให้บริการ

5. ยอมรับใบอนุญาตและข้อกำหนด
6. ระบุประเภทอินสแตนซ์

โมเดลจำนวนมากจากฮับโมเดล JumpStart มาพร้อมกับประเภทอินสแตนซ์เริ่มต้นที่ได้รับการปรับให้เหมาะสมกับราคาสำหรับการปรับใช้ สำหรับรุ่นที่ไม่มีค่าเริ่มต้นนี้ คุณจะได้รับรายการประเภทอินสแตนซ์ที่รองรับบน ประเภทอินสแตนซ์ เมนูแบบเลื่อนลง สำหรับโมเดลการเปรียบเทียบประสิทธิภาพ หากคุณต้องการปรับการใช้งานให้เหมาะสมโดยเฉพาะสำหรับต้นทุนหรือประสิทธิภาพเพื่อให้ตรงกับกรณีการใช้งานเฉพาะของคุณ คุณสามารถเลือกได้ การกำหนดค่าสำรอง เพื่อดูตัวเลือกเพิ่มเติมที่ได้รับการเปรียบเทียบด้วยการผสมผสานโทเค็นทั้งหมด ความยาวอินพุต และการทำงานพร้อมกันสูงสุด คุณยังเลือกจากอินสแตนซ์ที่รองรับอื่นๆ สำหรับรุ่นนั้นได้ด้วย

7. หากใช้การกำหนดค่าอื่น ให้เลือกอินสแตนซ์ของคุณแล้วเลือก เลือก.
   
8. Choose ปรับใช้ เพื่อปรับใช้โมเดล

คุณจะเห็นจุดสิ้นสุดและสถานะโมเดลเปลี่ยนไป อยู่ในการให้บริการ. คุณยังมีตัวเลือกในการปรับแต่งการปรับใช้ให้ตรงตามความต้องการของคุณในกรณีนี้

ปรับใช้หลายรุ่นหลังจุดสิ้นสุดเดียว

SageMaker ช่วยให้คุณสามารถปรับใช้หลายโมเดลหลังจุดสิ้นสุดเดียว ซึ่งจะช่วยลดต้นทุนการโฮสต์โดยปรับปรุงการใช้งานอุปกรณ์ปลายทางเมื่อเปรียบเทียบกับการใช้อุปกรณ์ปลายทางที่มีเพียงรุ่นเดียวอยู่ข้างหลัง นอกจากนี้ยังลดค่าใช้จ่ายในการปรับใช้เนื่องจาก SageMaker จัดการโมเดลการโหลดในหน่วยความจำ และปรับขนาดตามรูปแบบการรับส่งข้อมูลไปยังจุดสิ้นสุดของคุณ ตอนนี้ SageMaker Studio ทำให้การดำเนินการนี้เป็นเรื่องง่าย

1. เริ่มต้นด้วยการเลือกโมเดลที่คุณต้องการปรับใช้ จากนั้นเลือก ปรับใช้.
   
2. จากนั้น คุณสามารถสร้างตำแหน่งข้อมูลที่มีหลายโมเดลซึ่งมีจำนวนการประมวลผลที่คุณกำหนดไว้

ในกรณีนี้ เราใช้อินสแตนซ์ ml.p4d.24xlarge สำหรับตำแหน่งข้อมูลและจัดสรรทรัพยากรที่จำเป็นสำหรับโมเดลทั้งสองที่แตกต่างกันของเรา โปรดทราบว่าตำแหน่งข้อมูลของคุณถูกจำกัดอยู่ในประเภทอินสแตนซ์ที่คุณสมบัตินี้รองรับ

3. หากคุณเริ่มต้นการไหลจาก โมเดลที่ปรับใช้ได้ และต้องการเพิ่ม SageMaker JumpStart LLM หรือในทางกลับกัน คุณสามารถทำให้เป็นจุดสิ้นสุดที่รองรับหลายรุ่นได้โดยเลือก เพิ่มรุ่น หลังจากเริ่มเวิร์กโฟลว์การปรับใช้
   
4. ที่นี่ คุณสามารถเลือก FM อื่นจากฮับรุ่น SageMaker JumpStart หรือรุ่นที่ใช้ โมเดลที่ปรับใช้ได้ ตัวเลือก ซึ่งอ้างถึงโมเดลที่คุณบันทึกเป็นออบเจ็กต์โมเดล SageMaker
5. เลือกการตั้งค่าโมเดลของคุณ:
   • หากโมเดลใช้อินสแตนซ์ CPU ให้เลือกจำนวน CPU และจำนวนสำเนาขั้นต่ำสำหรับโมเดล
   • หากโมเดลใช้อินสแตนซ์ GPU ให้เลือกจำนวนตัวเร่งความเร็วและจำนวนสำเนาขั้นต่ำสำหรับโมเดล
6. Choose เพิ่มรุ่น.
   
7. Choose ปรับใช้ เพื่อปรับใช้โมเดลเหล่านี้กับตำแหน่งข้อมูล SageMaker
   

เมื่อปลายทางพร้อมและพร้อม (อยู่ในการให้บริการ สถานะ) คุณจะมีสองโมเดลที่ใช้งานอยู่หลังจุดปลายเดียว

การอนุมานแบบจำลองการทดสอบ

ขณะนี้ SageMaker Studio ทำให้การทดสอบคำขออนุมานโมเดลเป็นเรื่องง่าย คุณสามารถส่งข้อมูลเพย์โหลดได้โดยตรงโดยใช้ประเภทเนื้อหาที่รองรับ เช่น แอปพลิเคชันหรือ JSON ข้อความหรือ CSV หรือใช้โค้ดตัวอย่าง Python SDK เพื่อสร้างคำขอเรียกใช้จากสภาพแวดล้อมการเขียนโปรแกรมของคุณ เช่น โน้ตบุ๊กหรือสภาพแวดล้อมการพัฒนาแบบรวมในเครื่อง (IDE)

โปรดทราบว่าตัวเลือกโค้ดตัวอย่าง Python SDK ใช้ได้เฉพาะกับโมเดล SageMaker JumpStart เท่านั้น และได้รับการปรับแต่งสำหรับกรณีการใช้งานโมเดลเฉพาะที่มีการแปลงข้อมูลอินพุต/เอาต์พุต

แก้ไขข้อผิดพลาด

เพื่อช่วยแก้ไขปัญหาและเจาะลึกการปรับใช้โมเดล เรามีคำแนะนำเครื่องมือเกี่ยวกับทรัพยากร Status ป้ายกำกับเพื่อแสดงข้อความแสดงข้อผิดพลาดและเหตุผลที่เกี่ยวข้อง มีลิงค์ด้วย อเมซอน คลาวด์วอตช์ กลุ่มบันทึกในหน้ารายละเอียดปลายทาง สำหรับตำแหน่งข้อมูลรุ่นเดียว ลิงก์ไปยังบันทึกคอนเทนเนอร์ CloudWatch จะอยู่ในตำแหน่งที่สะดวกใน สรุป ส่วนของรายละเอียดปลายทาง สำหรับตำแหน่งข้อมูลที่มีหลายรุ่น ลิงก์ไปยังบันทึก CloudWatch จะอยู่ที่แต่ละแถวของ Models มุมมองตาราง ต่อไปนี้เป็นสถานการณ์ข้อผิดพลาดทั่วไปสำหรับการแก้ไขปัญหา:

• การตรวจสอบประสิทธิภาพการ Ping ของโมเดลล้มเหลว – การปรับใช้โมเดลอาจล้มเหลวเนื่องจากคอนเทนเนอร์ที่ให้บริการไม่ผ่านการตรวจสอบสถานภาพของปิงโมเดล หากต้องการแก้ไขปัญหา โปรดดูบันทึกคอนเทนเนอร์ต่อไปนี้ที่เผยแพร่โดยกลุ่มบันทึก CloudWatch:

  /aws/sagemaker/Endpoints/[EndpointName]
  /aws/sagemaker/InferenceComponents/[InferenceComponentName]

• โมเดลและการกำหนดค่าปลายทางที่ไม่สอดคล้องกันทำให้เกิดความล้มเหลวในการปรับใช้ – หากการปรับใช้ล้มเหลวด้วยข้อความแสดงข้อผิดพลาดข้อใดข้อหนึ่งต่อไปนี้ หมายความว่าโมเดลที่เลือกเพื่อปรับใช้บทบาท IAM การกำหนดค่า VPC หรือการกำหนดค่าการแยกเครือข่ายที่แตกต่างกัน การแก้ไขคือการอัปเดตรายละเอียดโมเดลเพื่อใช้บทบาท IAM, การกำหนดค่า VPC และการกำหนดค่าการแยกเครือข่ายเดียวกันในระหว่างขั้นตอนการปรับใช้ หากคุณกำลังเพิ่มโมเดลไปยังตำแหน่งข้อมูลที่มีอยู่ คุณสามารถสร้างออบเจ็กต์โมเดลใหม่เพื่อให้ตรงกับการกำหนดค่าตำแหน่งข้อมูลเป้าหมายได้

  Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
  Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
  Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

• ความจุไม่เพียงพอที่จะปรับใช้โมเดลเพิ่มเติมบนโครงสร้างพื้นฐานปลายทางที่มีอยู่ – หากการปรับใช้ล้มเหลวโดยมีข้อความแสดงข้อผิดพลาดต่อไปนี้ แสดงว่าโครงสร้างพื้นฐานจุดสิ้นสุดปัจจุบันมีทรัพยากรฮาร์ดแวร์คอมพิวเตอร์หรือหน่วยความจำไม่เพียงพอที่จะปรับใช้โมเดล การแก้ไขคือการเพิ่มจำนวนอินสแตนซ์สูงสุดบนตำแหน่งข้อมูลหรือลบโมเดลที่มีอยู่ซึ่งปรับใช้บนตำแหน่งข้อมูลเพื่อให้มีพื้นที่สำหรับการปรับใช้โมเดลใหม่

  There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

• ประเภทอินสแตนซ์ที่ไม่รองรับสำหรับการปรับใช้ปลายทางหลายรุ่น – หากการปรับใช้ล้มเหลวโดยมีข้อความแสดงข้อผิดพลาดต่อไปนี้ แสดงว่าขณะนี้ประเภทอินสแตนซ์ที่เลือกยังไม่ได้รับการสนับสนุนสำหรับการปรับใช้ตำแหน่งข้อมูลหลายโมเดล การแก้ไขคือการเปลี่ยนประเภทอินสแตนซ์เป็นอินสแตนซ์ที่รองรับฟีเจอร์นี้แล้วลองปรับใช้อีกครั้ง

  The instance type is not supported for multiple models endpoint. Please choose a different instance type.

สำหรับปัญหาการปรับใช้โมเดลอื่นๆ โปรดดูที่ คุณสมบัติที่รองรับ.

ทำความสะอาด

การล้างข้อมูลก็ตรงไปตรงมาเช่นกัน คุณสามารถลบโมเดลอย่างน้อยหนึ่งโมเดลออกจากตำแหน่งข้อมูล SageMaker ที่มีอยู่ได้โดยการเลือกโมเดลเฉพาะบนคอนโซล SageMaker หากต้องการลบปลายทางทั้งหมด ให้ไปที่ ปลายทาง หน้า เลือกปลายทางที่ต้องการ เลือก ลบและยอมรับข้อจำกัดความรับผิดชอบเพื่อดำเนินการลบต่อไป

สรุป

ประสบการณ์การโต้ตอบที่ได้รับการปรับปรุงใน SageMaker Studio ช่วยให้นักวิทยาศาสตร์ข้อมูลมุ่งเน้นไปที่การสร้างแบบจำลองและนำสิ่งประดิษฐ์ของพวกเขาไปยัง SageMaker ในขณะที่แยกแยะความซับซ้อนของการปรับใช้ สำหรับผู้ที่ชื่นชอบแนวทางที่ใช้โค้ด ลองดูโค้ดที่เทียบเท่ากับ คลาส ModelBuilder.

หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่ SageMaker ModelBuilder อินเทอร์เฟซ Python เอกสาร และผู้นำทาง ปรับใช้เวิร์กโฟลว์ ใน SageMaker สตูดิโอ ไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับ SageMaker SDK และ SageMaker Studio คุณจ่ายเฉพาะทรัพยากรพื้นฐานที่ใช้เท่านั้น สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการปรับใช้โมเดลด้วย SageMaker โปรดดู ปรับใช้แบบจำลองเพื่อการอนุมาน.

ขอขอบคุณเป็นพิเศษสำหรับ Sirisha Upadhyayala, Melanie Li, Dhawal Patel, Sam Edwards และ Kumara Swami Borra

---

เกี่ยวกับผู้แต่ง

ราหู ราเมชา เป็นสถาปนิกอาวุโสด้านโซลูชัน ML พร้อมทีมบริการ Amazon SageMaker เขามุ่งเน้นที่การช่วยเหลือลูกค้าในการสร้าง ปรับใช้ และโยกย้ายปริมาณงานการผลิต ML ไปยัง SageMaker ในวงกว้าง เขาเชี่ยวชาญด้านการเรียนรู้ของเครื่อง, AI และคอมพิวเตอร์วิทัศน์ และสำเร็จการศึกษาระดับปริญญาโทสาขาวิทยาการคอมพิวเตอร์จาก UT Dallas ในเวลาว่าง เขาชอบท่องเที่ยวและถ่ายรูป

ดีพัค การ์ก เป็นสถาปนิกโซลูชันที่ AWS เขาชอบเจาะลึกบริการของ AWS และแบ่งปันความรู้กับลูกค้า Deepak มีพื้นฐานด้านเครือข่ายการจัดส่งเนื้อหาและโทรคมนาคม

ราม เวจิราจุ เป็นสถาปนิก ML กับทีมบริการ Amazon SageMaker เขามุ่งเน้นที่การช่วยเหลือลูกค้าในการสร้างและเพิ่มประสิทธิภาพโซลูชัน AI/ML บน Amazon SageMaker ในเวลาว่าง เขาชอบการเดินทางและการเขียน

มาร์ค คาร์ป เป็น ML Architect กับทีม Amazon SageMaker Service เขามุ่งเน้นไปที่การช่วยลูกค้าออกแบบ ปรับใช้ และจัดการปริมาณงาน ML ตามขนาด ในเวลาว่างเขาชอบท่องเที่ยวและสำรวจสถานที่ใหม่ๆ

พระศิวะราชาโกฏินี ทำงานเป็นผู้จัดการผลิตภัณฑ์หลักในกลุ่มผลิตภัณฑ์ Amazon SageMaker Inference เขามุ่งเน้นไปที่การปรับใช้โมเดล การปรับแต่งประสิทธิภาพ และการเพิ่มประสิทธิภาพใน SageMaker เพื่อการอนุมาน

อัลวิน (ฉีหยุน) จ้าว เป็นวิศวกรพัฒนาซอฟต์แวร์อาวุโสกับทีม Amazon SageMaker Inference Platform เขาเป็นผู้พัฒนาหลักด้านการป้องกันการปรับใช้และการปรับใช้เงา และเขามุ่งเน้นที่การช่วยเหลือลูกค้าในการจัดการปริมาณงาน ML และการปรับใช้ในระดับที่มีความพร้อมใช้งานสูง เขายังทำงานเกี่ยวกับวิวัฒนาการของสถาปัตยกรรมแพลตฟอร์มเพื่อการปรับใช้งาน ML ที่รวดเร็วและปลอดภัย และดำเนินการทดสอบ ML ออนไลน์ได้อย่างง่ายดาย ในเวลาว่าง เขาชอบอ่านหนังสือ เล่นเกม และท่องเที่ยว

เการาฟ บันเดรี เป็นวิศวกรส่วนหน้าพร้อมทีมแพลตฟอร์ม AI ใน SageMaker เขาทำงานเพื่อนำเสนอโซลูชัน UI ที่ติดต่อกับลูกค้าภายในองค์กร AWS ในเวลาว่าง เขาสนุกกับการเดินป่าและสำรวจร้านอาหารท้องถิ่น

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/