وقتی مشتری یک محصول آماده تولید دارد پردازش هوشمند اسناد حجم کاری (IDP)، ما اغلب درخواست هایی برای بررسی با معماری خوب دریافت می کنیم. برای ایجاد یک راه حل سازمانی، منابع توسعه دهنده، هزینه، زمان و تجربه کاربر باید متعادل باشند تا به نتیجه کسب و کار مورد نظر دست یابید. را چارچوب AWS Well-Architected روشی سیستماتیک برای سازمان‌ها فراهم می‌کند تا بهترین شیوه‌های عملیاتی و معماری را برای طراحی و عملیاتی کردن حجم‌های کاری مطمئن، ایمن، کارآمد، مقرون‌به‌صرفه و پایدار در فضای ابری بیاموزند.

IDP Well-Architected Custom Lens از چارچوب AWS Well-Architected پیروی می کند، راه حل را با شش ستون با جزئیات یک مورد استفاده از هوش مصنوعی یا یادگیری ماشین (ML) بررسی می کند و راهنمایی برای مقابله با چالش های رایج ارائه می دهد. لنز سفارشی با معماری خوب IDP در ابزار خوش معماری شامل سوالاتی در مورد هر یک از ارکان است. با پاسخ به این سوالات می توانید خطرات احتمالی را شناسایی کرده و با پیروی از برنامه بهبود خود آنها را برطرف کنید.

این پست بر روی ستون کارایی عملکرد حجم کار بیجاشدگان داخلی ما عمیقاً در طراحی و اجرای راه حل برای بهینه سازی توان عملیاتی، تأخیر و عملکرد کلی فرو می رویم. ما با بحث در مورد برخی از شاخص های رایج شروع می کنیم که باید یک بررسی با معماری خوب انجام دهید و رویکردهای اساسی را با اصول طراحی معرفی کنید. سپس هر منطقه تمرکز را از منظر فنی مرور می کنیم.

برای دنبال کردن این پست باید با پست های قبلی این مجموعه آشنا باشید (قسمت 1 و قسمت 2) و دستورالعمل های موجود در راهنمای پردازش اسناد هوشمند در AWS. این منابع خدمات رایج AWS را برای بارهای کاری IDP و گردش کار پیشنهادی معرفی می کند. با این دانش، اکنون آماده هستید تا درباره تولید حجم کاری خود اطلاعات بیشتری کسب کنید.

شاخص های رایج

در زیر شاخص‌های رایجی وجود دارد که باید یک بررسی چارچوبی با معماری خوب برای ستون کارایی عملکرد انجام دهید:

• تأخیر بالا – زمانی که تأخیر تشخیص کاراکتر نوری (OCR)، تشخیص موجودیت، یا گردش کار سرتاسر بیشتر از معیار قبلی شما طول بکشد، ممکن است نشان‌دهنده این باشد که طراحی معماری آزمایش بار یا مدیریت خطا را پوشش نمی‌دهد.
• گاز دادن مکرر - ممکن است توسط سرویس‌های AWS مانند گاز گرفتگی مواجه شوید متن آمازون به دلیل محدودیت درخواست این بدان معنی است که معماری باید با بررسی گردش کار معماری، پیاده سازی همزمان و ناهمزمان، محاسبه تراکنش در ثانیه (TPS) و موارد دیگر تنظیم شود.
• مشکلات اشکال زدایی – هنگامی که فرآیند سند با شکست مواجه می‌شود، ممکن است راه مؤثری برای شناسایی مکان خطا در گردش کار، مربوط به کدام سرویس و دلیل وقوع خطا نداشته باشید. این به این معنی است که سیستم در لاگ ها و خرابی ها قابل مشاهده نیست. بازبینی طراحی ثبت اطلاعات تله متری و اضافه کردن زیرساخت به عنوان کد (IaC)، مانند خطوط لوله پردازش اسناد، به راه حل را در نظر بگیرید.

شاخص ها	توضیحات:	شکاف معماری
تاخیر بالا	OCR، تشخیص نهاد یا تأخیر گردش کار سرتاسر از معیار قبلی بیشتر است	تست بار رفع خطا
گلوگاه مکرر	به دلیل محدودیت‌های درخواست، توسط سرویس‌های AWS مانند Amazon Textract کاهش می‌یابد	همگام سازی در مقابل Async محاسبه TPS
اشکال زدایی سخت است	عدم مشاهده مکان، علت و دلیل خرابی در پردازش اسناد	طراحی ورود به سیستم خطوط لوله پردازش اسناد

اصول طراحی

در این پست، سه اصل طراحی را مورد بحث قرار می‌دهیم: واگذاری وظایف پیچیده هوش مصنوعی، معماری‌های IaC و معماری‌های بدون سرور. هنگامی که با یک مبادله بین دو پیاده سازی مواجه می شوید، می توانید اصول طراحی را با اولویت های تجاری سازمان خود مرور کنید تا بتوانید به طور موثر تصمیم گیری کنید.

• واگذاری وظایف پیچیده هوش مصنوعی – می توانید با بارگذاری چرخه عمر توسعه مدل ML به سرویس های مدیریت شده و بهره گیری از توسعه مدل و زیرساخت ارائه شده توسط AWS، پذیرش سریع هوش مصنوعی را در سازمان خود فعال کنید. به جای اینکه تیم های علم داده و فناوری اطلاعات خود را ملزم به ساخت و نگهداری مدل های هوش مصنوعی کنید، می توانید از خدمات هوش مصنوعی از پیش آموزش دیده استفاده کنید که می تواند وظایف را برای شما خودکار کند. این به تیم‌های شما اجازه می‌دهد تا روی کارهای با ارزش‌تری تمرکز کنند که کسب‌وکار شما را متمایز می‌کند، در حالی که ارائه‌دهنده ابر پیچیدگی آموزش، استقرار و مقیاس‌بندی مدل‌های هوش مصنوعی را مدیریت می‌کند.
• معماری های IaC – هنگام اجرای یک راه حل IDP، راه حل شامل چندین سرویس هوش مصنوعی برای انجام گردش کار انتها به انتها به صورت زمانی است. شما می توانید راه حل را با خطوط لوله جریان کار با استفاده از معماری طراحی کنید توابع مرحله AWS برای افزایش تحمل خطا، پردازش موازی، دید و مقیاس پذیری. این مزایا می تواند شما را قادر سازد تا استفاده و هزینه خدمات زیربنایی هوش مصنوعی را بهینه کنید.
• بدون سرور معماری - IDP اغلب یک راه حل رویداد محور است که توسط آپلودهای کاربر یا کارهای برنامه ریزی شده آغاز می شود. راه حل را می توان با افزایش نرخ تماس برای خدمات هوش مصنوعی به صورت افقی کوچک کرد. AWS لامبداو سایر خدمات مرتبط رویکرد بدون سرور، مقیاس‌پذیری را بدون تامین منابع بیش از حد فراهم می‌کند و از هزینه‌های غیرضروری جلوگیری می‌کند. نظارت پشت طراحی بدون سرور به شناسایی مشکلات عملکرد کمک می کند.

با در نظر گرفتن این سه اصل طراحی، سازمان‌ها می‌توانند پایه‌ای مؤثر برای پذیرش هوش مصنوعی/ML در پلتفرم‌های ابری ایجاد کنند. با تفویض پیچیدگی، اجرای زیرساخت های انعطاف پذیر و طراحی در مقیاس، سازمان ها می توانند راه حل های AI/ML خود را بهینه کنند.

در بخش‌های بعدی، نحوه رسیدگی به چالش‌های رایج در حوزه‌های تمرکز فنی را مورد بحث قرار می‌دهیم.

تمرکز مناطق

هنگام بررسی کارایی عملکرد، راه حل را از پنج حوزه متمرکز بررسی می کنیم: طراحی معماری، مدیریت داده، مدیریت خطا، نظارت بر سیستم و نظارت بر مدل. با استفاده از این حوزه‌های تمرکز، می‌توانید یک بررسی معماری از جنبه‌های مختلف برای افزایش اثربخشی، مشاهده‌پذیری و مقیاس‌پذیری سه جزء پروژه، داده، مدل یا هدف تجاری AI/ML انجام دهید.

طراحی معماری

با مرور سوالات در این حوزه تمرکز، گردش کار موجود را بررسی می‌کنید تا ببینید آیا از بهترین شیوه‌ها پیروی می‌کند یا خیر. گردش کار پیشنهادی یک الگوی مشترک را ارائه می دهد که سازمان ها می توانند از آن پیروی کنند و از هزینه های آزمون و خطا جلوگیری می کند.

بر اساس معماری پیشنهادی، گردش کار شش مرحله جمع آوری داده، طبقه بندی، استخراج، غنی سازی، بررسی و اعتبار سنجی و مصرف را دنبال می کند. در شاخص‌های رایجی که قبلاً مورد بحث قرار گرفتیم، از هر سه شاخص، دو مورد از مشکلات طراحی معماری ناشی می‌شوند. این به این دلیل است که وقتی یک پروژه را با رویکردی بداهه شروع می‌کنید، ممکن است هنگام تلاش برای هماهنگ کردن زیرساخت خود با راه‌حل خود، با محدودیت‌های پروژه روبرو شوید. با بررسی طراحی معماری، طرح بداهه را می توان به صورت مراحل جدا کرد و هر یک از آنها را مجددا ارزیابی و مرتب کرد.

با پیاده سازی می توانید در زمان، پول و نیروی کار صرفه جویی کنید طبقه بندی در گردش کار شما، و اسناد بر اساس نوع سند به برنامه های کاربردی پایین دست و API ها می روند. این امر مشاهده‌پذیری فرآیند سند را افزایش می‌دهد و هنگام افزودن انواع اسناد جدید، حفظ راه‌حل را ساده می‌کند.

مدیریت اطلاعات

عملکرد راه حل IDP شامل تأخیر، توان عملیاتی و تجربه کاربر نهایی است. نحوه مدیریت سند و اطلاعات استخراج شده آن در راه حل، کلید ثبات، امنیت و حفظ حریم خصوصی داده ها است. علاوه بر این، راه حل باید حجم داده های بالا با تاخیر کم و توان عملیاتی بالا را مدیریت کند.

هنگام بررسی سوالات این حوزه تمرکز، گردش کار سند را مرور خواهید کرد. این شامل دریافت داده ها، پیش پردازش داده ها، تبدیل اسناد به انواع اسناد پذیرفته شده توسط Amazon Textract، مدیریت جریان های اسناد ورودی، مسیریابی اسناد بر اساس نوع، و اجرای سیاست های کنترل دسترسی و حفظ است.

به عنوان مثال، با ذخیره یک سند در مراحل مختلف پردازش شده، در صورت نیاز می توانید پردازش را به مرحله قبل برگردانید. چرخه عمر داده ها قابلیت اطمینان و انطباق با حجم کار را تضمین می کند. با استفاده از ماشین حساب سهمیه خدمات متنی آمازون (به تصویر زیر مراجعه کنید)، ویژگی‌های ناهمزمان در Amazon Textract، Lambda، Step Functions، سرویس صف ساده آمازون (Amazon SQS)، و سرویس اطلاع رسانی ساده آمازون (Amazon SNS)، سازمان ها می توانند وظایف پردازش اسناد را برای برآوردن نیازهای حجم کاری خاص، خودکار و مقیاس کنند.

مدیریت خطا

مدیریت خطای قوی برای ردیابی وضعیت فرآیند سند بسیار مهم است و به تیم عملیات زمان می‌دهد تا به هر رفتار غیرعادی مانند حجم اسناد غیرمنتظره، انواع اسناد جدید یا سایر مشکلات برنامه‌ریزی نشده از خدمات شخص ثالث واکنش نشان دهد. از دیدگاه سازمان، مدیریت صحیح خطا می تواند زمان و عملکرد سیستم را افزایش دهد.

شما می توانید مدیریت خطا را به دو جنبه کلیدی تقسیم کنید:

• پیکربندی سرویس AWS - می توانید منطق امتحان مجدد را با عقب نشینی تصاعدی برای رسیدگی به خطاهای گذرا مانند throttling پیاده سازی کنید. هنگامی که پردازش را با فراخوانی یک عملیات شروع ناهمزمان* شروع می کنید، مانند StartDocumentText Detection، می توانید مشخص کنید که وضعیت تکمیل درخواست در یک موضوع SNS منتشر شود کانال اطلاع رسانی پیکربندی این به شما کمک می‌کند از محدودیت‌های محدود در تماس‌های API به دلیل نظرسنجی Get* API جلوگیری کنید. همچنین می توانید آلارم ها را در آن پیاده سازی کنید CloudWatch آمازون و هنگامی که جهش های خطای غیرعادی رخ می دهد، هشدار می دهد.
• بهبود گزارش خطا - این شامل پیام های دقیق با سطح مناسبی از جزئیات بر اساس نوع خطا و شرح پاسخ های رسیدگی به خطا است. با راه‌اندازی مناسب رسیدگی به خطا، سیستم‌ها می‌توانند با پیاده‌سازی الگوهای رایج مانند تکرار خودکار خطاهای متناوب، استفاده از قطع کننده‌های مدار برای رسیدگی به خرابی‌های آبشاری، و نظارت بر خدمات برای به دست آوردن بینش نسبت به خطاها، انعطاف‌پذیرتر باشند. این اجازه می دهد تا راه حل بین محدودیت های امتحان مجدد تعادل برقرار کند و از حلقه های مدار بی پایان جلوگیری کند.

نظارت بر مدل

عملکرد مدل های ML برای تخریب در طول زمان نظارت می شود. همانطور که داده ها و شرایط سیستم تغییر می کند، معیارهای عملکرد و کارایی مدل ردیابی می شوند تا اطمینان حاصل شود که آموزش مجدد در صورت نیاز انجام می شود.

مدل ML در یک گردش کار IDP می تواند یک مدل OCR، مدل شناسایی موجودیت یا مدل طبقه بندی باشد. این مدل می تواند از یک سرویس هوش مصنوعی AWS، یک مدل منبع باز موجود باشد آمازون SageMaker, بستر آمازون، یا سایر خدمات شخص ثالث. شما باید محدودیت‌ها و موارد استفاده از هر سرویس را درک کنید تا راه‌هایی برای بهبود مدل با بازخورد انسانی و افزایش عملکرد خدمات در طول زمان شناسایی کنید.

یک رویکرد رایج استفاده از گزارش های خدمات برای درک سطوح مختلف دقت است. این گزارش‌ها می‌توانند به تیم علم داده کمک کنند تا هرگونه نیاز به آموزش مجدد مدل را شناسایی و درک کنند. سازمان شما می‌تواند مکانیسم بازآموزی را انتخاب کند - این مکانیسم می‌تواند فصلی، ماهانه یا بر اساس معیارهای علمی باشد، مانند زمانی که دقت به زیر یک آستانه معین کاهش می‌یابد.

هدف نظارت فقط شناسایی مسائل نیست، بلکه بستن حلقه برای اصلاح مداوم مدل‌ها و حفظ عملکرد راه حل IDP با تکامل محیط خارجی است.

نظارت بر سیستم

پس از استقرار راه حل IDP در تولید، نظارت بر معیارهای کلیدی و عملکرد اتوماسیون برای شناسایی زمینه های بهبود بسیار مهم است. معیارها باید شامل معیارهای تجاری و معیارهای فنی باشد. این به شرکت اجازه می دهد تا عملکرد سیستم را ارزیابی کند، مسائل را شناسایی کند و در طول زمان مدل ها، قوانین و گردش کار را بهبود بخشد تا نرخ اتوماسیون را برای درک تأثیر عملیاتی افزایش دهد.

از جنبه تجاری، معیارهایی مانند دقت استخراج برای زمینه‌های مهم، نرخ اتوماسیون کلی که نشان‌دهنده درصد اسناد پردازش شده بدون دخالت انسان است، و میانگین زمان پردازش در هر سند بسیار مهم هستند. این معیارهای تجاری به تعیین کمیت تجربه کاربر نهایی و دستاوردهای بهره وری عملیاتی کمک می کند.

معیارهای فنی از جمله نرخ خطا و استثنا که در سراسر گردش کار رخ می دهد برای ردیابی از دیدگاه مهندسی ضروری است. معیارهای فنی همچنین می توانند در هر سطح از انتهای تا انتها نظارت کنند و دید جامعی از حجم کاری پیچیده ارائه دهند. می‌توانید معیارها را به سطوح مختلف تقسیم کنید، مانند سطح راه‌حل، سطح گردش کار سرتاسر، سطح نوع سند، سطح سند، سطح شناسایی موجودیت، و سطح OCR.

اکنون که تمام سوالات این ستون را بررسی کرده اید، می توانید سایر ارکان را ارزیابی کرده و یک برنامه بهبود برای حجم کاری IDP خود تهیه کنید.

نتیجه

در این پست، شاخص‌های رایجی را مورد بحث قرار دادیم که ممکن است نیاز به انجام یک بررسی چارچوب با معماری خوب برای ستون کارایی عملکرد برای حجم کاری IDP خود داشته باشید. سپس اصول طراحی را بررسی کردیم تا یک نمای کلی در سطح بالا ارائه دهیم و در مورد هدف راه حل بحث کنیم. با پیروی از این پیشنهادات در مورد لنز سفارشی با معماری خوب IDP و با بررسی سوالات بر اساس منطقه تمرکز، اکنون باید یک طرح بهبود پروژه داشته باشید.

---

درباره نویسنده

میا چانگ یک معمار راه حل های تخصصی ML برای خدمات وب آمازون است. او با مشتریان در EMEA کار می کند و بهترین شیوه ها را برای اجرای بارهای کاری AI/ML در فضای ابری با پیشینه خود در ریاضیات کاربردی، علوم کامپیوتر و AI/ML به اشتراک می گذارد. او بر حجم کاری خاص NLP تمرکز می کند و تجربه خود را به عنوان سخنران کنفرانس و نویسنده کتاب به اشتراک می گذارد. او در اوقات فراغت خود از پیاده روی، بازی های رومیزی و دم کردن قهوه لذت می برد.

بریجس پاتی یک معمار راه حل های سازمانی در AWS است. تمرکز اصلی او کمک به مشتریان سازمانی است که فناوری‌های ابری را برای بار کاری خود بپذیرند. او سابقه ای در توسعه اپلیکیشن و معماری سازمانی دارد و با مشتریانی از صنایع مختلف مانند ورزش، مالی، انرژی و خدمات حرفه ای کار کرده است. علایق او شامل معماری های بدون سرور و AI/ML است.

روی کاردوسو یک معمار راه حل شریک در خدمات وب آمازون (AWS) است. او روی AI/ML و IoT تمرکز کرده است. او با شرکای AWS کار می کند و از آنها در توسعه راه حل ها در AWS پشتیبانی می کند. وقتی کار نمی کند، از دوچرخه سواری، پیاده روی و یادگیری چیزهای جدید لذت می برد.

تیم کوندلو یک معمار ارشد راه حل های هوش مصنوعی (AI) و یادگیری ماشین (ML) در خدمات وب آمازون (AWS) است. تمرکز او پردازش زبان طبیعی و بینایی کامپیوتری است. تیم از گرفتن ایده های مشتری و تبدیل آنها به راه حل های مقیاس پذیر لذت می برد.

شری دینگ یک معمار ارشد راه حل های هوش مصنوعی (AI) و یادگیری ماشین (ML) در خدمات وب آمازون (AWS) است. او تجربه گسترده ای در یادگیری ماشین با مدرک دکترا در علوم کامپیوتر دارد. او عمدتاً با مشتریان بخش عمومی در چالش های مختلف تجاری مرتبط با هوش مصنوعی کار می کند و به آنها کمک می کند تا سفر یادگیری ماشین خود را در AWS Cloud تسریع کنند. وقتی به مشتریان کمک نمی کند، از فعالیت های بیرون از خانه لذت می برد.

سویین وانگ یک معمار راه حل های تخصصی AI/ML در AWS است. او دارای سابقه آموزش بین رشته ای در یادگیری ماشین، خدمات اطلاعات مالی و اقتصاد، همراه با سال ها تجربه در ساخت برنامه های کاربردی علم داده و یادگیری ماشین است که مشکلات دنیای واقعی تجارت را حل می کند. او از کمک به مشتریان در شناسایی سؤالات تجاری مناسب و ایجاد راه حل های مناسب AI/ML لذت می برد. او در اوقات فراغت خود عاشق آواز خواندن و آشپزی است.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/