Вам потрібна допомога, щоб перевести машинне навчання (ML) вашої організації від пілотного до виробництва? Ти не один. Більшість керівників вважають, що ML можна застосувати до будь-якого бізнес-рішення, але в середньому лише половина проектів ML доходить до виробництва.
У цьому дописі описано, як реалізувати свій перший варіант використання ML Amazon SageMaker лише за 8–12 тижнів за допомогою методології під назвою Прискорення на основі досвіду (EBA).
Виклики
Клієнти можуть зіткнутися з кількома проблемами під час впровадження рішень машинного навчання (ML).
- Вам може бути важко пов’язати свої зусилля з технології машинного навчання та ціннісні пропозиції для вашого бізнесу, що ускладнить ІТ-керівництву та керівництву бізнесу виправдання інвестицій, необхідних для введення в дію моделей.
- Ви можете часто вибрати випадки використання з низькою вартістю як доказ концепції, а не для вирішення значущої проблеми бізнесу чи клієнта.
- Ви можете мати прогалини в навичках і технологіях, зокрема впровадження рішень ML, впровадження послуг ML і керування проектами ML для швидких ітерацій.
- Забезпечення якості даних, управління та безпеки може уповільнити або зупинити проекти ML.
Огляд рішення: прискорення на основі досвіду машинного навчання (ML EBA)
Машинне навчання EBA – це 3-денний інтерактивний семінар на основі спринту (називається a партія), який використовує SageMaker для прискорення бізнес-результатів, проводячи вас через прискорений життєвий цикл машинного навчання, що відповідає вимогам. Він починається з визначення бізнес-цілей і формулювання проблеми машинного навчання, а потім – через обробку даних, розробку моделі, розгортання виробництва та моніторинг.
Наступне зображення ілюструє зразок життєвого циклу ML.
Застосовуються два основні сценарії клієнта. Перший – це використання служб машинного навчання з низьким кодом або без нього, як-от Canvas Amazon SageMaker, Amazon SageMaker Data Wrangler, Автопілот Amazon SageMaker та Amazon SageMaker JumpStart щоб допомогти аналітикам даних підготувати дані, створити моделі та створити прогнози. По-друге, використання SageMaker допомагає дослідникам даних та інженерам ML створювати, навчати та розгортати власні моделі ML.
Ми розуміємо, що клієнти мають різні початкові точки. Якщо ви починаєте з нуля, часто простіше почати з рішень із низьким кодом або без коду та поступово переходити до розробки власних моделей. Навпаки, якщо у вас є існуюча локальна інфраструктура ML, ви можете почати безпосередньо з використання SageMaker, щоб полегшити проблеми з вашим поточним рішенням.
Завдяки ML EBA досвідчені експерти AWS ML працюють пліч-о-пліч із вашою міжфункціональною командою, щоб надати рекомендації, усунути блокувальники та створити організаційні можливості для подальшого впровадження ML. Ця вечірка допоможе вам вирішити важливу бізнес-проблему, а не думати з точки зору даних і технологічного середовища ML. Крім того, вечірка допоможе вам отримати суттєву цінність для бізнесу завдяки невикористаним даним.
ML EBA допомагає вам мислити масштабно, починати з малого та швидко масштабуватися. Хоча він створює мінімальну життєздатну модель машинного навчання за 3 дні, є 4–6 тижнів підготовки, що ведуть до EBA. Крім того, ви витрачаєте 4–6 тижнів після EBA на точне налаштування моделі за допомогою додаткового проектування функцій і оптимізації гіперпараметрів перед розгортанням виробництва.
Давайте розглянемо, як виглядає весь процес і як ви можете використовувати методологію ML EBA для вирішення поширених блокувальників.
Підготовка до EBA (4–6 тижнів)
У цьому розділі ми докладно розповідаємо про 4–6 тижнів підготовки до EBA.
6 тижнів до вечірки: Постановка проблеми та кваліфікація
Першим кроком є формулювання та кваліфікація проблеми ML, яка включає наступне:
- Визначте правильний бізнес-результат – Ви повинні чітко розуміти проблему, яку намагаєтеся вирішити, і бажаний результат, якого ви сподіваєтеся досягти за допомогою ML. Ви повинні вміти виміряти отриману бізнес-цінність за конкретними цілями та критеріями успіху. Крім того, ви повинні вміти визначити, що слід спостерігати, а що слід передбачити. AWS співпрацює з вами, щоб допомогти відповісти на наступні важливі запитання перед початком ML EBA:
- Чи вирішує сценарій використання ML серйозну бізнес-проблему?
- Чи достатньо це важливо, щоб привернути увагу керівництва бізнесу?
- У вас уже є дані для вирішення сценарію використання ML?
- Чи можна врешті-решт застосувати прецедент використання у виробництві?
- Чи справді потрібна ML?
- Чи існують організаційні процеси для використання бізнесом результатів моделі?
Команда AI Use Case Explorer є хорошою відправною точкою для вивчення правильних варіантів використання в галузях, бізнес-функціях або бажаних бізнес-результатах і для виявлення відповідних історій успіху клієнтів.
- Виконавче спонсорство – Щоб допомогти вам рухатися швидше, ніж це було б органічно, AWS зустрічається з виконавчим спонсором, щоб підтвердити бай-ін, усунути внутрішні перешкоди та виділити ресурси. Крім того, AWS може запропонувати фінансові стимули, щоб допомогти компенсувати витрати на ваш перший сценарій використання ML.
- Зустрічаємо вас там, де ви перебуваєте у своїй подорожі МЛ – AWS оцінює ваш поточний стан — людей, процеси та технології. Ми допомагаємо вам деталізувати вимоги та залежності; зокрема, які команди та дані потрібні для успішного початку подорожі. Крім того, ми надаємо рекомендації щодо технічного шляху: починаючи зі служб з низьким кодом або без коду або створюючи власну модель за допомогою SageMaker.
5 тижнів до вечірки: налаштування робочого потоку та перехід до дії
Наступним кроком є визначення команд, необхідних для підтримки зусиль EBA. Зазвичай робота розподіляється між такими потоками:
- Хмарна інженерія (інфраструктура та безпека) – Зосереджено на перевірці того, що облікові записи та інфраструктура AWS налаштовані та захищені перед EBA. Це включає Управління ідентифікацією та доступом AWS доступ (IAM) або єдиний вхід (SSO), захисні огорожі, Студія Amazon SageMaker ініціалізація, автоматична зупинка/запуск для економії коштів та Служба простого зберігання Amazon (Amazon S3).
- Інженерія даних – Ідентифікує джерела даних, налаштовує прийом даних і конвеєри, а також готує дані за допомогою Data Wrangler.
- Наука про дані – Серце ML EBA і зосереджено на розробці функцій, навчанні моделі, налаштуванні гіперпараметрів і перевірці моделі.
- Інженерія MLOps – Зосереджено на автоматизації конвеєрів DevOps для введення в дію сценарію використання машинного навчання. Часто це може бути та сама команда, що й хмарна інженерія.
- Лідерська команда – Відповідає за організацію зусиль, усунення блокаторів, узгодження з виконавчими спонсорами та, зрештою, несе відповідальність за досягнення очікуваних результатів.
Після завершення цих зусиль ми повинні переходити до дій. Необхідно суворо дотримуватися стандартного базового 4-тижневого графіка, щоб переконатися, що EBA залишається на правильному шляху. Досвідчені експерти з предметної тематики AWS проведуть і навчать вас протягом цієї підготовки до вечірки EBA.
За 4 тижні до вечірки: надихніть будівельників і підготуйте технічний план
Кожен клієнт різний; AWS допоможе вам скласти технічний план заходів, які потрібно виконати протягом наступних 4 тижнів до вечірки.
AWS проводить Immersion Days, щоб надихнути ваших будівельників і створити імпульс для вечірки. День занурення – це семінар на півдня або цілий день із правильним поєднанням презентацій, практичних лабораторних робіт і запитань і відповідей для представлення послуг або рішень AWS. AWS допоможе вам вибрати правильні дні занурення Каталог майстерень AI/ML.
Ми розуміємо, що кожен будівельник у вашій організації має різний рівень. Ми рекомендуємо вашим будівельникам використовувати Керівництво по нарощуванню ML ресурси або цифрове або аудиторне навчання щоб почати там, де вони є, і розвинути необхідні навички для вечірки.
За 3 тижні до вечірки: технічна підготовка, зосереджена на розробці хмари та даних
Під керівництвом AWS ваші команди розробки хмарних технологій і даних мають працювати над наступним:
- Створіть облікові записи AWS із налаштуваннями мережі та безпеки
- Налаштуйте Amazon SageMaker Studio
- Створіть сегменти Amazon S3 для зберігання даних
- Визначте джерела даних (або виробників)
- Інтегруйте зовнішні джерела для скидання даних у відра S3
За 2 тижні до вечірки: технічна підготовка зосереджена на науці про дані
Під керівництвом AWS ваша група даних повинна працювати над наступним:
За 1 тиждень до вечірки: оцінити готовність (йти/не йти)
AWS співпрацює з вами, щоб оцінити готовність йти/не йти до технічної діяльності, навички та імпульс для вечірки. Потім ми зміцнюємо рамки для 3-денної вечірки, віддаючи перевагу прогресу над досконалістю.
EBA (3-денна вечірка)
Незважаючи на те, що сама вечірка EBA налаштована для вашої організації, рекомендований порядок денний на 3 дні наведено в наступній таблиці. Ви навчатиметеся на практиці під час EBA під керівництвом експертів із предметних питань AWS.
| . | день 1 | день 2 | день 3 |
| наука даних |
AM: Спробуйте моделі AutoPilot або JumpStart. PM: Виберіть 1–2 моделі на основі результатів AutoPilot, щоб експериментувати далі. |
Підвищення точності моделі:
|
Гарантія якості та валідація за допомогою даних тестування. Розгорнути у виробництві (кінцева точка висновку). Налаштування моніторингу (модель, дрейф даних). |
| Інженерія даних | Дослідіть використання магазину функцій для майбутніх випадків використання ML. Створіть резерв елементів для керування даними та пов’язаних огорож. | ||
| Cloud/MLOps Engineering | Оцініть значення Рамкове рішення MLOps бібліотека. Оцініть, чи можна це використовувати для повторюваної структури MLOps. Визначте прогалини та створіть резервну роботу, щоб покращити бібліотеку рішень або створити власну структуру MLOps. | Реалізуйте елементи відставання, щоб створити структуру MLOps, що повторюється. | Продовжуйте впроваджувати невиконані елементи для створення повторюваної структури MLOps. |
Після EBA
ML передбачає численні експерименти, і часто не досягають бажаної точності моделі під час 3-денного EBA. Таким чином, створення чітко визначеного резерву або шляху до виробництва є важливим, включаючи підвищення точності моделі за допомогою експериментів, розробки функцій, оптимізації гіперпараметрів і розгортання виробництва. AWS продовжуватиме допомагати вам у розгортанні виробництва.
Висновок
Доповнюючи методологію ML EBA SageMaker, ви можете досягти таких результатів:
- Перехід від пілотної до виробничої вартості за 8-12 тижнів – Об’єднайте бізнес-команди та технологічні команди, щоб розгорнути перший сценарій використання ML у виробництві за 8–12 тижнів.
- Розвивайте організаційні можливості, щоб пришвидшити та розширити ML у різних сферах діяльності – ML EBA надихає та підвищує кваліфікацію будівельників з реальним досвідом роботи. Він встановлює успішну робочу модель (модель співпраці та ітерації) для підтримки та масштабування ініціатив МЛ у різних сферах діяльності. Він також створює повторно використовувані ресурси для прискорення та масштабування ML повторюваним способом.
- Зменште технічну заборгованість, проблемні точки та витрати завдяки наявним локальним моделям машинного навчання – Локальні рішення можуть мати проблеми, пов’язані з вищими витратами, нездатністю масштабувати інфраструктуру, недиференційованим керуванням інфраструктурою та відсутністю розширених наборів функцій, таких як оптимізація гіперпараметрів, можливість пояснення для прогнозів тощо. Прийняття служб AWS ML, таких як SageMaker, зменшує ці проблеми.
Зв’яжіться зі своєю командою облікового запису AWS (менеджером облікового запису або менеджером із клієнтських рішень), щоб дізнатися більше та розпочати роботу.
Про авторів
Ритеш Шах є старшим менеджером з рішень для клієнтів Amazon Web Services. Він допомагає великим підприємствам у центральній частині США прискорити трансформацію з підтримкою хмарних технологій і створювати сучасні хмарні рішення. Він захоплений прискоренням шляху клієнтів до ML. У вільний час Ритеш любить проводити час зі своєю донькою, готувати їжу та вивчати щось нове, а також проповідувати хмари та ML. Зв'яжіться з ним на LinkedIn.
Ніколас Лоусон є архітектором рішень в AWS і є частиною спеціальної групи AIML. Він має досвід розробки програмного забезпечення та досліджень ШІ. Поза роботою Ніколаус часто кодує, вивчає щось нове або займається обробкою дерева. Зв'яжіться з ним на LinkedIn.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- Карбування майбутнього з Адріенн Ешлі. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/deliver-your-first-ml-use-case-in-8-12-weeks/
