Αυτή η ανάρτηση ιστολογίου είναι συν-συγγραφέας του Guillermo Ribeiro, Sr. Data Scientist στο Cepsa.
Η μηχανική μάθηση (ML) έχει εξελιχθεί γρήγορα από μια μοντέρνα τάση που αναδύεται από τα ακαδημαϊκά περιβάλλοντα και τα τμήματα καινοτομίας σε ένα βασικό μέσο παροχής αξίας σε όλες τις επιχειρήσεις σε κάθε κλάδο. Αυτή η μετάβαση από πειράματα σε εργαστήρια στην επίλυση πραγματικών προβλημάτων σε περιβάλλοντα παραγωγής συμβαδίζει με MLOps, ή την προσαρμογή των DevOps στον κόσμο της ML.
Το MLOps βοηθά στον εξορθολογισμό και την αυτοματοποίηση του πλήρους κύκλου ζωής ενός μοντέλου ML, εστιάζοντας στα σύνολα δεδομένων πηγής, την αναπαραγωγιμότητα πειράματος, τον κώδικα αλγορίθμου ML και την ποιότητα του μοντέλου.
At cepsa, μια παγκόσμια ενεργειακή εταιρεία, χρησιμοποιούμε την ML για να αντιμετωπίσουμε πολύπλοκα προβλήματα στις γραμμές των επιχειρήσεών μας, από την προγνωστική συντήρηση για βιομηχανικό εξοπλισμό μέχρι την παρακολούθηση και τη βελτίωση των πετροχημικών διεργασιών στα διυλιστήρια μας.
Σε αυτήν την ανάρτηση, συζητάμε πώς δημιουργήσαμε την αρχιτεκτονική αναφοράς μας για MLOps χρησιμοποιώντας τις ακόλουθες βασικές υπηρεσίες AWS:
- Amazon Sage Maker, μια υπηρεσία για τη δημιουργία, την εκπαίδευση και την ανάπτυξη μοντέλων ML
- Λειτουργίες βημάτων AWS, μια υπηρεσία οπτικής ροής εργασιών χαμηλού κώδικα χωρίς διακομιστή που χρησιμοποιείται για την ενορχήστρωση και την αυτοματοποίηση διαδικασιών
- Amazon EventBridge, ένα λεωφορείο συμβάντων χωρίς διακομιστή
- AWS Lambda, μια υπηρεσία υπολογισμού χωρίς διακομιστή που σας επιτρέπει να εκτελείτε κώδικα χωρίς παροχή ή διαχείριση διακομιστών
Εξηγούμε επίσης πώς εφαρμόσαμε αυτήν την αρχιτεκτονική αναφοράς για την εκκίνηση νέων έργων ML στην εταιρεία μας.
Η πρόκληση
Κατά τη διάρκεια των τελευταίων 4 ετών, πολλαπλοί επιχειρηματικοί τομείς σε όλη την Cepsa ξεκίνησαν έργα ML, αλλά σύντομα άρχισαν να προκύπτουν ορισμένα ζητήματα και περιορισμοί.
Δεν είχαμε αρχιτεκτονική αναφοράς για ML, επομένως κάθε έργο ακολουθούσε διαφορετική διαδρομή υλοποίησης, εκτελώντας ad hoc εκπαίδευση και ανάπτυξη μοντέλων. Χωρίς μια κοινή μέθοδο χειρισμού κώδικα και παραμέτρων έργου και χωρίς μητρώο μοντέλων ML ή σύστημα έκδοσης εκδόσεων, χάσαμε την ιχνηλασιμότητα μεταξύ των συνόλων δεδομένων, του κώδικα και των μοντέλων.
Εντοπίσαμε επίσης περιθώρια βελτίωσης στον τρόπο με τον οποίο χειριζόμασταν τα μοντέλα στην παραγωγή, επειδή δεν παρακολουθούσαμε τα αναπτυγμένα μοντέλα και επομένως δεν είχαμε τα μέσα για την παρακολούθηση της απόδοσης των μοντέλων. Κατά συνέπεια, συνήθως επανεκπαιδεύαμε μοντέλα με βάση χρονοδιαγράμματα, επειδή δεν είχαμε τις σωστές μετρήσεις για να λάβουμε τεκμηριωμένες αποφάσεις επανεκπαίδευσης.
Η λύση
Ξεκινώντας από τις προκλήσεις που έπρεπε να ξεπεράσουμε, σχεδιάσαμε μια γενική λύση που στόχευε στην αποσύνδεση της προετοιμασίας δεδομένων, της εκπαίδευσης μοντέλων, των συμπερασμάτων και της παρακολούθησης μοντέλων, και παρουσίασε ένα κεντρικό μητρώο μοντέλων. Με αυτόν τον τρόπο, απλοποιήσαμε τη διαχείριση περιβαλλόντων σε πολλούς λογαριασμούς AWS, εισάγοντας παράλληλα την κεντρική ιχνηλασιμότητα του μοντέλου.
Οι επιστήμονες και οι προγραμματιστές δεδομένων μας χρησιμοποιούν AWS Cloud9 (ένα cloud IDE για εγγραφή, εκτέλεση και εντοπισμό σφαλμάτων κώδικα) για διαμάχη δεδομένων και πειραματισμό ML και το GitHub ως αποθήκη κώδικα Git.
Μια αυτόματη ροή εργασιών εκπαίδευσης χρησιμοποιεί τον κώδικα που δημιουργήθηκε από την ομάδα επιστήμης δεδομένων μοντέλα τρένων στο SageMaker και να καταχωρήσετε μοντέλα εξόδου στο μητρώο μοντέλων.
Μια διαφορετική ροή εργασίας διαχειρίζεται την ανάπτυξη του μοντέλου: λαμβάνει την αναφορά από το μητρώο του μοντέλου και δημιουργεί ένα τελικό σημείο συμπερασμάτων χρησιμοποιώντας Λειτουργίες φιλοξενίας μοντέλου SageMaker.
Υλοποιήσαμε ροές εργασιών εκπαίδευσης και ανάπτυξης μοντέλων χρησιμοποιώντας τις λειτουργίες Step, επειδή παρείχε ένα ευέλικτο πλαίσιο που επιτρέπει τη δημιουργία συγκεκριμένων ροών εργασίας για κάθε έργο και ενορχηστρώνει διαφορετικές υπηρεσίες και στοιχεία AWS με απλό τρόπο.
Μοντέλο κατανάλωσης δεδομένων
Στο Cepsa, χρησιμοποιούμε μια σειρά από λίμνες δεδομένων για την κάλυψη διαφορετικών επιχειρηματικών αναγκών και όλες αυτές οι λίμνες δεδομένων μοιράζονται ένα κοινό μοντέλο κατανάλωσης δεδομένων που διευκολύνει τους μηχανικούς δεδομένων και τους επιστήμονες δεδομένων να βρουν και να καταναλώσουν τα δεδομένα που χρειάζονται.
Για την εύκολη διαχείριση του κόστους και των ευθυνών, τα περιβάλλοντα λίμνης δεδομένων διαχωρίζονται πλήρως από τις εφαρμογές παραγωγών και καταναλωτών δεδομένων και αναπτύσσονται σε διαφορετικούς λογαριασμούς AWS που ανήκουν σε έναν κοινό οργανισμό AWS.
Τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση μοντέλων ML και τα δεδομένα που χρησιμοποιούνται ως εισροές συμπερασμάτων για εκπαιδευμένα μοντέλα διατίθενται από τις διαφορετικές λίμνες δεδομένων μέσω ενός συνόλου καλά καθορισμένων API χρησιμοποιώντας Amazon API Gateway, μια υπηρεσία για τη δημιουργία, δημοσίευση, συντήρηση, παρακολούθηση και ασφάλεια API σε κλίμακα. Το backend API χρησιμοποιεί Αμαζόν Αθηνά (μια διαδραστική υπηρεσία ερωτημάτων για την ανάλυση δεδομένων χρησιμοποιώντας τυπική SQL) για πρόσβαση σε δεδομένα που είναι ήδη αποθηκευμένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και καταλογογραφήθηκε στο Κόλλα AWS Κατάλογος Δεδομένων.
Το παρακάτω διάγραμμα παρέχει μια γενική επισκόπηση της αρχιτεκτονικής MLOps της Cepsa.
Εκπαίδευση μοντέλων
Η εκπαιδευτική διαδικασία είναι ανεξάρτητη για κάθε μοντέλο και χειρίζεται ο α Βήμα Λειτουργίες τυπική ροή εργασίας, το οποίο μας δίνει ευελιξία στη μοντελοποίηση διαδικασιών με βάση διαφορετικές απαιτήσεις έργου. Έχουμε ένα καθορισμένο πρότυπο βάσης που επαναχρησιμοποιούμε στα περισσότερα έργα, εκτελώντας μικρές προσαρμογές όταν απαιτείται. Για παράδειγμα, ορισμένοι ιδιοκτήτες έργων αποφάσισαν να προσθέσουν μη αυτόματες πύλες για να εγκρίνουν την ανάπτυξη νέων μοντέλων παραγωγής, ενώ άλλοι ιδιοκτήτες έργων έχουν εφαρμόσει τους δικούς τους μηχανισμούς ανίχνευσης σφαλμάτων και επανάληψης.
Εκτελούμε επίσης μετασχηματισμούς στα σύνολα δεδομένων εισόδου που χρησιμοποιούνται για την εκπαίδευση μοντέλων. Για το σκοπό αυτό, χρησιμοποιούμε συναρτήσεις Lambda που είναι ενσωματωμένες στις ροές εργασίας εκπαίδευσης. Σε ορισμένα σενάρια όπου απαιτούνται πιο περίπλοκοι μετασχηματισμοί δεδομένων, εκτελούμε τον κώδικά μας Υπηρεσία ελαστικών εμπορευματοκιβωτίων Amazon (Amazon ECS) σε AWS Fargate, μια μηχανή υπολογισμού χωρίς διακομιστή για την εκτέλεση κοντέινερ.
Η ομάδα επιστήμης δεδομένων μας χρησιμοποιεί συχνά προσαρμοσμένους αλγόριθμους, επομένως εκμεταλλευόμαστε τη δυνατότητα να το κάνουμε χρησιμοποιήστε προσαρμοσμένα κοντέινερ στην εκπαίδευση μοντέλων SageMaker, βασισμένος σε Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR), ένα πλήρως διαχειριζόμενο μητρώο κοντέινερ που διευκολύνει την αποθήκευση, τη διαχείριση, την κοινή χρήση και την ανάπτυξη εικόνων κοντέινερ.
Τα περισσότερα από τα έργα ML μας βασίζονται στη βιβλιοθήκη Scikit-learn, επομένως έχουμε επεκτείνει το πρότυπο SageMaker Scikit-learn container να συμπεριλάβει τις μεταβλητές περιβάλλοντος που απαιτούνται για το έργο, όπως οι πληροφορίες αποθήκης Git και οι επιλογές ανάπτυξης.
Με αυτήν την προσέγγιση, οι επιστήμονες δεδομένων μας πρέπει απλώς να επικεντρωθούν στην ανάπτυξη του εκπαιδευτικού αλγόριθμου και να καθορίσουν τις βιβλιοθήκες που απαιτούνται από το έργο. Όταν σπρώχνουν αλλαγές κώδικα στο αποθετήριο Git, το σύστημά μας CI/CD (Jenkins φιλοξενείται στο AWS) δημιουργεί το κοντέινερ με τον εκπαιδευτικό κώδικα και τις βιβλιοθήκες. Αυτό το κοντέινερ προωθείται στο Amazon ECR και τελικά μεταβιβάζεται ως παράμετρος στην εκπαιδευτική επίκληση του SageMaker.
Όταν ολοκληρωθεί η διαδικασία εκπαίδευσης, το μοντέλο που προκύπτει αποθηκεύεται στο Amazon S3, προστίθεται μια αναφορά στο μητρώο μοντέλων και όλες οι πληροφορίες και οι μετρήσεις που συλλέγονται αποθηκεύονται στον κατάλογο πειραμάτων. Αυτό εξασφαλίζει πλήρη αναπαραγωγιμότητα επειδή ο κώδικας και οι βιβλιοθήκες του αλγορίθμου συνδέονται με το εκπαιδευμένο μοντέλο μαζί με τα δεδομένα που σχετίζονται με το πείραμα.
Το παρακάτω διάγραμμα απεικονίζει τη διαδικασία εκπαίδευσης και επανεκπαίδευσης του μοντέλου.
Ανάπτυξη μοντέλου
Η αρχιτεκτονική είναι ευέλικτη και επιτρέπει τόσο την αυτόματη όσο και τη χειροκίνητη ανάπτυξη των εκπαιδευμένων μοντέλων. Η ροή εργασίας του προγράμματος ανάπτυξης μοντέλων καλείται αυτόματα μέσω ενός συμβάντος που η εκπαίδευση του SageMaker δημοσιεύει στο EventBridge μετά την ολοκλήρωση της εκπαίδευσης, αλλά μπορεί επίσης να γίνει μη αυτόματη κλήση, εάν χρειάζεται, περνώντας τη σωστή έκδοση μοντέλου από το μητρώο μοντέλων. Για περισσότερες πληροφορίες σχετικά με την αυτόματη κλήση, βλ Αυτοματοποίηση του Amazon SageMaker με το Amazon EventBridge.
Η ροή εργασίας του προγράμματος ανάπτυξης μοντέλου ανακτά τις πληροφορίες μοντέλου από το μητρώο μοντέλων και τις χρησιμοποιεί AWS CloudFormation, μια διαχειριζόμενη υποδομή ως υπηρεσία κώδικα, είτε για την ανάπτυξη του μοντέλου σε ένα τελικό σημείο συμπερασμάτων σε πραγματικό χρόνο είτε για την εκτέλεση συμπερασμάτων παρτίδας με ένα αποθηκευμένο σύνολο δεδομένων εισόδου, ανάλογα με τις απαιτήσεις του έργου.
Κάθε φορά που ένα μοντέλο αναπτύσσεται με επιτυχία σε οποιοδήποτε περιβάλλον, το μητρώο μοντέλου ενημερώνεται με μια νέα ετικέτα που υποδεικνύει σε ποια περιβάλλοντα εκτελείται το μοντέλο αυτήν τη στιγμή. Κάθε φορά που καταργείται ένα τελικό σημείο, η ετικέτα του διαγράφεται επίσης από το μητρώο του μοντέλου.
Το παρακάτω διάγραμμα δείχνει τη ροή εργασίας για την ανάπτυξη του μοντέλου και το συμπέρασμα.
Μητρώο πειραμάτων και μοντέλων
Η αποθήκευση κάθε πειράματος και έκδοσης μοντέλου σε μια ενιαία τοποθεσία και η ύπαρξη ενός κεντρικού αποθετηρίου κώδικα μας δίνει τη δυνατότητα να αποσυνδέσουμε την εκπαίδευση και την ανάπτυξη μοντέλων και να χρησιμοποιήσουμε διαφορετικούς λογαριασμούς AWS για κάθε έργο και περιβάλλον.
Όλες οι εγγραφές πειράματος αποθηκεύουν το αναγνωριστικό δέσμευσης του κώδικα εκπαίδευσης και συμπερασμάτων, έτσι ώστε να έχουμε πλήρη ιχνηλασιμότητα ολόκληρης της διαδικασίας πειραματισμού και να μπορούμε εύκολα να συγκρίνουμε διαφορετικά πειράματα. Αυτό μας αποτρέπει από την εκτέλεση διπλών εργασιών στη φάση της επιστημονικής εξερεύνησης για αλγόριθμους και μοντέλα και μας δίνει τη δυνατότητα να αναπτύξουμε τα μοντέλα μας οπουδήποτε, ανεξάρτητα από τον λογαριασμό και το περιβάλλον όπου εκπαιδεύτηκε το μοντέλο. Αυτό ισχύει επίσης για μοντέλα που έχουν εκπαιδευτεί στο πειραματικό περιβάλλον AWS Cloud9.
Συνολικά, έχουμε πλήρως αυτοματοποιημένες αγωγούς εκπαίδευσης και ανάπτυξης μοντέλων και έχουμε την ευελιξία να εκτελούμε γρήγορες μη αυτόματες αναπτύξεις μοντέλων όταν κάτι δεν λειτουργεί σωστά ή όταν μια ομάδα χρειάζεται ένα μοντέλο που έχει αναπτυχθεί σε διαφορετικό περιβάλλον για πειραματικούς σκοπούς.
Μια λεπτομερής περίπτωση χρήσης: YET Dragon project
Το έργο YET Dragon στοχεύει στη βελτίωση της παραγωγικής απόδοσης του πετροχημικού εργοστασίου της Cepsa στη Σαγκάη. Για την επίτευξη αυτού του στόχου, μελετήσαμε διεξοδικά τη διαδικασία παραγωγής, αναζητώντας τα λιγότερο αποτελεσματικά βήματα. Στόχος μας ήταν να αυξήσουμε την απόδοση απόδοσης των διεργασιών διατηρώντας τη συγκέντρωση συστατικών ακριβώς κάτω από ένα όριο.
Για την προσομοίωση αυτής της διαδικασίας, κατασκευάσαμε τέσσερα γενικευμένα προσθετικά μοντέλα ή GAM, γραμμικά μοντέλα των οποίων η απόκριση εξαρτάται από ομαλές συναρτήσεις μεταβλητών πρόβλεψης, για να προβλέψουμε τα αποτελέσματα δύο διεργασιών οξείδωσης, μιας διαδικασίας συγκέντρωσης και της προαναφερθείσας απόδοσης. Κατασκευάσαμε επίσης έναν βελτιστοποιητή για να επεξεργαστούμε τα αποτελέσματα των τεσσάρων μοντέλων GAM και να βρούμε τις καλύτερες βελτιστοποιήσεις που θα μπορούσαν να εφαρμοστούν στο εργοστάσιο.
Παρόλο που τα μοντέλα μας είναι εκπαιδευμένα με ιστορικά δεδομένα, το εργοστάσιο μπορεί μερικές φορές να λειτουργήσει υπό συνθήκες που δεν είχαν καταχωριστεί στο σύνολο δεδομένων εκπαίδευσης. αναμένουμε ότι τα μοντέλα προσομοίωσής μας δεν θα λειτουργούν καλά σε αυτά τα σενάρια, επομένως δημιουργήσαμε επίσης δύο μοντέλα ανίχνευσης ανωμαλιών χρησιμοποιώντας αλγόριθμους Isolation Forests, οι οποίοι καθορίζουν πόσο μακριά είναι τα σημεία δεδομένων από τα υπόλοιπα δεδομένα για τον εντοπισμό των ανωμαλιών. Αυτά τα μοντέλα μας βοηθούν να ανιχνεύουμε τέτοιες καταστάσεις για να απενεργοποιούμε τις αυτοματοποιημένες διαδικασίες βελτιστοποίησης όποτε συμβαίνει αυτό.
Οι βιομηχανικές χημικές διεργασίες είναι εξαιρετικά μεταβλητές και τα μοντέλα ML πρέπει να ευθυγραμμίζονται καλά με τη λειτουργία της μονάδας, επομένως απαιτείται συχνή επανεκπαίδευση καθώς και η ιχνηλασιμότητα των μοντέλων που αναπτύσσονται σε κάθε περίπτωση. Το YET Dragon ήταν το πρώτο μας έργο βελτιστοποίησης ML που διέθετε ένα μητρώο μοντέλων, πλήρη αναπαραγωγιμότητα των πειραμάτων και μια πλήρως διαχειριζόμενη αυτοματοποιημένη διαδικασία εκπαίδευσης.
Τώρα, η πλήρης γραμμή που φέρνει ένα μοντέλο στην παραγωγή (μετασχηματισμός δεδομένων, εκπαίδευση μοντέλου, παρακολούθηση πειραμάτων, μητρώο μοντέλων και ανάπτυξη μοντέλου) είναι ανεξάρτητη για κάθε μοντέλο ML. Αυτό μας δίνει τη δυνατότητα να βελτιώνουμε τα μοντέλα επαναληπτικά (για παράδειγμα, προσθέτοντας νέες μεταβλητές ή δοκιμάζοντας νέους αλγόριθμους) και να συνδέσουμε τα στάδια εκπαίδευσης και ανάπτυξης με διαφορετικούς κανόνες ενεργοποίησης.
Τα αποτελέσματα και οι μελλοντικές βελτιώσεις
Αυτήν τη στιγμή είμαστε σε θέση να εκπαιδεύσουμε, να αναπτύξουμε και να παρακολουθήσουμε αυτόματα τα έξι μοντέλα ML που χρησιμοποιούνται στο έργο YET Dragon και έχουμε ήδη αναπτύξει περισσότερες από 30 εκδόσεις για καθένα από τα μοντέλα παραγωγής. Αυτή η αρχιτεκτονική MLOps έχει επεκταθεί σε εκατοντάδες μοντέλα ML σε άλλα έργα σε όλη την εταιρεία.
Σκοπεύουμε να συνεχίσουμε να λανσάρουμε νέα έργα YET που βασίζονται σε αυτήν την αρχιτεκτονική, η οποία έχει μειώσει τη μέση διάρκεια του έργου κατά 25%, χάρη στη μείωση του χρόνου εκκίνησης και την αυτοματοποίηση των αγωγών ML. Έχουμε επίσης υπολογίσει εξοικονόμηση περίπου 300,000 € ετησίως χάρη στην αύξηση της απόδοσης και της συγκέντρωσης που είναι άμεσο αποτέλεσμα του έργου YET Dragon.
Η βραχυπρόθεσμη εξέλιξη αυτής της αρχιτεκτονικής MLOps είναι προς την παρακολούθηση μοντέλων και την αυτοματοποιημένη δοκιμή. Σκοπεύουμε να ελέγξουμε αυτόματα την απόδοση του μοντέλου σε σχέση με μοντέλα που είχαν αναπτυχθεί προηγουμένως πριν από την ανάπτυξη ενός νέου μοντέλου. Εργαζόμαστε επίσης για την εφαρμογή παρακολούθησης μοντέλων και παρακολούθησης μετατόπισης δεδομένων συμπερασμάτων με Παρακολούθηση μοντέλου Amazon SageMaker, προκειμένου να αυτοματοποιηθεί η επανεκπαίδευση μοντέλων.
Συμπέρασμα
Οι εταιρείες αντιμετωπίζουν την πρόκληση να φέρουν τα έργα ML τους στην παραγωγή με αυτοματοποιημένο και αποτελεσματικό τρόπο. Η αυτοματοποίηση του πλήρους κύκλου ζωής του μοντέλου ML συμβάλλει στη μείωση του χρόνου του έργου και διασφαλίζει καλύτερη ποιότητα μοντέλου και ταχύτερες και συχνότερες αναπτύξεις στην παραγωγή.
Αναπτύσσοντας μια τυποποιημένη αρχιτεκτονική MLOps που έχει υιοθετηθεί από διαφορετικές επιχειρήσεις σε όλη την εταιρεία, εμείς στη Cepsa καταφέραμε να επιταχύνουμε την εκκίνηση έργων ML και να βελτιώσουμε την ποιότητα του μοντέλου ML, παρέχοντας ένα αξιόπιστο και αυτοματοποιημένο πλαίσιο στο οποίο οι ομάδες επιστήμης δεδομένων μας μπορούν να καινοτομούν πιο γρήγορα .
Για περισσότερες πληροφορίες σχετικά με τα MLOps στο SageMaker, επισκεφτείτε Amazon SageMaker για MLOps και ελέγξτε άλλες περιπτώσεις χρήσης πελατών στο Ιστολόγιο μηχανικής εκμάθησης AWS.
Σχετικά με τους συγγραφείς
Γκιγιέρμο Ριμπέιρο Χιμένεθ είναι Sr Data Scientist στο Cepsa με διδακτορικό. στην Πυρηνική Φυσική. Διαθέτει 6ετή εμπειρία σε έργα επιστήμης δεδομένων, κυρίως στον κλάδο τηλεπικοινωνιών και ενέργειας. Επί του παρόντος ηγείται ομάδων επιστημόνων δεδομένων στο τμήμα Ψηφιακού Μετασχηματισμού της Cepsa, με έμφαση στην κλιμάκωση και την παραγωγή έργων μηχανικής μάθησης.
Guillermo Menéndez Corral είναι αρχιτέκτονας λύσεων στην AWS Energy and Utilities. Έχει πάνω από 15 χρόνια εμπειρία στο σχεδιασμό και την κατασκευή εφαρμογών SW και επί του παρόντος παρέχει αρχιτεκτονική καθοδήγηση σε πελάτες AWS στον κλάδο της ενέργειας, με έμφαση στην ανάλυση και τη μηχανική μάθηση.
