Αυτή είναι μια guest post που γράφτηκε από κοινού με τον Tamir Rubinsky και τον Aviad Aranias από τη Nielsen Sports.

Nielsen Sports διαμορφώνει τα μέσα και το περιεχόμενο του κόσμου ως παγκόσμιος ηγέτης στις πληροφορίες κοινού, τα δεδομένα και τα αναλυτικά στοιχεία. Μέσω της κατανόησης των ανθρώπων και των συμπεριφορών τους σε όλα τα κανάλια και τις πλατφόρμες, ενισχύουμε τους πελάτες μας με ανεξάρτητη και λειτουργική ευφυΐα, ώστε να μπορούν να συνδέονται και να αλληλεπιδρούν με το κοινό τους — τώρα και στο μέλλον.

Στη Nielsen Sports, η αποστολή μας είναι να παρέχουμε στους πελάτες μας —εμπορικές επωνυμίες και κατόχους δικαιωμάτων— τη δυνατότητα μέτρησης της απόδοσης επένδυσης (ROI) και της αποτελεσματικότητας μιας διαφημιστικής εκστρατείας αθλητικής χορηγίας σε όλα τα κανάλια, συμπεριλαμβανομένης της τηλεόρασης, του διαδικτύου, των μέσων κοινωνικής δικτύωσης και ακόμη και εφημερίδες και να παρέχει ακριβή στόχευση σε τοπικό, εθνικό και διεθνές επίπεδο.

Σε αυτήν την ανάρτηση, περιγράφουμε πώς η Nielsen Sports εκσυγχρόνισε ένα σύστημα που εκτελούσε χιλιάδες διαφορετικά μοντέλα μηχανικής εκμάθησης (ML) στην παραγωγή χρησιμοποιώντας Amazon Sage Maker τερματικά σημεία πολλαπλών μοντέλων (MMEs) και μειωμένο λειτουργικό και οικονομικό κόστος κατά 75%.

Προκλήσεις με την τμηματοποίηση βίντεο καναλιού

Η τεχνολογία μας βασίζεται στην τεχνητή νοημοσύνη (AI) και συγκεκριμένα στην όραση υπολογιστή (CV), η οποία μας επιτρέπει να παρακολουθούμε την έκθεση της επωνυμίας και να προσδιορίζουμε με ακρίβεια την τοποθεσία της. Για παράδειγμα, αναγνωρίζουμε εάν η επωνυμία βρίσκεται σε ένα πανό ή ένα πουκάμισο. Επιπλέον, προσδιορίζουμε τη θέση της επωνυμίας στο αντικείμενο, όπως η επάνω γωνία μιας πινακίδας ή το μανίκι. Το παρακάτω σχήμα δείχνει ένα παράδειγμα του συστήματος προσθήκης ετικετών.

Για να κατανοήσουμε τις προκλήσεις κλιμάκωσης και κόστους, ας δούμε μερικούς αντιπροσωπευτικούς αριθμούς. Κάθε μήνα, εντοπίζουμε πάνω από 120 εκατομμύρια εμφανίσεις επωνυμίας σε διαφορετικά κανάλια και το σύστημα πρέπει να υποστηρίζει την αναγνώριση περισσότερων από 100,000 επωνυμιών και παραλλαγών διαφορετικών επωνυμιών. Έχουμε δημιουργήσει μία από τις μεγαλύτερες βάσεις δεδομένων με εμφανίσεις επωνυμίας στον κόσμο με πάνω από 6 δισεκατομμύρια σημεία δεδομένων.

Η διαδικασία αξιολόγησης των μέσων μας περιλαμβάνει διάφορα βήματα, όπως φαίνεται στο παρακάτω σχήμα:

1. Πρώτον, καταγράφουμε χιλιάδες κανάλια σε όλο τον κόσμο χρησιμοποιώντας ένα διεθνές σύστημα ηχογράφησης.
2. Μεταφέρουμε το περιεχόμενο σε συνδυασμό με το πρόγραμμα μετάδοσης (Ηλεκτρονικός Οδηγός Προγραμματισμού) στο επόμενο στάδιο, που είναι η τμηματοποίηση και ο διαχωρισμός μεταξύ των ίδιων των εκπομπών του παιχνιδιού και άλλου περιεχομένου ή διαφημίσεων.
3. Πραγματοποιούμε παρακολούθηση μέσων, όπου προσθέτουμε επιπλέον μεταδεδομένα σε κάθε τμήμα, όπως βαθμολογίες πρωταθλήματος, σχετικές ομάδες και παίκτες.
4. Πραγματοποιούμε μια ανάλυση έκθεσης της προβολής των επωνυμιών και στη συνέχεια συνδυάζουμε τις πληροφορίες κοινού για να υπολογίσουμε την αποτίμηση της καμπάνιας.
5. Οι πληροφορίες παραδίδονται στον πελάτη από έναν πίνακα εργαλείων ή από αναφορές αναλυτών. Ο αναλυτής έχει άμεση πρόσβαση στα πρωτογενή δεδομένα ή μέσω της αποθήκης δεδομένων μας.

Επειδή λειτουργούμε σε κλίμακα άνω των χιλίων καναλιών και δεκάδων χιλιάδων ωρών βίντεο ετησίως, πρέπει να έχουμε ένα επεκτάσιμο σύστημα αυτοματισμού για τη διαδικασία ανάλυσης. Η λύση μας τμηματοποιεί αυτόματα τη μετάδοση και ξέρει πώς να απομονώνει τα σχετικά βίντεο κλιπ από το υπόλοιπο περιεχόμενο.

Αυτό το κάνουμε χρησιμοποιώντας αποκλειστικούς αλγόριθμους και μοντέλα που έχουμε αναπτύξει για την ανάλυση των ειδικών χαρακτηριστικών των καναλιών.

Συνολικά, εκτελούμε χιλιάδες διαφορετικά μοντέλα στην παραγωγή για να υποστηρίξουμε αυτήν την αποστολή, η οποία είναι δαπανηρή, συνεπάγεται λειτουργικά έξοδα και είναι επιρρεπής σε σφάλματα και αργή. Χρειάστηκαν μήνες για να φτάσουν στην παραγωγή μοντέλα με νέα αρχιτεκτονική μοντέλων.

Εδώ θέλαμε να καινοτομήσουμε και να ξαναχτίσουμε το σύστημά μας.

Οικονομική κλιμάκωση για μοντέλα βιογραφικών που χρησιμοποιούν SageMaker MME

Το σύστημα τμηματοποίησης βίντεο παλαιού τύπου ήταν δύσκολο να δοκιμαστεί, να αλλάξει και να διατηρηθεί. Μερικές από τις προκλήσεις περιλαμβάνουν την εργασία με ένα παλιό πλαίσιο ML, τις αλληλεξαρτήσεις μεταξύ των στοιχείων και μια δύσκολα βελτιστοποιημένη ροή εργασίας. Αυτό οφείλεται στο γεγονός ότι βασιστήκαμε στο RabbitMQ για τον αγωγό, το οποίο ήταν μια κρατική λύση. Για τον εντοπισμό σφαλμάτων ενός στοιχείου, όπως η εξαγωγή χαρακτηριστικών, έπρεπε να δοκιμάσουμε όλη τη διοχέτευση.

Το παρακάτω διάγραμμα απεικονίζει την προηγούμενη αρχιτεκτονική.

Ως μέρος της ανάλυσής μας, εντοπίσαμε σημεία συμφόρησης στην απόδοση, όπως η εκτέλεση ενός μεμονωμένου μοντέλου σε ένα μηχάνημα, το οποίο έδειξε χαμηλή χρήση GPU της τάξης του 30-40%. Ανακαλύψαμε επίσης αναποτελεσματική εκτέλεση αγωγών και αλγόριθμους προγραμματισμού για τα μοντέλα.

Ως εκ τούτου, αποφασίσαμε να δημιουργήσουμε μια νέα αρχιτεκτονική πολλών ενοικιαστών βασισμένη στο SageMaker, η οποία θα εφαρμόζει βελτιώσεις βελτιστοποίησης απόδοσης, θα υποστηρίζει δυναμικά μεγέθη παρτίδας και θα εκτελεί πολλά μοντέλα ταυτόχρονα.

Κάθε εκτέλεση της ροής εργασίας στοχεύει μια ομάδα βίντεο. Κάθε βίντεο διαρκεί από 30 έως 90 λεπτά και κάθε ομάδα έχει περισσότερα από πέντε μοντέλα για προβολή.

Ας εξετάσουμε ένα παράδειγμα: ένα βίντεο μπορεί να έχει διάρκεια 60 λεπτών, αποτελούμενο από 3,600 εικόνες, και κάθε εικόνα πρέπει να συναχθεί από τρία διαφορετικά μοντέλα ML κατά το πρώτο στάδιο. Με τα MME SageMaker, μπορούμε να εκτελέσουμε παρτίδες 12 εικόνων παράλληλα και η πλήρης παρτίδα ολοκληρώνεται σε λιγότερο από 2 δευτερόλεπτα. Σε μια κανονική μέρα, έχουμε περισσότερες από 20 ομάδες βίντεο και σε μια γεμάτη μέρα του Σαββατοκύριακου, μπορούμε να έχουμε περισσότερες από 100 ομάδες βίντεο.

Το παρακάτω διάγραμμα δείχνει τη νέα, απλοποιημένη αρχιτεκτονική μας χρησιμοποιώντας ένα SageMaker MME.

Αποτελέσματα

Με τη νέα αρχιτεκτονική, πετύχαμε πολλά από τα επιθυμητά μας αποτελέσματα και μερικά αόρατα πλεονεκτήματα σε σχέση με την παλιά αρχιτεκτονική:

• Καλύτερος χρόνος εκτέλεσης - Με την αύξηση των μεγεθών παρτίδας (12 βίντεο παράλληλα) και την εκτέλεση πολλών μοντέλων ταυτόχρονα (πέντε μοντέλα παράλληλα), μειώσαμε τον συνολικό χρόνο εκτέλεσης του σωλήνα κατά 33%, από 1 ώρα σε 40 λεπτά.
• Βελτιωμένες υποδομές – Με το SageMaker, αναβαθμίσαμε την υπάρχουσα υποδομή μας και τώρα χρησιμοποιούμε νεότερες παρουσίες AWS με νεότερες GPU όπως το g5.xlarge. Ένα από τα μεγαλύτερα οφέλη από την αλλαγή είναι η άμεση βελτίωση της απόδοσης από τη χρήση βελτιστοποιήσεων TorchScript και CUDA.
• Βελτιστοποιημένη χρήση υποδομής – Έχοντας ένα μόνο τελικό σημείο που μπορεί να φιλοξενήσει πολλά μοντέλα, μπορούμε να μειώσουμε τόσο τον αριθμό των τελικών σημείων όσο και τον αριθμό των μηχανημάτων που πρέπει να συντηρήσουμε και επίσης να αυξήσουμε τη χρήση ενός μεμονωμένου μηχανήματος και της GPU του. Για μια συγκεκριμένη εργασία με πέντε βίντεο, χρησιμοποιούμε πλέον μόνο πέντε μηχανήματα παρουσιών g5, γεγονός που μας προσφέρει 75% όφελος κόστους από την προηγούμενη λύση. Για έναν τυπικό φόρτο εργασίας κατά τη διάρκεια της ημέρας, χρησιμοποιούμε ένα μόνο τελικό σημείο με ένα μόνο μηχάνημα g5.xlarge με χρήση GPU άνω του 80%. Για σύγκριση, η προηγούμενη λύση είχε λιγότερο από 40% χρησιμοποίηση.
• Αυξημένη ευκινησία και παραγωγικότητα – Η χρήση του SageMaker μας επέτρεψε να αφιερώσουμε λιγότερο χρόνο στη μετεγκατάσταση μοντέλων και περισσότερο χρόνο στη βελτίωση των βασικών αλγορίθμων και μοντέλων μας. Αυτό έχει αυξήσει την παραγωγικότητα για τις ομάδες μηχανικής και επιστήμης δεδομένων μας. Μπορούμε πλέον να ερευνήσουμε και να αναπτύξουμε ένα νέο μοντέλο ML σε λιγότερο από 7 ημέρες, αντί για πάνω από 1 μήνα πριν. Αυτό είναι 75% βελτίωση στην ταχύτητα και τον προγραμματισμό.
• Καλύτερη ποιότητα και εμπιστοσύνη - Με τις δυνατότητες δοκιμών του SageMaker A/B, μπορούμε να αναπτύξουμε τα μοντέλα μας με σταδιακό τρόπο και να είμαστε σε θέση να επαναφέρουμε με ασφάλεια. Ο ταχύτερος κύκλος ζωής μέχρι την παραγωγή αύξησε επίσης την ακρίβεια και τα αποτελέσματα των μοντέλων ML.

Το παρακάτω σχήμα δείχνει τη χρήση της GPU με την προηγούμενη αρχιτεκτονική (30-40% χρήση GPU).

Το παρακάτω σχήμα δείχνει τη χρήση της GPU με τη νέα απλοποιημένη αρχιτεκτονική (90% χρήση GPU).

Συμπέρασμα

Σε αυτήν την ανάρτηση, μοιραστήκαμε πώς η Nielsen Sports εκσυγχρόνισε ένα σύστημα που εκτελούσε χιλιάδες διαφορετικά μοντέλα στην παραγωγή χρησιμοποιώντας SageMaker MME και μείωσε το λειτουργικό και οικονομικό τους κόστος κατά 75%.

Για περαιτέρω ανάγνωση, ανατρέξτε στα ακόλουθα:

---

Σχετικά με τους Συγγραφείς

Εϊτάν Σέλα είναι αρχιτέκτονας λύσεων τεχνητής γενετικής τεχνητής νοημοσύνης και μηχανικής μάθησης με τις υπηρεσίες Web της Amazon. Συνεργάζεται με πελάτες του AWS για να παρέχει καθοδήγηση και τεχνική βοήθεια, βοηθώντας τους να δημιουργήσουν και να λειτουργήσουν λύσεις Generative AI και Machine Learning στο AWS. Στον ελεύθερο χρόνο του, ο Eitan απολαμβάνει το τζόκινγκ και την ανάγνωση των πιο πρόσφατων άρθρων μηχανικής εκμάθησης.

Γκαλ Γκόλντμαν είναι Senior Software Engineer και Enterprise Senior Solution Architect στο AWS με πάθος για λύσεις αιχμής. Εξειδικεύεται και έχει αναπτύξει πολλές διανεμημένες υπηρεσίες και λύσεις Machine Learning. Ο Gal εστιάζει επίσης στο να βοηθήσει τους πελάτες του AWS να επιταχύνουν και να ξεπεράσουν τις προκλήσεις τους στον τομέα της μηχανικής και της Generative AI.

Ταλ Πάντσεκ είναι Ανώτερος Διευθυντής Επιχειρηματικής Ανάπτυξης για την Τεχνητή Νοημοσύνη και τη Μηχανική Μάθηση με τις Υπηρεσίες Ιστού της Amazon. Ως Ειδικός BD, είναι υπεύθυνος για την αυξανόμενη υιοθέτηση, τη χρήση και τα έσοδα για τις υπηρεσίες AWS. Συγκεντρώνει τις ανάγκες των πελατών και του κλάδου και συνεργάζεται με ομάδες προϊόντων AWS για να καινοτομεί, να αναπτύσσει και να παρέχει λύσεις AWS.

Ταμίρ Ρουμπίνσκι ηγείται της Global R&D Engineering στη Nielsen Sports, φέρνοντας τεράστια εμπειρία στην κατασκευή καινοτόμων προϊόντων και στη διαχείριση ομάδων υψηλών επιδόσεων. Το έργο του μεταμόρφωσε την αξιολόγηση των μέσων ενημέρωσης για αθλητικές χορηγίες μέσω καινοτόμων λύσεων που βασίζονται σε τεχνητή νοημοσύνη.

Αβιάντ Αρανίας είναι αρχηγός ομάδας MLOps και αρχιτέκτονας αθλητικής ανάλυσης της Nielsen που ειδικεύεται στη δημιουργία πολύπλοκων αγωγών για την ανάλυση βίντεο αθλητικών εκδηλώσεων σε πολλά κανάλια. Διαπρέπει στη δημιουργία και την ανάπτυξη μοντέλων βαθιάς μάθησης για τον αποτελεσματικό χειρισμό δεδομένων μεγάλης κλίμακας. Στον ελεύθερο χρόνο του, του αρέσει να ψήνει νόστιμες ναπολιτάνικές πίτσες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/