Νοημοσύνη δεδομένων Πλάτωνα.
Κάθετη Αναζήτηση & Αι.

Ενημερώστε σταδιακά ένα σύνολο δεδομένων με έναν μηχανισμό μαζικής εισαγωγής στο Amazon Personalize

Ημερομηνία:

Είμαστε ενθουσιασμένοι που το ανακοινώσαμε Προσαρμογή του Amazon τώρα υποστηρίζει αυξητικές μαζικές εισαγωγές δεδομένων. μια νέα επιλογή για την ενημέρωση των δεδομένων σας και τη βελτίωση της ποιότητας των προτάσεών σας. Η διατήρηση των συνόλων δεδομένων σας ενημερωμένα είναι ένα σημαντικό μέρος της διατήρησης της συνάφειας των προτάσεών σας. Πριν από την κυκλοφορία αυτής της νέας δυνατότητας, το Amazon Personalize προσέφερε δύο μηχανισμούς για την απορρόφηση δεδομένων:

  • DatasetImportJob - DatasetImportJob είναι ένας μηχανισμός απορρόφησης μαζικών δεδομένων που έχει σχεδιαστεί για την εισαγωγή μεγάλων συνόλων δεδομένων στο Amazon Personalize. Ένα τυπικό ταξίδι ξεκινάει με την εισαγωγή του συνόλου ιστορικών αλληλεπιδράσεων εκτός από τον κατάλογο στοιχείων και το σύνολο δεδομένων χρήστη. DatasetImportJob μπορεί στη συνέχεια να χρησιμοποιηθεί για να διατηρήσει ενημερωμένα τα σύνολα δεδομένων σας στέλνοντας ενημερωμένες εγγραφές μαζικά. Πριν από αυτήν την κυκλοφορία, τα δεδομένα που απορροφήθηκαν μέσω προηγούμενων εργασιών εισαγωγής αντικαταστάθηκαν από οποιαδήποτε επόμενη DatasetImportJob.
  • API ροής: Τα API ροής (PutEvents, PutUsers, να PutItems) έχουν σχεδιαστεί για να ενημερώνουν σταδιακά κάθε αντίστοιχο σύνολο δεδομένων σε πραγματικό χρόνο. Για παράδειγμα, αφού εκπαιδεύσετε το μοντέλο σας και ξεκινήσετε την καμπάνια σας, οι χρήστες σας συνεχίζουν να δημιουργούν δεδομένα αλληλεπιδράσεων. Αυτά τα δεδομένα στη συνέχεια απορροφώνται μέσω του PutEvents API, το οποίο ενημερώνει σταδιακά το σύνολο δεδομένων αλληλεπιδράσεών σας. Η χρήση των API ροής σάς επιτρέπει να λαμβάνετε δεδομένα όπως τα λαμβάνετε αντί να συγκεντρώνετε τα δεδομένα και να προγραμματίζετε την απορρόφηση.

Με τις σταδιακές μαζικές εισαγωγές, το Amazon Personalize απλοποιεί την απορρόφηση δεδομένων ιστορικών εγγραφών, επιτρέποντάς σας να εισάγετε σταδιακές αλλαγές στα σύνολα δεδομένων σας με DatasetImportJob. Μπορείτε να εισάγετε 100 GB δεδομένων ανά FULL DatasetImportJob ή 1 GB δεδομένων ανά INCREMENTAL DatasetImportJob. Τα δεδομένα προστέθηκαν στα σύνολα δεδομένων χρησιμοποιώντας INCREMENTAL οι εισαγωγές προσαρτώνται στα υπάρχοντα σύνολα δεδομένων σας. Το Personalize θα ενημερώσει τις εγγραφές με την τρέχουσα έκδοση, εάν η σταδιακή εισαγωγή αντιγράφει τυχόν εγγραφές που βρίσκονται στο υπάρχον σύνολο δεδομένων σας, απλοποιώντας περαιτέρω τη διαδικασία απορρόφησης δεδομένων. Στις επόμενες ενότητες, περιγράφουμε τις αλλαγές στο υπάρχον API για την υποστήριξη των σταδιακών εισαγωγών δεδομένων.

CreateDatasetImportJob

Μια νέα παράμετρος καλείται importMode έχει προστεθεί στο CreateDatasetImportJob API. Αυτή η παράμετρος είναι ένας τύπος enum με δύο τιμές: FULL και INCREMENTAL. Η παράμετρος είναι προαιρετική και είναι FULL από προεπιλογή για διατήρηση της συμβατότητας προς τα πίσω. ο CreateDatasetImportJob το αίτημα έχει ως εξής:

{
   "datasetArn": "string",
   "dataSource": { 
      "dataLocation": "string"
   },
   "jobName": "string",
   "roleArn": "string",
   "importMode": {INCREMENTAL, FULL}
}

Το Boto3 API είναι create_dataset_import_job, και το Διεπαφή γραμμής εντολών AWS (AWS CLI) η εντολή είναι δημιουργία-σύνολο δεδομένων-εισαγωγή-εργασία.

DescribeDatasetImportJob

Η απάντηση στο DescribeDatasetImportJob έχει επεκταθεί ώστε να συμπεριλάβει εάν η εισαγωγή ήταν πλήρης ή σταδιακή εισαγωγή. Ο τύπος εισαγωγής υποδεικνύεται σε νέο importMode πεδίο, το οποίο είναι ένας τύπος enum με δύο τιμές: FULL και INCREMENTAL. ο DescribeDatasetImportJob η απάντηση είναι η εξής:

{ 
    "datasetImportJob": {
        "creationDateTime": number,
        "datasetArn": "string",
        "datasetImportJobArn": "string",
        "dataSource": {
            "dataLocation": "string"
        },
        "failureReason": "string",
        "jobName": "string",
        "lastUpdatedDateTime": number,
        "roleArn": "string",
        "status": "string",
        "importMode": {INCREMENTAL, FULL}
    }
}

Το Boto3 API είναι describe_dataset_import_job, και η εντολή AWS CLI είναι describe-dataset-import-job.

ListDatasetImportJob

Η απάντηση στο ListDatasetImportJob έχει επεκταθεί ώστε να συμπεριλάβει εάν η εισαγωγή ήταν πλήρης ή σταδιακή εισαγωγή. Ο τύπος εισαγωγής υποδεικνύεται σε νέο importMode πεδίο, το οποίο είναι ένας τύπος enum με δύο τιμές: FULL και INCREMENTAL. ο ListDatasetImportJob η απάντηση είναι η εξής:

{ 
    "datasetImportJobs": [ { 
        "creationDateTime": number,
        "datasetImportJobArn": "string",
        "failureReason": "string",
        "jobName": "string",
        "lastUpdatedDateTime": number,
        "status": "string",
        "importMode": " {INCREMENTAL, FULL}
    } ],
    "nextToken": "string" 
}

Το Boto3 API είναι list_dataset_import_jobs, και η εντολή AWS CLI είναι list-dataset-import-jobs.

Παράδειγμα κώδικα

Ο παρακάτω κώδικας δείχνει πώς να δημιουργήσετε μια εργασία εισαγωγής δεδομένων για σταδιακή μαζική εισαγωγή χρησιμοποιώντας το SDK για Python (Boto3):

import boto3

personalize = boto3.client('personalize')

response = personalize.create_dataset_import_job(
    jobName = 'YourImportJob',
    datasetArn = 'arn:aws:personalize:us-east 1:111111111111:dataset/AmazonPersonalizeExample/INTERACTIONS',
    dataSource = {'dataLocation':'s3://bucket/file.csv'},
    roleArn = 'role_arn',
    importMode = 'INCREMENTAL'
)

dsij_arn = response['datasetImportJobArn']

print ('Dataset Import Job arn: ' + dsij_arn)

description = personalize.describe_dataset_import_job(
    datasetImportJobArn = dsij_arn)['datasetImportJob']

print('Name: ' + description['jobName'])
print('ARN: ' + description['datasetImportJobArn'])
print('Status: ' + description['status'])

Χαρακτηριστικά

Σε αυτήν την ανάρτηση, περιγράψαμε πώς μπορείτε να χρησιμοποιήσετε αυτήν τη νέα δυνατότητα στο Amazon Personalize για να πραγματοποιήσετε σταδιακές ενημερώσεις σε ένα σύνολο δεδομένων με μαζική εισαγωγή, διατηρώντας τα δεδομένα φρέσκα και βελτιώνοντας τη συνάφεια των προτάσεων του Amazon Personalize. Εάν έχετε καθυστερήσει την πρόσβαση στα δεδομένα σας, η σταδιακή μαζική εισαγωγή σάς επιτρέπει να εισάγετε τα δεδομένα σας πιο εύκολα προσαρτώντας τα στα υπάρχοντα σύνολα δεδομένων σας.

Δοκιμάστε αυτή τη νέα δυνατότητα με πρόσβαση Προσαρμογή του Amazon τώρα.


Σχετικά με τους συγγραφείς

Neelam Koshiya είναι αρχιτέκτονας επιχειρησιακής λύσης στο AWS. Η σημερινή της εστίαση είναι να βοηθήσει τους πελάτες των επιχειρήσεων με το ταξίδι υιοθέτησης σύννεφο για στρατηγικά επιχειρησιακά αποτελέσματα. Στον ελεύθερο χρόνο της, απολαμβάνει την ανάγνωση και το ύπαιθρο.

Τζέιμς Τζόρι είναι ένας κύριος αρχιτέκτονας λύσεων στην Εφαρμοσμένη Τεχνητή Νοημοσύνη με AWS. Έχει ιδιαίτερο ενδιαφέρον για τα συστήματα εξατομίκευσης και συστάσεων και έχει εμπειρία στο ηλεκτρονικό εμπόριο, την τεχνολογία μάρκετινγκ και την ανάλυση δεδομένων πελατών. Στον ελεύθερο χρόνο του, του αρέσει η κατασκήνωση και οι προσομοιώσεις αγώνων αυτοκινήτου.

Ντάνιελ Φόλι είναι Ανώτερος Διευθυντής Προϊόντων για το Amazon Personalize. Επικεντρώνεται στη δημιουργία εφαρμογών που αξιοποιούν την τεχνητή νοημοσύνη για να λύσουν τις μεγαλύτερες προκλήσεις των πελατών μας. Εκτός δουλειάς, ο Dan είναι μανιώδης σκιέρ και πεζοπόρος.

Alex Berlingeri είναι Μηχανικός Ανάπτυξης Λογισμικού με το Amazon Personalize που εργάζεται σε μια υπηρεσία προτάσεων που υποστηρίζεται από μηχανική εκμάθηση. Στον ελεύθερο χρόνο του αρέσει να διαβάζει, να γυμνάζεται και να παρακολουθεί ποδόσφαιρο.

spot_img

Τελευταία Νοημοσύνη

spot_img