Αυτή η ανάρτηση ιστολογίου συντάχθηκε με τον Hwalsuk Lee στο Upstage.

Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε ότι το Ηλιακός Το μοντέλο βάσης που αναπτύχθηκε από την Upstage είναι πλέον διαθέσιμο για πελάτες που χρησιμοποιούν Amazon SageMaker JumpStart. Η Solar είναι ένα μοντέλο μεγάλων γλωσσών (LLM) 100% προεκπαιδευμένο με Amazon Sage Maker που έχει καλύτερη απόδοση και χρησιμοποιεί το συμπαγές μέγεθος και τις ισχυρές επιδόσεις του για να εξειδικεύεται στην εκπαίδευση για σκοπούς, καθιστώντας το ευέλικτο σε γλώσσες, τομείς και εργασίες.

Τώρα μπορείτε να χρησιμοποιήσετε το Solar Mini Chat και Solar Mini Chat – Ποσ προεκπαιδευμένα μοντέλα στο SageMaker JumpStart. Το SageMaker JumpStart είναι ο κόμβος μηχανικής εκμάθησης (ML) του SageMaker που παρέχει πρόσβαση σε μοντέλα θεμελίωσης εκτός από ενσωματωμένους αλγόριθμους για να σας βοηθήσει να ξεκινήσετε γρήγορα με την ML.

Σε αυτήν την ανάρτηση, περιγράφουμε πώς να ανακαλύψετε και να αναπτύξετε το μοντέλο Solar μέσω του SageMaker JumpStart.

Τι είναι το μοντέλο Solar;

Το Solar είναι ένα συμπαγές και ισχυρό μοντέλο για αγγλικές και κορεατικές γλώσσες. Είναι ειδικά ρυθμισμένο για σκοπούς συνομιλίας πολλαπλών στροφών, επιδεικνύοντας βελτιωμένη απόδοση σε ένα ευρύ φάσμα εργασιών επεξεργασίας φυσικής γλώσσας.

Το μοντέλο Solar Mini Chat βασίζεται σε Ηλιακός 10.7Β, με 32-στρώσεις Λάμα 2 δομή, και αρχικοποιήθηκε με προεκπαιδευμένα βάρη από Mistral 7B συμβατό με την αρχιτεκτονική Llama 2. Αυτή η λεπτομέρεια το εξοπλίζει με τη δυνατότητα να χειρίζεται εκτεταμένες συνομιλίες πιο αποτελεσματικά, καθιστώντας το ιδιαίτερα ικανό για διαδραστικές εφαρμογές. Χρησιμοποιεί μια μέθοδο κλιμάκωσης που ονομάζεται αναβάθμιση βάθους (DUS), το οποίο αποτελείται από κλιμάκωση κατά βάθος και συνεχή προπόνηση. Το DUS επιτρέπει μια πολύ πιο απλή και αποτελεσματική μεγέθυνση μικρότερων μοντέλων από άλλες μεθόδους κλιμάκωσης όπως π.χ. μείγμα ειδικών (MoE).

Τον Δεκέμβριο του 2023, το μοντέλο Solar 10.7B έκανε κύματα φτάνοντας στην κορυφή του Ανοίξτε το Leaderboard LLM του προσώπου αγκαλιάς. Χρησιμοποιώντας πολύ λιγότερες παραμέτρους, το Solar 10.7B παρέχει αποκρίσεις συγκρίσιμες με το GPT-3.5, αλλά είναι 2.5 φορές πιο γρήγορο. Μαζί με την κορυφή του Open LLM Leaderboard, το Solar 10.7B ξεπερνά το GPT-4 με μοντέλα που εκπαιδεύονται ειδικά για συγκεκριμένους τομείς και εργασίες.

Το παρακάτω σχήμα απεικονίζει μερικές από αυτές τις μετρήσεις:

Με το SageMaker JumpStart, μπορείτε να αναπτύξετε προεκπαιδευμένα μοντέλα με βάση το Solar 10.7B: Solar Mini Chat και μια κβαντισμένη έκδοση του Solar Mini Chat, βελτιστοποιημένη για εφαρμογές συνομιλίας στα Αγγλικά και τα Κορεατικά. Το μοντέλο Solar Mini Chat παρέχει μια προηγμένη κατανόηση των αποχρώσεων της κορεατικής γλώσσας, η οποία βελτιώνει σημαντικά τις αλληλεπιδράσεις των χρηστών σε περιβάλλοντα συνομιλίας. Παρέχει ακριβείς απαντήσεις στις εισροές των χρηστών, διασφαλίζοντας σαφέστερη επικοινωνία και αποτελεσματικότερη επίλυση προβλημάτων σε εφαρμογές συνομιλίας στα αγγλικά και τα κορεατικά.

Ξεκινήστε με τα μοντέλα Solar στο SageMaker JumpStart

Για να ξεκινήσετε με τα μοντέλα Solar, μπορείτε να χρησιμοποιήσετε το SageMaker JumpStart, μια πλήρως διαχειριζόμενη υπηρεσία διανομέα ML για την ανάπτυξη προκατασκευασμένων μοντέλων ML σε ένα φιλοξενούμενο περιβάλλον έτοιμο για παραγωγή. Μπορείτε να αποκτήσετε πρόσβαση σε μοντέλα Solar μέσω του SageMaker JumpStart in Στούντιο Amazon SageMaker, ένα διαδικτυακό περιβάλλον ολοκληρωμένης ανάπτυξης (IDE) όπου μπορείτε να έχετε πρόσβαση σε ειδικά κατασκευασμένα εργαλεία για την εκτέλεση όλων των βημάτων ανάπτυξης ML, από την προετοιμασία δεδομένων έως τη δημιουργία, την εκπαίδευση και την ανάπτυξη των μοντέλων σας ML.

Στην κονσόλα SageMaker Studio, επιλέξτε εκκίνηση με άλμα στο παράθυρο πλοήγησης. Μπορείτε να εισαγάγετε "ηλιακό" στη γραμμή αναζήτησης για να βρείτε τα ηλιακά μοντέλα της Upstage.

Ας αναπτύξουμε το μοντέλο Solar Mini Chat – Quant. Επιλέξτε την κάρτα μοντέλου για να δείτε λεπτομέρειες σχετικά με το μοντέλο, όπως την άδεια, τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση και τον τρόπο χρήσης του μοντέλου. Θα βρείτε επίσης ένα Ανάπτυξη επιλογή, η οποία σας μεταφέρει σε μια σελίδα προορισμού όπου μπορείτε να δοκιμάσετε το συμπέρασμα με ένα παράδειγμα ωφέλιμου φορτίου.

Αυτό το μοντέλο απαιτεί ένα AWS Marketplace συνδρομή. Εάν έχετε ήδη εγγραφεί σε αυτό το μοντέλο και έχετε λάβει έγκριση για χρήση του προϊόντος, μπορείτε να αναπτύξετε το μοντέλο απευθείας.

Εάν δεν έχετε εγγραφεί σε αυτό το μοντέλο, επιλέξτε Εγγραφείτε, μεταβείτε στο AWS Marketplace, ελέγξτε τους όρους τιμολόγησης και τη Σύμβαση άδειας χρήσης τελικού χρήστη (EULA) και επιλέξτε Δέχομαι την προσφορά.

Αφού εγγραφείτε στο μοντέλο, μπορείτε να αναπτύξετε το μοντέλο σας σε ένα τελικό σημείο του SageMaker επιλέγοντας τους πόρους ανάπτυξης, όπως τον τύπο και τον αρχικό αριθμό παρουσιών. Επιλέγω Ανάπτυξη και περιμένετε να δημιουργηθεί ένα τελικό σημείο για το συμπέρασμα του μοντέλου. Μπορείτε να επιλέξετε ένα ml.g5.2xlarge για παράδειγμα ως φθηνότερη επιλογή για συμπέρασμα με το μοντέλο Solar.

Όταν το τελικό σημείο του SageMaker έχει δημιουργηθεί με επιτυχία, μπορείτε να το δοκιμάσετε μέσω των διαφόρων περιβαλλόντων εφαρμογής SageMaker.

Εκτελέστε τον κωδικό σας για μοντέλα Solar στο SageMaker Studio JupyterLab

Το SageMaker Studio υποστηρίζει διάφορα περιβάλλοντα ανάπτυξης εφαρμογών, συμπεριλαμβανομένου του JupyterLab, ενός συνόλου δυνατοτήτων που ενισχύουν την πλήρως διαχειριζόμενη προσφορά φορητών υπολογιστών. Περιλαμβάνει πυρήνες που ξεκινούν σε δευτερόλεπτα, προρυθμισμένο χρόνο εκτέλεσης με δημοφιλή επιστήμη δεδομένων, πλαίσια ML και ιδιωτική αποθήκευση μπλοκ υψηλής απόδοσης. Για περισσότερες πληροφορίες, βλ SageMaker JupyterLab.

Δημιουργήστε έναν χώρο JupyterLab στο SageMaker Studio που διαχειρίζεται τον χώρο αποθήκευσης και τον υπολογισμό των πόρων που απαιτούνται για την εκτέλεση της εφαρμογής JupyterLab.

Μπορείτε να βρείτε τον κώδικα που δείχνει την ανάπτυξη των μοντέλων Solar στο SageMaker JumpStart και ένα παράδειγμα του τρόπου χρήσης του αναπτυγμένου μοντέλου στο GitHub repo. Τώρα μπορείτε να αναπτύξετε το μοντέλο χρησιμοποιώντας το SageMaker JumpStart. Ο παρακάτω κώδικας χρησιμοποιεί την προεπιλεγμένη περίπτωση ml.g5.2xlarge για το τελικό σημείο συμπερασμάτων Solar Mini Chat – Quant model.

Τα ηλιακά μοντέλα υποστηρίζουν ένα ωφέλιμο φορτίο αιτήματος/απόκρισης συμβατό με το τελικό σημείο ολοκλήρωσης συνομιλίας του OpenAI. Μπορείτε να δοκιμάσετε παραδείγματα συνομιλίας μιας στροφής ή πολλαπλών στροφών με την Python.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Πραγματοποιήσατε επιτυχώς συμπέρασμα σε πραγματικό χρόνο με το μοντέλο Solar Mini Chat.

εκκαθάριση

Αφού δοκιμάσετε το τελικό σημείο, διαγράψτε το τελικό σημείο συμπερασμάτων SageMaker και διαγράψτε το μοντέλο για να αποφύγετε χρεώσεις.

Μπορείτε επίσης να εκτελέσετε τον ακόλουθο κώδικα για να διαγράψετε το τελικό σημείο και τη λειτουργία στο σημειωματάριο του SageMaker Studio JupyterLab:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Για περισσότερες πληροφορίες, δείτε Διαγραφή τελικών σημείων και πόρων. Επιπλέον, μπορείτε τερματίστε τους πόρους του SageMaker Studio που δεν απαιτούνται πλέον.

Συμπέρασμα

Σε αυτήν την ανάρτηση, σας δείξαμε πώς να ξεκινήσετε με τα μοντέλα Solar της Upstage στο SageMaker Studio και να αναπτύξετε το μοντέλο για συμπεράσματα. Σας δείξαμε επίσης πώς μπορείτε να εκτελέσετε το δείγμα κώδικα Python στο SageMaker Studio JupyterLab.

Επειδή τα ηλιακά μοντέλα είναι ήδη προεκπαιδευμένα, μπορούν να συμβάλουν στη μείωση του κόστους εκπαίδευσης και υποδομής και να επιτρέψουν την προσαρμογή για τις παραγωγικές εφαρμογές τεχνητής νοημοσύνης.

Δοκιμάστε το στο Κονσόλα SageMaker JumpStart or Κονσόλα SageMaker Studio! Μπορείτε επίσης να παρακολουθήσετε το παρακάτω βίντεο, Δοκιμάστε το «Solar» με το Amazon SageMaker.

Αυτή η καθοδήγηση είναι μόνο για ενημερωτικούς σκοπούς. Θα πρέπει ακόμα να πραγματοποιήσετε τη δική σας ανεξάρτητη αξιολόγηση και να λάβετε μέτρα για να διασφαλίσετε ότι συμμορφώνεστε με τις δικές σας συγκεκριμένες πρακτικές και πρότυπα ποιοτικού ελέγχου, καθώς και με τους τοπικούς κανόνες, νόμους, κανονισμούς, άδειες και όρους χρήσης που ισχύουν για εσάς, το περιεχόμενό σας, και το μοντέλο τρίτου κατασκευαστή που αναφέρεται σε αυτήν την καθοδήγηση. Η AWS δεν έχει κανέναν έλεγχο ή εξουσία επί του μοντέλου τρίτου κατασκευαστή που αναφέρεται σε αυτήν την καθοδήγηση και δεν παρέχει καμία δήλωση ή εγγύηση ότι το μοντέλο τρίτου κατασκευαστή είναι ασφαλές, απαλλαγμένο από ιούς, λειτουργικό ή συμβατό με το περιβάλλον παραγωγής και τα πρότυπά σας. Η AWS δεν προβαίνει σε δηλώσεις, εγγυήσεις ή εγγυήσεις ότι οποιαδήποτε πληροφορία σε αυτήν την καθοδήγηση θα έχει ως αποτέλεσμα ένα συγκεκριμένο αποτέλεσμα ή αποτέλεσμα.

---

Σχετικά με τους Συγγραφείς

Τσάνι Γιουν είναι Κύριος Υπεύθυνος Προγραμματιστή στην AWS και έχει πάθος να βοηθά τους προγραμματιστές να δημιουργήσουν σύγχρονες εφαρμογές στις πιο πρόσφατες υπηρεσίες AWS. Είναι ένας ρεαλιστής προγραμματιστής και blogger στην καρδιά και του αρέσει η μάθηση με γνώμονα την κοινότητα και η ανταλλαγή τεχνολογίας.

Hwalsuk Lee είναι Chief Technology Officer (CTO) στο Upstage. Έχει εργαστεί για τις Samsung Techwin, NCSOFT και Naver ως ερευνητής AI. Παρακολουθεί το διδακτορικό του στη Μηχανική Υπολογιστών και Ηλεκτρολόγων Μηχανικών στο Κορεατικό Ανώτερο Ινστιτούτο Επιστήμης και Τεχνολογίας (KAIST).

Brandon Lee είναι Senior Solutions Architect στο AWS και βοηθά κυρίως μεγάλους πελάτες εκπαιδευτικής τεχνολογίας στο Δημόσιο Τομέα. Έχει πάνω από 20 χρόνια εμπειρίας στην ανάπτυξη εφαρμογών σε παγκόσμιες εταιρείες και μεγάλες εταιρείες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/