Idag är vi glada att kunna meddela att Meta Llama 3 foundation-modeller är tillgängliga genom Amazon SageMaker JumpStart att distribuera och köra slutledning. Llama 3-modellerna är en samling förtränade och finjusterade generativa textmodeller.

I det här inlägget går vi igenom hur du upptäcker och distribuerar Llama 3-modeller via SageMaker JumpStart.

Vad är Meta Llama 3

Llama 3 kommer i två parameterstorlekar - 8B och 70B med 8k kontextlängd - som kan stödja ett brett spektrum av användningsfall med förbättringar i resonemang, kodgenerering och instruktioner att följa. Llama 3 använder en transformatorarkitektur endast avkodare och ny tokenizer som ger förbättrad modellprestanda med 128k storlek. Dessutom förbättrade Meta procedurerna efter träning som avsevärt minskade antalet falska avslag, förbättrade anpassningen och ökade mångfalden i modellsvar. Du kan nu få de kombinerade fördelarna med Llama 3-prestanda och MLOps-kontroller med Amazon SageMaker-funktioner som SageMaker Pipelines, SageMaker Debugger eller containerloggar. Dessutom kommer modellen att distribueras i en AWS säker miljö under dina VPC-kontroller, vilket hjälper till att tillhandahålla datasäkerhet.

Vad är SageMaker JumpStart

Med SageMaker JumpStart kan du välja från ett brett urval av allmänt tillgängliga foundationmodeller. ML-utövare kan distribuera grundmodeller till dedikerade SageMaker-instanser från en nätverksisolerad miljö och anpassa modeller med SageMaker för modellutbildning och implementering. Du kan nu upptäcka och distribuera Llama 3-modeller med några få klick in Amazon SageMaker Studio eller programmatiskt genom SageMaker Python SDK, vilket gör att du kan härleda modellprestanda och MLOps-kontroller med SageMaker-funktioner som t.ex. SageMaker-rörledningar, SageMaker-felsökare, eller behållarloggar. Modellen distribueras i en AWS säker miljö och under dina VPC-kontroller, vilket hjälper till att tillhandahålla datasäkerhet. Llama 3-modeller är tillgängliga idag för distribution och slutledning i Amazon SageMaker Studio i us-east-1 (N. Virginia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Irland) och ap-northeast-1 (Tokyo) AWS-regioner.

Upptäck modeller

Du kan komma åt grundmodellerna genom SageMaker JumpStart i SageMaker Studio UI och SageMaker Python SDK. I det här avsnittet går vi igenom hur du upptäcker modellerna i SageMaker Studio.

SageMaker Studio är en integrerad utvecklingsmiljö (IDE) som tillhandahåller ett enda webbaserat visuellt gränssnitt där du kan komma åt specialbyggda verktyg för att utföra alla ML-utvecklingssteg, från att förbereda data till att bygga, träna och distribuera dina ML-modeller. För mer information om hur du kommer igång och konfigurerar SageMaker Studio, se Amazon SageMaker Studio.

I SageMaker Studio kan du komma åt SageMaker JumpStart, som innehåller förutbildade modeller, bärbara datorer och förbyggda lösningar, under Förbyggda och automatiserade lösningar.

Från SageMaker JumpStarts landningssida kan du enkelt upptäcka olika modeller genom att bläddra igenom olika nav som är uppkallade efter modellleverantörer. Du kan hitta Llama 3-modeller i Meta hub. Om du inte ser Llama 3-modeller, uppdatera din SageMaker Studio-version genom att stänga av och starta om. För mer information, se Stäng av och uppdatera Studio Classic-appar.

Du kan hitta Llama 3-modeller genom att söka efter "Meta-llama-3" i sökrutan längst upp till vänster.

Du kan upptäcka alla Meta-modeller som finns tillgängliga i SageMaker JumpStart genom att klicka på Meta hub.

Genom att klicka på ett modellkort öppnas motsvarande modelldetaljsida, från vilken du enkelt kan distribuera modellen.

Distribuera en modell

När du väljer Distribuera och bekräfta villkoren för EULA, kommer implementeringen att starta.

Du kan övervaka utvecklingen av distributionen på sidan som visas efter att du klickat på knappen Distribuera.

Alternativt kan du välja Öppna anteckningsboken att distribuera genom exemplet på anteckningsboken. Exemplet på anteckningsboken ger vägledning från början till slut om hur man distribuerar modellen för slutledning och städar upp resurser.

För att distribuera med hjälp av anteckningsboken börjar du med att välja en lämplig modell, specificerad av model_id. Du kan distribuera vilken som helst av de valda modellerna på SageMaker med följande kod.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Som standard accept_eula är inställd på False. Du måste manuellt acceptera licensavtalet för att distribuera slutpunkten framgångsrikt. Genom att göra det accepterar du användarlicensavtalet och policyn för acceptabel användning. Du kan också hitta licensavtalet Lama hemsida. Detta distribuerar modellen på SageMaker med standardkonfigurationer inklusive standardinstanstypen och standard VPC-konfigurationer. Du kan ändra dessa konfigurationer genom att ange icke-standardvärden i JumpStartModel. För att lära dig mer, se följande dokumentation.

Följande tabell listar alla Llama 3-modeller som finns tillgängliga i SageMaker JumpStart tillsammans med model_ids, standardinstanstyper och maximalt antal totala tokens (summan av antalet inmatade tokens och antalet genererade tokens) som stöds för var och en av dessa modeller.

Kör slutledning

När du har distribuerat modellen kan du köra slutledning mot den distribuerade slutpunkten genom SageMaker-prediktorn. Finjusterade instruktionsmodeller (Llama 3: 8B Instruct och 70B Instruct) accepterar en historik av chattar mellan användaren och chattassistenten och genererar den efterföljande chatten. De förtränade modellerna (Llama 3: 8B och 70B) kräver en strängprompt och utför textkomplettering på den medföljande prompten.

predictor.predict(payload)

Inferensparametrar styr textgenereringsprocessen vid slutpunkten. Max nya tokens styr storleken på utdata som genereras av modellen. Detta är inte samma som antalet ord eftersom modellens ordförråd inte är detsamma som det engelska ordförrådet, och varje token kanske inte är ett engelskspråkigt ord. Temperaturparametern styr slumpmässigheten i utgången. Högre temperatur resulterar i mer kreativa och hallucinerade utgångar. Alla inferensparametrar är valfria.

Exempelmeddelanden för 70B-modellen

Du kan använda Llama 3-modeller för textkomplettering för vilken text som helst. Genom textgenerering kan du utföra en mängd olika uppgifter som att svara på frågor, översätta språk och analysera känslor med mera. Indatanyttolasten till slutpunkten ser ut som följande kod:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Följande är några exempel på uppmaningar och texten som genereras av modellen. Alla utgångar genereras med inferensparametrar {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

I nästa exempel visar vi hur man använder Llama 3-modeller med få skott i kontextinlärning där vi tillhandahåller träningsexempel tillgängliga för modellen. Vi kör bara slutsatser om den utplacerade modellen och under denna process, och modellvikterna ändras inte.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Exempelmeddelanden för 70B-Instruct-modellen

Med Llama 3-instruktionsmodeller som är optimerade för dialoganvändningsfall, är input till instruktionsmodellens slutpunkter den tidigare historiken mellan chattassistenten och användaren. Du kan ställa frågor kontextuella till konversationen som har hänt hittills. Du kan också tillhandahålla systemkonfigurationen, såsom personas, som definierar chattassistentens beteende. Även om det inmatade nyttolastformatet är detsamma som den förtränade basmodellen, bör den inmatade texten formateras på följande sätt:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

I den här instruktionsmallen kan du valfritt börja med en system roll och inkludera så många alternerande roller som önskas i den turbaserade historien. Den sista rollen ska alltid vara assistant och avsluta med två nya radmatningar.

Överväg sedan några exempel på uppmaningar och svar från modellen. I följande exempel ställer användaren en enkel fråga till assistenten.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

I följande exempel har användaren ett samtal med assistenten om turistplatser i Paris. Sedan frågar användaren om det första alternativet som rekommenderas av chattassistenten.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

I följande exempel ställer vi in ​​systemets konfiguration.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Städa upp

När du är klar med att köra anteckningsboken, se till att ta bort alla resurser som du skapade under processen så att din fakturering stoppas. Använd följande kod:

predictor.delete_model()
predictor.delete_endpoint()

Slutsats

I det här inlägget visade vi hur du kommer igång med Llama 3-modeller i SageMaker Studio. Du har nu tillgång till fyra Llama 3-grundmodeller som innehåller miljarder parametrar. Eftersom grundmodeller är förutbildade kan de också hjälpa till att sänka utbildnings- och infrastrukturkostnader och möjliggöra anpassning för ditt användningsfall. Kolla upp SageMaker JumpStart i SageMaker Studio nu för att komma igång.

Om författare

Kyle Ulrich är Applied Scientist II vid AWS
Xin Huang är Senior Applied Scientist på AWS
Qing Lan är Senior Software Developer Engineer på AWS
Haotian An är en Software Developer Engineer II på AWS
Christopher Whitten är en Software Development Engineer II på AWS
Tyler Österberg är mjukvaruutvecklingsingenjör I på AWS
Manan Shah är Software Development Manager på AWS
Jonathan Guinegagne är Senior Software Developer Engineer på AWS
Adriana Simmons är Senior Product Marketing Manager på AWS
Juni vann är Senior Product Manager på AWS
Ashish Khetan är Senior Applied Scientist på AWS
Rachna Chadha är Principal Solution Architect – AI/ML på AWS
Deepak Rupakula är en huvudsaklig GTM-specialist på AWS

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/