StumbleUpon
tumblr
AWS udgav for nylig en tjeneste kaldet AWS DL Containers, der er rettet mod deep learning-forskere. Tjenesten involverer forudkonfiguration og validering af Docker-billeder og derefter forudinstallation af dem med deep learning-rammer, der kan bruges til at implementere brugerdefinerede ML-miljøer på en hurtig måde.
AWS DL Containers understøtter i øjeblikket Apache MXNet og TensorFlow, men vil fortsætte med at tilføje flere rammer som Facebooks PyTorch. Afsløret på Santa Clara AWS Summit i marts 2019, DL Containers kan bruges til inferencing og træningsformål. De er virksomhedens svar på EKS- og ECS-brugeres opfordring til AWS om at skabe en enkel måde at implementere TensorFlow-arbejdsbelastninger til skyen.
Støtte til flere tjenester vil følge, ifølge AWS Chief Evangelist Jeff Barr. Han sagde også, at billederne ville blive gjort tilgængelige gratis og kan bruges forudkonfigureret eller skræddersyet til at passe til arbejdsbyrdens behov ved at tilføje pakker og biblioteker.
Der findes flere typer AWS DL-beholdere, som alle er baseret på kombinationer af følgende kriterier:
- Framework – TensorFlow eller MXNet.
- tilstand – Træning eller slutning. Du kan træne på en enkelt node eller på en multi-node klynge.
- Miljø – CPU eller GPU.
- Python version – 2.7 eller 3.6.
- Distribueret træning – Tilgængeligheden af Horovod rammer.
- Operativsystem – Ubuntu 16.04.
Sådan bruger du Amazon Deep Learning Containers
Opsætningsdelen er ret enkel. I eksemplet vist af Barr opretter brugeren en ECS-klynge med en instans som p2.8xlarge, som vist nedenfor:
$ aws ec2 run-instances –image-id ami-0ebf2c738e66321e6
–tæl 1 –forekomst-type p2.8xlarge
–key-name keys-jbarr-us-east …
Kontroller derefter, at klyngen kører, og at ECS Container Agent er aktiv, og opret en tekstfil til opgavedefinition:
{
"kræver kompatibiliteter": [
"EC2"
],
"containerDefinitions": [
{
"kommando": [
“tensorflow_model_server –port=8500 –rest_api_port=8501 –model_name=saved_model_half_plus_two_gpu –model_base_path=/models/saved_model_half_plus_two_gpu”
],
"indgang": [
"sh",
"-c"
],
"navn": "EC2TFInference",
"image": "841569659894.dkr.ecr.us-east-1.amazonaws.com/sample_tf_inference_images:gpu_with_half_plus_two_model",
"hukommelse": 8111,
"cpu": 256,
"resourceRequirements": [
{
"type": "GPU",
"værdi": "1"
}
],
"essentiel": sandt,
"portMappings": [
{
"hostPort": 8500,
"protokol": "tcp",
"containerPort": 8500
},
{
"hostPort": 8501,
"protokol": "tcp",
"containerPort": 8501
},
{
"containerPort": 80,
"protokol": "tcp"
}
],
"logConfiguration": {
"logDriver": "awslogs",
"muligheder": {
"awslogs-group": "/ecs/TFInference",
"awslogs-region": "us-east-1",
"awslogs-stream-prefix": "ecs"
}
}
}
],
"bind": [],
"netværkstilstand": "bro",
"placementConstraints": [],
"familie": "Ec2TFInference"
}
Opgavedefinitionen registreres derefter ved hjælp af containerspecifikationer som Mode og Environment, og revisionsnummeret registreres. I dette tilfælde 3:
Opgavedefinitionen og revisionsnummeret bruges herefter til at oprette en service, hvorefter du kan navigere til opgaven i konsollen og finde den eksterne binding til port 8501.
Efter træning af modellen på funktionen y=ax+b, hvor a er 0.5 og b er 2, kan inferenser køres for 1.0, 2.0 og 5.0 som input, og de forudsagte værdier vil være 2.5, 3.0 og 4.5.
$ curl -d '{“forekomster”: [1.0, 2.0, 5.0]}'
-X POST http://xx.xxx.xx.xx:8501/v1/models/saved_model_half_plus_two_gpu:predict
{
"forudsigelser": [2.5, 3.0, 4.5
]
}
Eksemplet, som Barr gav, var beregnet til at vise brugerne, hvor nemt det er at udføre inferencing ved hjælp af den nye DL Containers-tjeneste og en præ-trænet model. Tjenestens fleksible karakter giver brugerne mulighed for at lancere en træningsmodel, lave træningen og derefter køre konklusioner.
De store cloud-spillere introducerer nu rammer, der er klar til at implementere, og hardwareacceleration. Google annoncerede TensorFlow 2.0 alpha for sin GCP, og Microsoft og NVIDIA for nylig annoncerede nogle vigtige integrationer:
"Ved at integrere NVIDIA TensorRT med ONNX Runtime og RAPIDS med Azure Machine Learning-tjenesten har vi gjort det nemmere for maskinlæringsudøvere at udnytte NVIDIA GPU'er på tværs af deres datavidenskabelige arbejdsgange," ifølge Kari Briski, Senior Director of Product Management for Accelerated Computing Software hos NVIDIA.
AWS Deep Learning Containers er den seneste tilføjelse til den brede og dybe liste over tjenester, der er rettet mod dataforskere og deep learning-forskere. De er tilgængelige gennem Amazon ECR uden omkostninger, som det er tilfældet med de fleste af deres gratis tjenester, der kun opkræver dig for ressourceforbrug.
StumbleUpon
tumblr
