Microsoft i dag hevdet at den har gitt ut "de mest dyktige og kostnadseffektive småspråkmodellene (SLM) tilgjengelig," sa Phi-3— den tredje iterasjonen av dens Phi-familien av små språkmodeller (SLM-er) – utkonkurrerer modeller med sammenlignelig størrelse og noen få større.
En liten språkmodell (SLM) er en type AI-modell som er designet for å være ekstremt effektiv til å utføre spesifikke språkrelaterte oppgaver. I motsetning til store språkmodeller (LLM), som er godt egnet for et bredt spekter av generiske oppgaver, er SLM-er bygget på et mindre datasett for å gjøre dem mer effektive og kostnadseffektive for spesifikke brukstilfeller.
Phi-3 kommer i forskjellige versjoner, forklarte Microsoft, med den minste Phi-3 Mini, en 3.8 milliarder parametermodell trent på 3.3 billioner tokens. Til tross for den relativt lille størrelsen, veier Llama-3s korpus over 15 billioner tokens of data – Phi-3 Mini er fortsatt i stand til å håndtere 128K tokens of context. Dette gjør den sammenlignbar med GPT-4 og slår Llama-3 og Mistral Large når det gjelder token-kapasitet.
Med andre ord, AI-behemoths som Llama-3 på Meta.ai og Mistral Large kan kollapse etter en lang prat eller spørre i god tid før denne lette modellen begynner å slite.
En av de viktigste fordelene med Phi-3 Mini er dens evne til å passe og kjøre på en typisk smarttelefon. Microsoft testet modellen på en iPhone 14, og den kjørte uten problemer, og genererte 14 tokens per sekund. Å kjøre Phi-3 Mini krever bare 1.8 GB VRAM, noe som gjør det til et lett og effektivt alternativ for brukere med mer fokuserte krav.
Selv om Phi-3 Mini kanskje ikke er like egnet for avanserte kodere eller personer med brede krav, kan det være et effektivt alternativ for brukere med spesifikke behov. For eksempel kan startups som trenger en chatbot eller personer som utnytter LLM-er for dataanalyse bruke Phi-3 Mini til oppgaver som dataorganisering, uttrekk av informasjon, matematisk resonnement og bygge agenter. Hvis modellen får internettilgang, kan den bli ganske kraftig, og kompensere for mangelen på muligheter med sanntidsinformasjon.
Phi-3 Mini oppnår høye testresultater på grunn av Microsofts fokus på å kurere datasettet med mest mulig nyttig informasjon. Den bredere Phi-familien er faktisk ikke bra for oppgaver som krever faktakunnskap, men høye resonneringsferdigheter posisjonerer dem over store konkurrenter. Phi-3 Medium (en 14 milliarder parametermodell) slår konsekvent kraftige LLM-er som GPT-3.5 — LLM-en som driver gratisversjonen av ChatGPT — og Mini-versjonen slår kraftige modeller som Mixtral-8x7B i de fleste syntetiske benchmarks.
Det er imidlertid verdt å merke seg at Phi-3 ikke er åpen kildekode som sin forgjenger, Phi-2. I stedet er det en åpen modell, noe som betyr at den er tilgjengelig og tilgjengelig for bruk, men den har ikke den samme åpen kildekode-lisensen som Phi-2, som tillater bredere bruk og kommersielle applikasjoner.
I løpet av de kommende ukene sa Microsoft at de vil gi ut flere modeller i Phi-3-familien, inkludert Phi-3 Small (7 milliarder parametere) og det nevnte Phi-3 Medium.
Microsoft har gjort Phi-3 Mini tilgjengelig på Azure AI Studio, Hugging Face og Ollama. Modellen er instruksjonstilpasset og optimalisert for ONNX Runtime med støtte for Windows DirectML, samt støtte på tvers av plattformer på tvers av forskjellige GPUer, CPUer og til og med mobil maskinvare.
Hold deg oppdatert på kryptonyheter, få daglige oppdateringer i innboksen din.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://decrypt.co/227974/microsoft-phi-3-mini-small-ai-language-model
