Microsoft trdi, da najnovejša inkarnacija njegovega lahkega modela Phi-3 Mini AI tekmuje s konkurenti, kot je GPT-3.5, hkrati pa je dovolj majhna, da jo lahko namestite na telefon.
Phi-3 Mini je jezikovni model s 3.8 milijarde parametrov, ki je usposobljen na 3.3 bilijona žetonov. Ta številka je večja od 2.7 milijarde parametrov Phi-2, ki jih ima Microsoft Uvedeno v decembru 2023.
Namesto da bi se čim bolj poglobili v modele usposabljanja, je bil poudarek na sklepanju. Microsoft je dejal: »Na primer, rezultat tekme v Premier ligi v določenem dnevu so lahko dobri podatki o treningu za mejne modele, vendar moramo takšne informacije odstraniti, da pustimo več zmogljivosti modela za 'razumevanje' za modele mini velikosti. .”
Ciljni pristop pomeni, da čeprav Phi-3 morda nima same širine znanja svojih konkurentov, je vsaj tako dober, če ne boljši, ko gre za sklepanje, vsaj tako trdi Microsoft. V raziskovalna naloga [PDF], Microsoft ugotavlja, da je to omogočilo njegovemu majhnemu jezikovnemu modelu, "da je dosegel raven zelo zmogljivih modelov, kot sta GPT-3.5 ali Mixtral, s samo 3.8 B skupnih parametrov (medtem ko ima Mixtral na primer 45 B skupnih parametrov)."
Raziskava tudi ugotavlja, da so bili uporabljeni podatki o usposabljanju sestavljeni iz "močno filtriranih spletnih podatkov ... iz različnih odprtih internetnih virov" in podatkov, ki jih je ustvaril LLM. Viri podatkov, ki se uporabljajo za usposabljanje LLM, so predmet več tožb.
Majhna velikost Phi-3 Mini pomeni, da lahko deluje brez povezave na pametnem telefonu, so nam povedali. Raziskovalci so dejali, da bi ga lahko naredili tako, da zasede približno 1.8 GB pomnilnika, in ga preizkusili brez povezave na iPhonu 14 s čipom A16 Bionic, ki izvirno deluje v napravi. V prispevku raziskovalci prikazujejo posnetke zaslona Phi-3 Mini, ki piše pesem in predlaga stvari, ki jih je treba početi v Houstonu.
Raziskovalci poudarjajo tudi slabe strani osredotočanja na razumevanje jezika in sklepanje. »Model preprosto nima zmožnosti shranjevanja preveč 'dejanskega znanja',« nekaj, kar je mogoče do določene mere omiliti z dopolnitvijo z iskalnikom. Vendar bi to izničilo smisel, da bi ga lahko izvajali brez povezave.
Jezik je trenutno večinoma omejen na angleščino, težave, ki so značilne za večino LLM – halucinacije, ojačanje pristranskosti in ustvarjanje neprimerne vsebine – pa je mogoče najti tudi v Phi-3 Mini.
Raziskovalci v prispevku pravijo: "Pred nami je veliko dela za popolno obravnavo teh izzivov."
Napovedani so bili tudi večji modeli – relativno gledano – v obliki Phi-3 Small in Phi-3 Medium s 7 oziroma 14 milijardami parametrov.
Victor Botev, tehnični direktor in soustanovitelj pri Iris.ai, nam je povedal: »Microsoftova napoved modela Phi-3 predstavlja nadaljnji trend v razvoju AI. Namesto da bi lovil vedno večje modele, Microsoft razvija orodja s skrbneje urejenimi podatki in specializiranim usposabljanjem. To omogoča izboljšano zmogljivost in sposobnosti razmišljanja brez ogromnih računskih stroškov modelov z bilijoni parametrov. Izpolnitev te obljube bi pomenila odpravo velike ovire pri sprejemanju za podjetja, ki iščejo rešitve AI.
»Microsoft modro gleda dlje od miselnosti 'večje je boljše'. Za široko razširjene poslovne in potrošniške aplikacije umetne inteligence sta izvedljivost in specifičnost pomembnejši od množičnih parametrov. Modeli, kot je Phi-3, jasno dokazujejo, da s pravimi podatki in pristopom k usposabljanju napredne zmogljivosti umetne inteligence ne zahtevajo gradnje vedno večjih modelov – kar je odločilni dejavnik za podjetja, kjer je razmerje med ceno in kakovostjo ključnega pomena.« ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
