Microsoft сьогодні стверджував, що він випустив «найбільш ефективні та економічно ефективні малі мовні моделі (SLM)», кажучи Фі-3— третя його ітерація Сімейство малих мовних моделей Phi (SLM) — перевершує моделі порівнянного розміру та кілька більших.
Мала мовна модель (SLM) — це тип моделі штучного інтелекту, яка розроблена для надзвичайно ефективного виконання конкретних завдань, пов’язаних із мовою. На відміну від великих мовних моделей (LLM), які добре підходять для широкого спектру загальних завдань, SLM побудовано на меншому наборі даних, щоб зробити їх більш ефективними та економічно вигідними для конкретних випадків використання.
Phi-3 випускається в різних версіях, як пояснила Microsoft, найменшою з яких є Phi-3 Mini, модель із 3.8 мільярда параметрів, навчена на 3.3 трильйона токенів. Незважаючи на порівняно невеликий розмір, корпус Llama-3 важить більше 15 трлн маркери даних — Phi-3 Mini все ще здатний обробляти 128 тис. маркерів контексту. Це робить його порівнянним з GPT-4 і перевершує Llama-3 і Mistral Large за ємністю токенів.
Іншими словами, гіганти штучного інтелекту, як-от Llama-3 на Meta.ai та Mistral Large, можуть впасти після довгої розмови або запиту задовго до того, як ця легка модель почне боротися.
Однією з найважливіших переваг Phi-3 Mini є його здатність поміститися та працювати на типовому смартфоні. Microsoft протестувала модель на iPhone 14, і вона працювала без проблем, генеруючи 14 токенів на секунду. Для роботи Phi-3 Mini потрібно лише 1.8 ГБ відеопам’яті, що робить його легкою та ефективною альтернативою для користувачів із більш зосередженими вимогами.
Хоча Phi-3 Mini може бути не таким придатним для висококласних кодерів або людей із широкими вимогами, він може бути ефективною альтернативою для користувачів із особливими потребами. Наприклад, стартапи, яким потрібен чат-бот, або люди, які використовують LLM для аналізу даних, можуть використовувати Phi-3 Mini для таких завдань, як організація даних, вилучення інформації, математичні міркування та створення агентів. Якщо моделі надати доступ до Інтернету, вона може стати досить потужною, компенсуючи брак можливостей інформацією в реальному часі.
Phi-3 Mini досягає високих результатів тестування завдяки тому, що Microsoft зосереджується на тому, щоб у своєму наборі даних використовували максимально корисну інформацію. Більш широке сімейство Phi насправді не підходить для завдань, які вимагають фактичних знань, але високі навички міркування позиціонують їх вище основних конкурентів. Phi-3 Medium (модель із 14 мільярдами параметрів) стабільно перевершує такі потужні LLM, як GPT-3.5 — LLM, що підтримує безкоштовну версію ChatGPT, — а версія Mini перемагає такі потужні моделі, як Mixtral-8x7B, у більшості синтетичних тестів.
Однак варто зазначити, що Phi-3 не є відкритим кодом, як його попередник Phi-2. Натомість це ан відкрита модель, що означає, що він доступний і доступний для використання, але він не має такого ж ліцензування з відкритим кодом, як Phi-2, що дозволяє ширше використання та комерційні програми.
Найближчими тижнями Microsoft заявила, що випустить більше моделей сімейства Phi-3, включаючи Phi-3 Small (7 мільярдів параметрів) і вищезгадану Phi-3 Medium.
Microsoft зробила Phi-3 Mini доступним для Azure AI Studio, Hugging Face і Ollama. Модель налаштована за інструкціями та оптимізована для ONNX Runtime із підтримкою Windows DirectML, а також кросплатформною підтримкою на різних GPU, CPU та навіть мобільному обладнанні.
Будьте в курсі криптовалютних новин, отримуйте щоденні оновлення на свою поштову скриньку.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://decrypt.co/227974/microsoft-phi-3-mini-small-ai-language-model
