Analytics-alusta Databricks on julkaissut avoimen lähdekoodin perustavan laajan kielimallin toivoen, että yritykset käyttävät sen työkaluja hypätäkseen LLM:n kelkkaan.

Apache Sparkin ympärille perustettu yritys julkaisi joukon vertailuarvoja väittäen, että sen yleiskäyttöinen LLM - nimeltään DBRX - päihitti avoimen lähdekoodin kilpailijansa kielen ymmärtämisessä, ohjelmoinnissa ja matematiikassa. Kehittäjä väitti myös, että se voitti OpenAI:n patentoidun GPT-3.5:n samoilla mitoilla.

DBRX:n on kehittänyt Mosaic AI, joka Databricks hankittu 1.3 miljardilla dollarilla ja koulutettu Nvidia DGX Cloudissa. Databricks väittää optimoineensa DBRX:n tehokkuutta varten asiantuntija-arkkitehtuurilla (MoE) – jossa useat asiantuntijaverkostot tai oppijat jakavat ongelman.

Databricks selitti, että mallilla on 132 miljardia parametria, mutta vain 36 miljardia on aktiivisia yhdellä tulolla.

Databricksin markkinointijohtaja Joel Minnick kertoi Rekisteri: "Se on iso syy siihen, miksi malli pystyy toimimaan yhtä tehokkaasti kuin se toimii, mutta myös räjähtävän nopeasti. Käytännössä, jos käytät mitä tahansa suuria chatbotteja, jotka ovat saatavilla tänään, olet todennäköisesti tottunut odottamaan ja katsomaan vastausta. DBRX:n kanssa se on lähes välitön."

Mutta itse mallin suorituskyky ei ole Databricksille tärkeintä. Loppujen lopuksi biz on mahdollistanut DBRX:n ilmainen GitHubissa ja Halaaminen kasvot.

Databricks toivoo asiakkaiden käyttävän mallia omien LLM-yritystensä perustana. Jos näin tapahtuu, se saattaa parantaa asiakkaiden chatbotteja tai sisäisiä kysymyksiin vastaamista ja näyttää samalla, kuinka DBRX rakennettiin Databricksin omistamien työkalujen avulla.

Databricks kokosi tietojoukon, josta DBRX kehitettiin, käyttämällä Apache Spark- ja Databricks-kannettavia tietojen käsittelyyn, Unity Catalogia tiedonhallintaan ja hallintaan sekä MLflow:ta kokeilujen seurantaan.

Minnick paljasti, että yritysten investoinnit LLM-yrityksiin viivästyttivät pelko kolmannen osapuolen omistajuudesta ja hallinnosta. "Tietojen siirtäminen kolmansille osapuolille, omistusoikeuden puuttuminen mallipainoista, tietojen hallinta kokonaan päästä päähän - nämä ovat asioita, jotka hidastavat niitä", hän selitti.

"Se, mitä päätimme rakentaa, oli erittäin tehokas… malli, jonka avulla yritykset voivat mennä ja tuoda omiin sovelluksiinsa omiin käyttötapauksiinsa."

Hyoun Park, Amalgam Insightsin toimitusjohtaja ja pääanalyytikko, huomautti, että DBRX:n merkitys on siinä, että Databricks voi näyttää mallin rakentamisen vaiheittain prosessina, jota muut yritykset voivat seurata ja hienosäätää.

"Tämä yhdistelmä sukulinjaa, näkyvyyttä, toistettavuutta ja mallin omistajuutta kokonaisvaltaisessa mallien virittämisessä, testauksessa ja toiminnallisuudessa on tärkeä."

Park totesi ymmärtäneensä Databricksin rakentaneen yli 50,000 XNUMX mukautettua mallia asiakkaille. "Juuri yhdistelmä mallinrakennuskokemusta ja kykyä tehdä se suuressa mittakaavassa tehokkaalla mallilla, joka on parhaalla yksityisellä ja avoimen lähdekoodin toiminnalla, tekee tästä ilmoituksesta minulle merkittävän yrityksen IT-näkökulmasta."

DBRX-uutiset näkyvät Databricksin muuttuvassa kilpailutilanteessa. Yrityksellä on pitkäaikainen strateginen kumppanuus Microsoftin kanssa, mikä johti Azure Databricksiin – jossa käyttäjille luvataan integroituja datapalveluita, jotka liittyvät läheisesti Redmond-jätin pilvialustaan.

Mutta sen jälkeen kun tarjous julkaistiin vuonna 2017, Microsoft on siirtynyt Databricksin lakehouse-markkinoille – jossa käyttäjille tarjotaan datavarastointia ja datajärviä yhdessä ympäristössä – ja lupaa käyttäjille yritystason LLM:t sen 10 miljardia dollaria OpenAI-kumppanuus. Kangasympäristössään, Microsoft voi myös tarjota "peilaus" tapahtumatietokantajärjestelmistään Azure Cosmos DB ja Azure SQL DB, joka tarjoaa pääsyn analytiikkapalveluihin ilman tietojen siirtämistä.

Sekä Databricksin että Microsoftin strategioiden yllä leijuva avoin kysymys on, milloin odotettavissa olevien LLM-teknologioiden investointitulva saapuu. Tammikuussa, Gartner ennusti yritysten teknologian investoinnit eivät tule tänä vuonna, ja niillä olisi vain vähän vaikutusta muihin IT-investointeihin. ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/03/28/databricks_dbrx_llm/