Apple ซึ่งปกติไม่เป็นที่รู้จักในเรื่องความเปิดกว้างได้เปิดตัวโมเดล AI เจนเนอเรชั่นที่เรียกว่า OpenELM ซึ่งเห็นได้ชัดว่ามีประสิทธิภาพเหนือกว่าชุดโมเดลภาษาอื่น ๆ ที่ได้รับการฝึกในชุดข้อมูลสาธารณะ

มันไม่มากเมื่อเทียบกับ โอลโมซึ่งเปิดตัวในเดือนกุมภาพันธ์ OpenELM มีความแม่นยำมากขึ้น 2.36 เปอร์เซ็นต์ ในขณะที่ใช้โทเค็นการฝึกล่วงหน้าน้อยลง 2 เท่า แต่อาจจะเพียงพอที่จะเตือนผู้คนว่า Apple ไม่พอใจที่จะเป็นเจ้าพ่อในวงการ AI อีกต่อไป

การเรียกร้องความเปิดกว้างของ Apple มาจากการตัดสินใจที่จะเปิดตัวไม่เพียงแค่โมเดลเท่านั้น แต่ยังรวมถึงกรอบการฝึกอบรมและการประเมินผลด้วย

“แตกต่างจากแนวทางปฏิบัติก่อนหน้านี้ที่ให้เฉพาะน้ำหนักโมเดลและรหัสการอนุมาน และการฝึกอบรมล่วงหน้ากับชุดข้อมูลส่วนตัว การเปิดตัวของเราประกอบด้วยเฟรมเวิร์กที่สมบูรณ์สำหรับการฝึกอบรมและการประเมินโมเดลภาษาบนชุดข้อมูลที่เปิดเผยต่อสาธารณะ รวมถึงบันทึกการฝึกอบรม จุดตรวจสอบหลายจุด และก่อน -การกำหนดค่าการฝึกอบรม” อธิบายนักวิจัยของ Apple 11 คนในหน่วยงานที่เกี่ยวข้อง เอกสารทางเทคนิค.

และแตกต่างจากการปฏิบัติทางวิชาการ ที่อยู่อีเมลของผู้เขียนไม่อยู่ในรายการ ลองทำความเข้าใจกับการตีความความเปิดกว้างของ Apple ซึ่งค่อนข้างเทียบได้กับ OpenAI ที่ไม่เปิดกว้างมากนัก

ที่มาพร้อมกับ การเปิดตัวซอฟต์แวร์ ไม่ใช่ใบอนุญาตโอเพ่นซอร์สที่ได้รับการยอมรับ ไม่ได้มีข้อจำกัดมากเกินไป แต่แสดงให้เห็นชัดเจนว่า Apple ขอสงวนสิทธิ์ในการยื่นคำร้องสิทธิบัตร หากผลงานลอกเลียนใดๆ ที่ใช้ OpenELM ถือเป็นการละเมิดสิทธิ์ของตน

OpenELM ใช้เทคนิคที่เรียกว่า Layer-wise scaling เพื่อจัดสรรพารามิเตอร์ในโมเดลหม้อแปลงได้อย่างมีประสิทธิภาพมากขึ้น ดังนั้นแทนที่จะแต่ละเลเยอร์มีชุดพารามิเตอร์เหมือนกัน เลเยอร์หม้อแปลงของ OpenELM จึงมีการกำหนดค่าและพารามิเตอร์ที่แตกต่างกัน ผลลัพธ์ที่ได้ก็ดีขึ้น ความถูกต้องซึ่งแสดงเป็นเปอร์เซ็นต์ของการคาดการณ์ที่ถูกต้องจากแบบจำลองในการทดสอบเกณฑ์มาตรฐาน

เราได้รับแจ้งว่า OpenELM ได้รับการฝึกอบรมล่วงหน้าโดยใช้ ชุดนอนสีแดง ชุดข้อมูลจาก GitHub, หนังสือมากมาย, Wikipedia, โพสต์ StackExchange, เอกสาร ArXiv และอื่นๆ อีกมากมาย และ ยัดไส้ กำหนดจาก Reddit, Wikibooks, Project Gutenberg และอีกมากมาย สามารถใช้โมเดลได้ตามที่คุณคาดหวัง: คุณแจ้งและพยายามตอบหรือเติมให้อัตโนมัติ

ด้านที่น่าสังเกตอย่างหนึ่งของการเปิดตัวคือมาพร้อมกับ “โค้ดสำหรับแปลงโมเดลเป็นไลบรารี MLX สำหรับการอนุมานและการปรับแต่งบนอุปกรณ์ Apple”

ม.ล เป็นเฟรมเวิร์กที่เปิดตัวเมื่อปีที่แล้วสำหรับการรันการเรียนรู้ของเครื่องบน Apple Silicon ความสามารถในการทำงานภายในเครื่องบนอุปกรณ์ Apple แทนที่จะทำงานผ่านเครือข่าย น่าจะทำให้ OpenELM น่าสนใจสำหรับนักพัฒนามากขึ้น

“การเปิดตัว OpenELM ของ Apple ถือเป็นความก้าวหน้าครั้งสำคัญสำหรับชุมชน AI โดยนำเสนอการประมวลผล AI บนอุปกรณ์ที่มีประสิทธิภาพ เหมาะสำหรับแอพมือถือและอุปกรณ์ IoT ที่มีพลังการประมวลผลจำกัด” Shahar Chen ซีอีโอและผู้ร่วมก่อตั้งธุรกิจบริการ AI Aquant กล่าว ลงทะเบียน- “สิ่งนี้ช่วยให้ทำการตัดสินใจในท้องถิ่นได้อย่างรวดเร็วและจำเป็นสำหรับทุกสิ่งตั้งแต่สมาร์ทโฟนไปจนถึงอุปกรณ์สมาร์ทโฮม ซึ่งเป็นการขยายศักยภาพของ AI ในเทคโนโลยีในชีวิตประจำวัน”

Apple กระตือรือร้นที่จะแสดงข้อดีของสถาปัตยกรรมชิปที่ผลิตเองสำหรับการเรียนรู้ของเครื่อง ซึ่งรองรับฮาร์ดแวร์โดยเฉพาะนับตั้งแต่ที่ Cupertino เปิดตัว เครื่องยนต์ประสาท ในปี 2017 อย่างไรก็ตาม แม้ว่า OpenELM อาจได้คะแนนที่สูงกว่าในเกณฑ์มาตรฐานความแม่นยำ แต่ก็กลับมีน้อยในแง่ของประสิทธิภาพ

“แม้ว่า OpenELM จะมีความแม่นยำสูงกว่าสำหรับการนับพารามิเตอร์ที่คล้ายกัน แต่เราสังเกตว่ามันช้ากว่า OLMo” เอกสารอธิบาย โดยอ้างถึงการทดสอบที่ทำงานโดยใช้ CUDA ของ Nvidia บน Linux รวมถึง OpenELM เวอร์ชัน MLX บน Apple Silicon

เหตุผลสำหรับการแสดงที่น้อยกว่าชัยชนะ boffins ของ Apple กล่าวว่าคือ "การดำเนินการที่ไร้เดียงสาของพวกเขา" RMSนอร์ม” เทคนิคการทำให้ข้อมูลเป็นมาตรฐานในการเรียนรู้ของเครื่อง ในอนาคต พวกเขาวางแผนที่จะสำรวจการเพิ่มประสิทธิภาพเพิ่มเติม

OpenELM มีจำหน่ายในรุ่นที่ปรับแต่งล่วงหน้าและคำสั่งพร้อมพารามิเตอร์ 270 ล้าน, 450 ล้าน, 1.1 พันล้าน และ 3 พันล้านพารามิเตอร์ ผู้ที่ใช้โมเดลนี้ควรระมัดระวังก่อนที่จะลองใช้โมเดลนี้เพื่อสิ่งที่มีความหมาย

“การเปิดตัวโมเดล OpenELM มีเป้าหมายเพื่อเพิ่มศักยภาพและเสริมสร้างชุมชนการวิจัยแบบเปิดโดยให้การเข้าถึงโมเดลภาษาที่ล้ำสมัย” รายงานกล่าว “โมเดลเหล่านี้ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลที่เปิดเผยต่อสาธารณะ โดยไม่มีการรับประกันความปลอดภัยใดๆ”

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://go.theregister.com/feed/www.theregister.com/2024/04/24/apple_openelm_ai/