TOKYO, ngày 24 tháng 2024 năm XNUMX – (JCN Newswire) – Tập đoàn NEC (NEC; TSE: 6701) đã mở rộng các dịch vụ AI tạo sinh “NEC cotomi” với sự phát triển của “NEC cotomi Pro” và “NEC cotomi Light”, hai Mô hình ngôn ngữ lớn AI tạo sinh tốc độ cao (LLM) mới có tính năng cập nhật dữ liệu huấn luyện và kiến ​​trúc.

Với sự phát triển nhanh chóng của AI sáng tạo trong những năm gần đây, nhiều tổ chức đã xem xét và xác minh việc chuyển đổi kinh doanh bằng cách sử dụng LLM. Khi các kịch bản ứng dụng cụ thể xuất hiện, cần phải cung cấp các mô hình và định dạng đáp ứng nhu cầu của khách hàng về thời gian phản hồi, phối hợp dữ liệu kinh doanh, bảo vệ thông tin và các khía cạnh bảo mật khác trong quá trình triển khai và vận hành.

NEC cotomi Pro và NEC cotomi Light mới được phát triển của NEC là các mẫu tốc độ cao, hiệu suất cao mang lại hiệu suất cao tương tự như LLM toàn cầu nhưng với tốc độ nhanh hơn gấp mười lần.

Nói chung, để cải thiện hiệu suất của LLM, mô hình cần phải được làm lớn hơn, nhưng điều này sẽ làm chậm tốc độ vận hành. Tuy nhiên, NEC đã thành công trong việc cải thiện cả tốc độ và hiệu suất với việc phát triển một phương pháp và kiến ​​trúc đào tạo mới tiên tiến.

“NEC cotomi Pro” đạt được hiệu suất tương đương với các mẫu toàn cầu cấp cao nhất như “GPT-4” và “Claude 2”, với thời gian phản hồi nhanh hơn khoảng 87% so với GPT-4 bằng cách sử dụng cơ sở hạ tầng gồm hai bộ xử lý đồ họa ( GPU). Ngoài ra, “NEC cotomi Light” thậm chí còn nhanh hơn có mức hiệu suất tương đương với các mẫu toàn cầu như “GPT-3.5-Turbo”, nhưng có thể xử lý số lượng lớn yêu cầu ở tốc độ cao với cơ sở hạ tầng khoảng 1 đến 2 GPU , cung cấp đủ hiệu suất cho nhiều tác vụ.

Cụ thể, trong hệ thống truy xuất tài liệu nội bộ sử dụng kỹ thuật gọi là RAG, hệ thống đã đạt được tỷ lệ phản hồi chính xác cao hơn GPT-3.5 khi không tinh chỉnh và tỷ lệ phản hồi chính xác cao hơn GPT-4 sau khi tinh chỉnh, có phản hồi thời gian nhanh hơn khoảng 93%.

Các tính năng của NEC cotomi Pro và NEC cotomi Light1. Thông lượng cao cho các nhiệm vụ khác nhau

Cả “NEC cotomi Pro” và “NEC cotomi Light” đều có sức mạnh xử lý cao, đứng đầu toàn cầu về kiến ​​thức và khả năng xử lý các nhiệm vụ khác nhau, chẳng hạn như tóm tắt tài liệu, lý luận logic và trả lời câu hỏi.

So sánh điểm chuẩn “ELYZA Tasks 100” (2 biểu đồ trên cùng) và “Băng ghế dự bị MT Nhật Bản” (biểu đồ dưới cùng)

Cụ thể, NEC đã xác nhận hiệu suất cấp cao nhất, không chỉ ở Nhật Bản mà còn trên toàn cầu, theo hai tiêu chuẩn thường được sử dụng để đo lường hiệu suất LLM tổng thể: “ELYZA Tasks 100” và “Nhật Bản MT-Bench”. NEC cotomi Pro cung cấp kết quả nhanh hơn năm lần so với GPT-4 (*) trên máy chủ tiêu chuẩn có hai GPU. Hơn nữa, nó vượt trội về tốc độ của các mẫu như “Gemini 1.0 Pro” và cho thấy hiệu suất tương đương với Claude 2 và GPT-4. Đồng thời, “NEC cotomi Light” mang lại kết quả nhanh hơn 15 lần so với GPT-4, đồng thời vượt trội so với các mẫu lớn như “LLaMA2-70B” và thể hiện hiệu suất tương đương với GPT-3.5-Turbo.

KHAI THÁC. Tốc độ cao

Ngoài hiệu suất cao trong quá trình suy luận, thời gian (tốc độ) giữa việc gửi yêu cầu và nhận phản hồi cũng rất quan trọng đối với ứng dụng LLM thực tế. NEC cotomi Pro và NEC cotomi Light đã đạt được tốc độ xử lý cao, nhanh hơn 87% đến 93% so với GPT-4 với hai GPU tiêu chuẩn. Điều này đạt được nhờ vào những đổi mới về kiến ​​trúc đã nâng cao cả hiệu suất và tốc độ, cũng như một từ điển tiếng Nhật lớn (để mã hóa) trong mô hình. Những đổi mới này không chỉ tăng tốc độ suy luận mà còn tăng số lượng truy cập đồng thời và giảm thời gian đào tạo cần thiết để tinh chỉnh. Hơn nữa, có thể thực hiện các cải tiến bổ sung về tốc độ bằng cách tăng số lượng GPU lên 4 hoặc 8, cho phép xây dựng linh hoạt để đáp ứng nhu cầu của từng ứng dụng.

Bằng cách sử dụng mô hình đạt được sức mạnh xử lý cao với tốc độ cao và khả năng truy cập hàng loạt, có thể rút ngắn đáng kể thời gian phản hồi của các ứng dụng kinh doanh sử dụng AI tổng hợp và cải thiện trải nghiệm người dùng. Ngoài ra, sức mạnh xử lý cao có thể cải thiện đáng kể hiệu suất sau khi tinh chỉnh dữ liệu riêng lẻ cho từng công ty. Trong tương lai, NEC sẽ tiếp tục tăng cường hợp tác với các đối tác và cung cấp các dịch vụ AI an toàn, bảo mật và đáng tin cậy dựa trên dòng sản phẩm cotomi mở rộng của NEC, với mục tiêu là giúp khách hàng giải quyết nhiều thách thức phức tạp.

(*)Thử nghiệm cung cấp độ chính xác tính toán 16-bit trong môi trường GPU được trang bị hai L40sShare

Về NEC Corporation

NEC Corporation đã tự khẳng định mình là công ty đi đầu trong việc tích hợp công nghệ mạng và CNTT đồng thời quảng bá tuyên bố thương hiệu “Tổ chức một thế giới tươi sáng hơn”. NEC cho phép các doanh nghiệp và cộng đồng thích ứng với những thay đổi nhanh chóng đang diễn ra trong xã hội và thị trường vì nó cung cấp các giá trị xã hội về an toàn, an ninh, công bằng và hiệu quả nhằm thúc đẩy một thế giới bền vững hơn, nơi mọi người đều có cơ hội phát huy hết tiềm năng của mình. Để biết thêm thông tin, hãy truy cập NEC tại https://www.nec.com.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.jcnnewswire.com/pressrelease/90452/3/