TÓQUIO, 24 de abril de 2024 – (JCN Newswire) – A NEC Corporation (NEC; TSE: 6701) expandiu os seus serviços de IA generativa “NEC cotomi” com o desenvolvimento de “NEC cotomi Pro” e “NEC cotomi Light”, dois novos Modelos de Linguagem Grande (LLM) de IA generativa de alta velocidade com atualizações dados e arquiteturas de treinamento.

Com o rápido desenvolvimento da IA ​​generativa nos últimos anos, uma ampla gama de organizações tem considerado e verificado a transformação dos negócios usando LLMs. À medida que surgem cenários de aplicação específicos, há necessidade de fornecer modelos e formatos que atendam às necessidades dos clientes em termos de tempo de resposta, coordenação de dados de negócios, proteção de informações e outros aspectos de segurança durante a implementação e operação.

Os recém-desenvolvidos NEC cotomi Pro e NEC cotomi Light são modelos de alta velocidade e alto desempenho que oferecem o mesmo alto desempenho que os LLMs globais, mas a uma velocidade mais de dez vezes superior.

Geralmente, para melhorar o desempenho de um LLM, um modelo precisa ser ampliado, mas isso diminui a velocidade operacional. No entanto, a NEC conseguiu melhorar a velocidade e o desempenho com o desenvolvimento de um novo método e arquitetura de treino avançados.

O “NEC cotomi Pro” atinge desempenho comparável a modelos globais de alto nível, como “GPT-4” e “Claude 2”, com um tempo de resposta aproximadamente 87% mais rápido que o GPT-4, usando uma infraestrutura de duas unidades de processamento gráfico ( GPU). Além disso, o ainda mais rápido “NEC cotomi Light” tem o mesmo nível de desempenho de modelos globais como o “GPT-3.5-Turbo”, mas pode processar um grande número de solicitações em alta velocidade com uma infraestrutura de cerca de 1 a 2 GPU. , fornecendo desempenho suficiente para muitas tarefas.

Especificamente, em um sistema interno de recuperação de documentos usando uma técnica chamada RAG, o sistema alcançou uma taxa de resposta correta superior a GPT-3.5 sem ajuste fino e uma taxa de resposta correta superior a GPT-4 após ajuste fino, com uma resposta tempo que é aproximadamente 93% mais rápido.

Recursos do NEC cotomi Pro e NEC cotomi Light1. Alto rendimento para diversas tarefas

Tanto o “NEC cotomi Pro” como o “NEC cotomi Light” possuem altos níveis de poder de processamento que estão no nível mais alto globalmente em termos de conhecimento e capacidade de lidar com diversas tarefas, como resumo de documentos, raciocínio lógico e resposta a perguntas.

Comparações de benchmark “ELYZA Tasks 100” (2 gráficos superiores) e “Japanese MT-Bench” (gráfico inferior)

Especificamente, a NEC confirmou o desempenho de alto nível, não apenas no Japão, mas também globalmente, em dois benchmarks comumente usados ​​para medir o desempenho geral do LLM: “ELYZA Tasks 100” e “Japanese MT-Bench”. O NEC cotomi Pro forneceu resultados cinco vezes mais rápidos que o GPT-4 (*) em um servidor padrão com duas GPUs. Além disso, superou a velocidade de modelos como “Gemini 1.0 Pro” e apresentou desempenho comparável ao Claude 2 e GPT-4. Ao mesmo tempo, o “NEC cotomi Light” forneceu resultados 15 vezes mais rápidos que o GPT-4, superando modelos grandes como o “LLaMA2-70B” e demonstrando desempenho comparável ao GPT-3.5-Turbo.

2. Alta velocidade

Além do alto desempenho durante a inferência, o tempo (velocidade) entre o envio de uma solicitação e o recebimento de uma resposta também é importante para a aplicação prática do LLM. NEC cotomi Pro e NEC cotomi Light alcançaram processamento de alta velocidade que é 87% a 93% mais rápido que o GPT-4 com duas GPUs padrão. Isto foi conseguido graças a inovações arquitetônicas que melhoraram o desempenho e a velocidade, bem como a um grande dicionário japonês (para tokenização) no modelo. Essas inovações não só aumentam a velocidade de inferência, mas também aumentam o número de acessos simultâneos e reduzem o tempo de treinamento necessário para o ajuste fino. Além disso, melhorias adicionais de velocidade podem ser feitas aumentando o número de GPUs para 4 ou 8, permitindo uma construção flexível para atender às necessidades de cada aplicação.

Ao utilizar um modelo que atinge alto poder de processamento com alta velocidade e acesso em massa, é possível reduzir significativamente o tempo de resposta de aplicações de negócios que utilizam IA generativa e melhorar a experiência do usuário. Além disso, o elevado poder de processamento pode melhorar significativamente o desempenho após o ajuste fino dos dados individuais de cada empresa. No futuro, a NEC continuará a reforçar a cooperação com parceiros e a fornecer serviços de IA seguros, protegidos e fiáveis, baseados na linha alargada de cotomi da NEC, com o objetivo de ajudar os clientes a resolver uma ampla gama de desafios complexos.

(*) O experimento forneceu precisão de cálculo de 16 bits em um ambiente de GPU equipado com dois L40sShare

Sobre a NEC Corporation

A NEC Corporation se estabeleceu como líder na integração de TI e tecnologias de rede, ao mesmo tempo que promove a declaração da marca "Orquestrando um mundo mais brilhante". A NEC permite que as empresas e comunidades se adaptem às mudanças rápidas que ocorrem na sociedade e no mercado, pois fornece os valores sociais de segurança, justiça e eficiência para promover um mundo mais sustentável onde todos têm a chance de atingir seu potencial máximo. Para obter mais informações, visite NEC em https://www.nec.com.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.jcnnewswire.com/pressrelease/90452/3/