Preferências de cookies

Escolha o que podemos usar. Cookies não essenciais só são ativados com a sua permissão. Detalhes na política de cookies.

Categorias de cookies

NVIDIA afirma que a CPU Vera combina velocidade para agentes e capacidade por watt

Por · Publicado em · 1 fonte citada

CompartilharWhatsAppTelegramXFacebookLinkedInE-mail

Em resumo

  • A NVIDIA diz que agentes de IA alternam entre raciocínio na GPU e execução de tarefas na CPU.
  • Em comparação própria para um data center de 100 megawatts, a empresa atribui à Vera mais agentes por watt e maior velocidade que processadores x86 de referência.
  • Também reúne resultados relatados por parceiros em diferentes cargas de trabalho.

Agentes de IA podem buscar informações, consultar bancos de dados, escrever e testar código e executar ações. Segundo a NVIDIA, essas etapas dependem da CPU, enquanto os agentes alternam entre o raciocínio na GPU e a execução na CPU ao longo de uma tarefa. A empresa argumenta que, com mais agentes em operação, a infraestrutura precisa executar as tarefas rapidamente e atender a muitos agentes sem ultrapassar a energia disponível.

Essa limitação de energia é central no argumento da NVIDIA: operadores de fábricas de IA precisam maximizar o trabalho realizado por watt. A empresa afirma que sua CPU Vera combina velocidade para agentes e capacidade por watt em um único processador. Segundo a NVIDIA, isso pode atender a diferentes cargas de trabalho sem a necessidade de combinar CPUs x86 escolhidas para priorizar velocidade ou capacidade.

Resultados divulgados pela NVIDIA e por parceiros
Resultados divulgados pela NVIDIA e por parceiros
ParceiroResultado informadoReferência ou condição
PerplexityTarefas de programação com agentes 1.5x mais rápidasCPUs tradicionais
DeepInfraAté 2.2x a velocidade em orquestração de agentesMelhor processador x86; mais rápida entre quatro arquiteturas testadas
ClickHouseEscalou quase linearmente em 176 núcleos e liderou o ranking ClickBenchBinário padrão, sem ajuste específico para Vera
DuckLabsCerca de 1.5x a mediana de desempenho TPC-H SF1000Referência Intel Xeon 6
Daytona1,000 sandboxes em 10.8 segundos; 12.7 trabalhos concluídos por segundo com 2,000 sandboxes simultâneos88.4 segundos com x86
ModalAté 2x o throughput de sandbox por núcleoHardware x86 comparável

Fonte: Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents

Comparação divulgada pela NVIDIA

Em uma comparação de data center de 100 megawatts, a NVIDIA diz que uma Vera teve desempenho superior ao da CPU x86 mais rápida e ao da x86 mais eficiente em energia. Frente à primeira, a empresa informa 1,6 vez mais agentes por watt. Frente à segunda, relata velocidade de agente 2 vezes maior, com eficiência energética descrita como líder.

Resultados relatados por parceiros

A NVIDIA também apresenta avaliações de parceiros em cenários de estilo produtivo. A Perplexity relatou tarefas de programação com agentes 1,5 vez mais rápidas e disse que planeja usar Vera em um futuro sistema de produção. A DeepInfra informou até 2,2 vezes a velocidade do melhor processador x86 em orquestração de agentes, sendo a mais rápida entre quatro arquiteturas testadas.

Nos outros exemplos citados pela NVIDIA, a ClickHouse diz que seu binário padrão escalou quase linearmente em 176 núcleos e liderou o ranking de hardware ClickBench. A DuckLabs relata cerca de 1,5 vez a mediana de desempenho TPC-H SF1000 de uma referência Intel Xeon 6. A Daytona informa tempos e resultados de sandboxes, enquanto a Modal relata maior throughput por núcleo.

Fontes

  1. Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents

Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.

CompartilharWhatsAppTelegramXFacebookLinkedInE-mail

Leia também

Modelos

Agentes de IA já sabem quando não precisam de ferramentas, mostra estudo

Um estudo no arXiv afirma que agentes com LLM chamam ferramentas sem necessidade, e que o próprio modelo já contém a informação sobre quando a chamada é desnecessária. Os autores propõem o Probe&Prefill, que reduz chamadas com perda pequena de acurácia.

5 de nov., 22:50
Modelos

ARLoop: transformers em loop ganham profundidade reaproveitando camadas, com modelo totalmente aberto

Um novo artigo no arXiv apresenta o ARLoop, uma arquitetura de transformer em loop que usa atenção sobre a profundidade do modelo. Segundo os autores, o modelo de 1,2B de parâmetros supera o Huginn-3.5B em todas as tarefas avaliadas.

4 de nov., 17:40
Modelos

FlagRot: girar as chaves do cache KV nem sempre ajuda na quantização de 2 bits

Um preprint no arXiv propõe o FlagRot, que escolhe, bloco a bloco, se a chave do cache KV deve ser girada antes da quantização. Segundo os autores, a técnica reduz o erro de caches de 2,5 bits em relação ao método habitual.

4 de nov., 17:40