Modelos maiores, contextos mais longos e aplicações com agentes estão aumentando a pressão sobre a memória das GPUs. Segundo a NVIDIA, a oferta de memória está mais apertada e os preços subindo, uma tendência que a empresa espera que continue no curto prazo.
A HBM, memória de alta largura de banda da GPU, é o nível mais rápido e também o mais caro e disputado da hierarquia descrita pela NVIDIA. Nela, os pesos dos modelos concorrem por espaço com o KV cache, que mantém informações de contexto necessárias durante requisições. A empresa afirma que trajetórias de agentes podem carregar contexto entre chamadas repetidas ao modelo e a ferramentas e, em alguns casos, processar até 3 milhões de tokens. Sistemas de RAG também acrescentam informações a prompts, elevando a quantidade de contexto a processar.
Mais memória não resolve tudo
De acordo com a NVIDIA, ampliar a capacidade de HBM pode acomodar mais KV cache e usuários simultâneos, mas a largura de banda limita a velocidade com que os dados chegam ao processamento. A empresa chama de “muro de memória” o ponto em que a memória não consegue acompanhar a demanda. Nesse cenário, capacidade adicional pode não ser plenamente aproveitada, embora continue gerando custo e consumo de energia.
Uma hierarquia para aproveitar os dados
A resposta defendida pela NVIDIA é projetar em conjunto GPUs, CPUs, redes, armazenamento e software. Para reduzir o espaço ocupado pelos pesos, a empresa aponta o formato NVFP4, que, segundo ela, requer menos espaço que o FP8, e a distribuição dos pesos entre até 72 GPUs em um sistema NVL72.
Para o KV cache, a NVIDIA diz que o NVFP4 também reduz o espaço necessário em comparação com FP8. A empresa afirma ainda que o software Dynamo transfere contextos inativos para o armazenamento CMX, descrito como um nível de capacidade com custo por bit bem inferior ao da HBM, e os recupera antes de serem reutilizados. O sistema pode administrar o cache entre memória da GPU, memória da CPU e armazenamento.
No caso de RAG, a NVIDIA afirma que modelos Nemotron Retriever produzem embeddings menores e que a biblioteca cuVS permite manter o índice em CPU e armazenamento.
Resultados divulgados pela empresa
Em resultados do teste AgentX da SemiAnalysis com a carga DeepSeek V4 Pro, a NVIDIA informa ganhos de throughput por dólar entre gerações de plataformas. A empresa também ressalta que, para operadores de fábricas de IA, importa a quantidade de tokens úteis entregue dentro do orçamento de energia e dos requisitos de resposta.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
