H100 vs A100: Qual Vale Mais a Pena?

O debate que todo mundo de ML tem

Essa é provavelmente a pergunta que mais recebo: "H100 ou A100?". E a resposta honesta é: depende. Eu sei que é frustrante ouvir isso, mas depois de usar as duas extensivamente em projetos diferentes, posso dizer que não existe uma resposta universal. Vou tentar destrinchar isso de um jeito que realmente ajude na sua decisão.

Antes de mais nada, vamos sair da conversa de spec sheet. Sim, a H100 tem tensor cores de 4a geração, HBM3, e é da arquitetura Hopper. A A100 tem tensor cores de 3a geração, HBM2e, e é Ampere. Esses detalhes importam, mas o que realmente importa é como isso se traduz no seu workload específico.

Diferenças reais de performance

Treinamento

Em treinamento de modelos grandes (70B+), a H100 entrega cerca de 30% mais performance que a A100. Isso pode parecer pouco, mas quando seu treinamento leva uma semana, 30% significa dois dias a menos. Dois dias a menos de GPU ligada, de eletricidade, de espera.

Agora, pra modelos menores — 7B, 13B — a diferença percentual é parecida, mas o impacto absoluto é menor. Se o treinamento leva 48 horas na A100 e 36 na H100, mas a H100 custa significativamente mais por hora, a conta pode fechar melhor na A100. Eu já fiz essa matemática pra vários projetos e, na maioria das vezes, pra modelos até 13B a A100 ganha no custo total.

O pulo do gato da H100 pra treinamento tá na FP8. A H100 suporta FP8 nativo, e isso faz diferença enorme em treinamentos que podem aproveitar essa precisão reduzida. A A100 não tem isso — fica limitada a FP16/BF16. Se seu framework e modelo suportam FP8, a H100 abre uma vantagem muito maior do que aqueles 30%.

Inferência

Em inferência a H100 brilha de verdade. A vantagem chega a 40-50% sobre a A100 em cenários de inferência com batching. O Transformer Engine da H100 foi projetado exatamente pra isso. Se você tá montando um serviço de inferência que precisa atender muitas requisições simultâneas, a H100 faz diferença real no throughput.

Pra inferência de modelos menores ou com volume baixo, a A100 dá conta perfeitamente. Eu rodo vários serviços de inferência em A100 e os tempos de resposta são totalmente aceitáveis pra produção. A vantagem da H100 só se materializa de verdade em alto volume.

O fator preço

Não vou colocar preços específicos aqui porque eles mudam toda semana. Mas a relação de preço entre H100 e A100 tipicamente fica na faixa de 1.5-2x — ou seja, a H100 custa entre 50% e 100% a mais que a A100 por hora, dependendo do provedor e do momento. [Confira os preços atualizados na nossa comparação](/comparisons/h100-pricing).

A pergunta que importa é: a H100 entrega 1.5-2x mais performance que a A100? Na maioria dos workloads, não. Ela entrega 30-50% a mais. Isso significa que, dólar por dólar, a A100 geralmente ganha. Exceto nos casos onde a H100 tem vantagem desproporcional (FP8, inferência em alto volume, multi-GPU com NVLink de quarta geração).

Disponibilidade: o fator que ninguém menciona

Sabe o que me fez usar A100 em vários projetos onde eu queria H100? Disponibilidade. H100 vive esgotada nos provedores de cloud. Já perdi prazos porque não consegui H100 a tempo. A A100 é muito mais fácil de encontrar — tem mais oferta no mercado, mais hosts no Vast.ai, mais disponibilidade no RunPod.

Pra projetos com prazo apertado, eu prefiro ter a GPU na mão do que ficar esperando pela GPU perfeita. Uma A100 disponível agora produz mais resultado do que uma H100 que você vai conseguir só semana que vem.

Minha recomendação prática

Se você precisa de orientação rápida, vai assim:

**Escolha H100 quando:** seu modelo tem 70B+ parâmetros, você precisa de inferência em alto volume, seu framework suporta FP8, ou você tá trabalhando com multi-GPU e precisa do NVLink de quarta geração.

**Escolha A100 quando:** seu modelo tem até 13B parâmetros, você tá em fase de experimentação, precisa de disponibilidade garantida, ou o budget é limitado e você quer maximizar horas de compute.

Pra maioria dos projetos de ML que eu vejo no dia a dia — fine-tuning de modelos open source, treinamento de modelos de tamanho moderado, inferência com volume razoável — a A100 é a escolha mais sensata. A H100 é excelente, mas é uma Ferrari que muita gente usa pra ir ao supermercado.

Compare os preços atualizados de H100 e A100 →