A AMD divulgou, na quarta-feira (28), resultados de testes de benchmark feitos com sua linha de aceleradores projetados para processamento massivo de IA generativa. Os dados permitem comparar o desempenho do Instinct MI300X com a GPU H100 da NVIDIA.

Testando o hardware no modelo de linguagem LLama2-70B da Meta, um sistema equipado com oito unidades de Instinct MI300X atingiu taxa de transferência de 21.028 tokens por segundo ao atuar como um “servidor”, além de 23.514 tokens por segundo em um modo off-line. A plataforma contava com um processador EPYC da linha “Genoa”.

Os gráficos mostram que os números da AMD são ligeiramente inferiores aos alcançados por um sistema rival com hardware da NVIDIA. Oito unidades de GPU H100, emparelhadas a um processador Xeon da Intel, atingiu 21.605 tokens por segundo no modo servidor e 24.525 tokens por segundo no modo off-line.

Ao ser testado com um processador EPYC “Turin”, o Instinct MI300X obteve melhores resultados, atingindo uma taxa de transferência de 22.021 tokens por segundo no modo servidor, um pouco maior do que a pontuação do hardware da NVIDIA. No entanto, com apenas 24.110 tokens por segundo, fica abaixo da rival no modo off-line.

O Instinct MI300X suporta maior capacidade de memória que a NVIDIA H100, permitindo que ele execute um modelo de 70 bilhões de parâmetros em uma única GPU, evitando a sobrecarga de rede associada à divisão de modelos em vários blocos de GPU com precisão FP8.

Cada instância do acelerador da AMD tem 192 GB de memória HBM3 e oferece largura de banda de memória de pico de 5,3 TB/s. Já a NVIDIA H100 suporta até 80 GB de HMB3 com até 3,35 TB/s de largura de banda. Isso permite que os aceleradores suportem pontos flutuantes com níveis de precisão mais altos sem problemas, como visto abaixo:

A AMD já confirmou que apresentará, em 2025, uma nova geração de aceleradores com o Instinct MI350, que será baseado na arquitetura CDNA 4. A nova geração será fabricada com litografia de 3 nanômetros e promete 35 vezes mais desempenho de inferência de IA em comparação com a linha de aceleradores baseados em CDNA 3.