Nesta terça-feira (20), a NVIDIA lançou o TensorRT 8, a oitava geração do software de Inteligência Artificial da empresa. A ferramenta promete entregar a performance mais rápida do mundo em inferência de IA.

A novidade possibilita aos desenvolvedores a criação de mecanismos de pesquisa com melhor desempenho, recomendações de anúncios e chatbots desde a nuvem até a borda. As otimizações contam com velocidade recorde para aplicativos de linguagem, ao executar BERT Large, um dos modelos mais usados de sua categoria a nível global. O TensorRT 8 pode realizar o processo com latência de 1,2 milissegundo.

Até então, as empresas precisavam reduzir o tamanho do modelo, com a consequência de diminuir também a precisão dos resultados. A nova geração do software da NVIDIA chega para dobrar ou triplicar o tamanho para alcançar melhorias.

“Os modelos de IA estão crescendo exponencialmente mais complexos e a demanda mundial está aumentando por aplicativos em tempo real que usam IA. Isso torna imperativo que as empresas implantem tecnologia de ponta soluções de inferência. A versão mais recente do TensorRT apresenta novos recursos que permitem às empresas fornecer aplicativos de IA de conversação para seus clientes com um nível de qualidade e capacidade de resposta que nunca foi possível antes.”

Greg Estes

Vice-presidente de programas para desenvolvedores da NVIDIA

Segundo a companhia, nos últimos cinco anos, mais de 350 mil desenvolvedores em 27,5 mil empresas em diversas áreas baixaram o TensorRT quase 2,5 milhões de vezes. São segmentos como saúde, automotivo, finanças e varejo.

O TensorRT 8 já está disponível de graça aos membros do programa NVIDIA Developer. As últimas versões dos plugins podem ser encontradas como fonte aberta por meio do repositório da ferramenta no GitHub (neste link).

Qual é a sua avaliação sobre a novidade da NVIDIA para inferências de Inteligência Artificial? Compartilhe conosco a sua opinião!