A Amazon está usando contêineres otimizados na Elastic Compute Cloud com componentes e recursos da NVIDIA para treinar e alimentar uma IA generativa que deve contribuir para os vendedores no varejo online. Com isso, é possível fazer criar títulos e descrições, além de destacar atributos de produtos com a ajuda da tecnologia.

Marcio Aguiar é diretor da divisão Enterprise da NVIDIA para América Latina e falou sobre a novidade:

As capacidades de IA generativa podem economizar tempo para os vendedores e fornecer informações mais ricas com menos esforço. Por exemplo, pode enriquecer uma listagem de um mouse sem fio com um design ergonômico, longa vida útil da bateria, configurações ajustáveis de cursor e compatibilidade com vários dispositivos. Ele também pode gerar atributos do produto, como cor, tamanho, peso e material. Esses detalhes podem ajudar os clientes a tomar decisões informadas e reduzir devoluções.

Em tempos mais antigos, listar produtos com muitos detalhes levava um bom tempo, além de esforço para os vendedores. No entanto, isso está mudando com a utilização do NVIDIA TensorRT-MM, um software de código aberto disponível no GitHub e que pode ser cessado pelo AI Enterprise da marca.

Um detalhe importante sobre este programa é o fato de ele funcionar com grandes modelos de linguagem, o que inclui o da Amazon. Nesse sentido, eles são treinados em grandes quantidades de texto e, com o uso das placas NVIDIA H100 Tensor Core, é possível conseguir um aumento de até 8x na velocidade em LLMs como Llama 1 e 2, MPT, ChatGLM, Mistral, Falcon e Starcoder.

De acordo com a Amazon, o resultado do uso desses recursos fez com que houvesse melhorias em relação ao custo, além de reduzir a latência de interferência em 3x. Ou seja, o processo se torna mais correto no quesito ecológico, enquanto o catálogo da Amazon fica com capacidades generativas mais responsivas.

Aos interessados, o TensorRT-LLM está disponível e possui suporte empresarial por meio do NVIDIA AI Enterprise. Por fim, veja as parcerias anunciadas pela Amazon na CES 2024 e os detalhes sobre o Amazon Q, assistente de IA da marca para empresas.