O Google anunciou, na quarta-feira (24), seu novo modelo de inteligência artificial capaz de gerar vídeos realistas a partir de uma simples descrição de texto. A nova tecnologia é apresentada em meio ao lançamento do Gemini, um novo modelo de linguagem grande que substituirá o LaMDA, prometendo aprimorar a precisão do Google Bard.

O Lumiere, como é chamado, é tratado pelo Google como um “um modelo de difusão espaço-temporal para geração de vídeo realista”. A gigante das buscas afirma que o modelo utiliza uma arquitetura única — chamada de Space-Time U-Net — para gerar todos os quadros que compõem um vídeo simultaneamente, prometendo mais realismo.

Inteligências artificiais geradoras de vídeos costumam gerar quadros-chave distantes entre si. Imagine uma breve animação de 30 quadros. Em vez de gerar 30 imagens, os modelos atuais podem gerar apenas os quadros 1, 5, 10, 15, 20, 25 e 30, e então, aplicar técnicas de superamostragem para compensar quadros faltantes e definir como a cena se moverá.

Segundo o artigo científico publicado pelo Google, essa tecnologia pode afetar a noção de passagem temporal do vídeo. O Lumiere, por sua vez, garante maior fluidez de vídeo e precisão de movimentos, uma vez que gera toda a duração temporal de uma vez só. Confira a seguir amostras de vídeos gerados a partir de comandos de texto pelo Lumiere.

Panda tocando ukulele em casa.

Calda de chocolate derramando em sorvete de baunilha.

Veleiro navegando em um dia ensolarado em um lago de montanha.

Em termos leigos, o Lumiere é projetado para lidar com os aspectos de espaço (posição e tamanho de animais, pessoas e objetos) e tempo (como os objetos se movem ao longo do vídeo) simultaneamente. Assim, em vez de fazer um vídeo juntando vários quadros, ele pode criar o vídeo inteiro, do início ao fim, em um processo mais fluido.

Existe uma variedade de ferramentas que acompanham o modelo de difusão. Por exemplo, a inteligência artificial é capaz de gerar vídeos em estilos específicos utilizando uma imagem como referência, converter fotografias em vídeos, alterar características de objetos em clipes e aplicar edição de vídeo consistente utilizando comandos em texto.

O Google não revela quais foram os bancos de dados utilizados para treinar o Lumiere, mas afirma que incluiu uma série de 30 milhões de vídeos junto à sua legenda de texto. Os vídeos têm 80 quadros rodando com taxa de 16 FPS, ou seja, apresentam duração de 5 segundos. A proporção dos vídeos gerados é de 1:1, com 1.024 x 1.024 pixels.

Há limitações que a empresa busca superar ao longo das futuras pesquisas com o Lumiere, como a geração de vídeos com qualidade inferior e a dificuldade em gerar clipes com várias “tomadas” ou que envolvam transições entre cenas.

A resolução dos vídeos ainda é baixa, mas suficiente para começar a levantar preocupações quanto ao uso da inteligência artificial para a disseminação de fake news. Sob essa nuvem, autoridades de diversas regiões do mundo aceleram a regulamentação do uso seguro da IA. O Brasil pretende estabelecer leis referentes à tecnologia antes das eleições de 2024.