A Xiaomi acaba de entrar no campo da inteligência artificial com o seu novo modelo de IA chamado Xiaomi MiMo com suporte a 7B (mil milhões) de parâmetros. Ele se destacou por superar até modelos com 32B, como o o1-mini da OpenAI e o QwQ-Preview do Alibaba em testes de raciocínio matemático AIME 24-25 e criação de código LiveCodeBench v5.

Segundo a Xiaomi, isto é possível graças as inovações em pré-treinamento da IA com foco em extração de informações com raciocínio aprimorado, geração de cerca de 200 bilhões de tokens de dados com raciocínio especializado. Tudo foi realizado em três fases separadas com dificuldade crescente, resultando no treinamento de 25 trilhões de tokens.

Além disso, a Xiaomi também aplicou melhorias no pós-treinamento da IA com um novo método para lidar com a escassez de recompensas para tarefas algorítmicas complexas, aplicação de métodos para estabilizar o treinamento de aprendizado por esforço com reamostragem de dados e foco em eficiência.

Graças a isto, o treinamento de RL foi acelerado em 2,29 vezes, enquanto a verificação de dados ficou 1,96 vezes mais rápida.

O novo modelo está disponível no repositório Hugging Face da Xiaomi e mais informações técnicas podem ser encontradas no Github pelos links abaixo:

• Xiaomi MiMo 7B no Hugging Face - acessar
• Xiaomi MiMo 7B no GitHub - acessar

Falando em Xiaomi, a chinesa já está preparando a atualização para o HyperOS 2.2 para 37 dispositivos. Confira se o seu está na lista.