O chatbot ChatGPT foi colocado para realizar a prova do Exame Nacional do Ensino Médio (Enem) e obteve uma pontuação média de 612,3 nas provas objetivas. No geral, o sistema de inteligência artificial da OpenAI superaria 78,9% dos candidatos humanos.

De acordo com uma reportagem da Folha de S. Paulo, o ChatGPT se sairia melhor do que 98,9% dos estudantes em ciências humanas e do que 95,3% em linguagens. Contudo, o robô derrapa em matemática, superando só 27% dos participantes.

A performance em exatas seria o maior obstáculo para o robô entrar em cursos disputados das principais universidades federais do país. Os dados são do DeltaFolha e foram extraídos com base nas respostas da IA em provas realizadas em cinco anos, de 2017 a 2021.

Conforme os responsáveis pelo estudo, o ChatGPT respondeu a 1.290 questões. É um raro exemplo de estudo nessa escala avaliando a tecnologia em português. Os testes avaliaram o GPT-3.5, a versão original da inteligência artificial.

Os resultados nas provas de matemática foram bem ruins. Em média, o robô acumulou 443,1 pontos, abaixo dos 527,1 obtidos pelos candidatos reais. O ChatGPT acertou entre 13,6% e 27,3% das questões em cada aplicação de prova.

Para o pesquisador Ricardo Primi, uma possível explicação é que essas questões exigem que o robô extraia as informações da pergunta e siga uma linha de raciocínio, como montar a conta necessária, para chegar à resposta final.

No caso de humanas e linguagens, por exemplo, basta acessar dados que ele já tenha visto, sem precisar executar um esforço maior.

A reportagem também solicitou que o sistema fizesse uma redação seguindo o mesmo enunciado da prova de 2021. Para simular a metodologia do Ministério da Educação, o texto foi corrigido por dois especialistas que utilizaram os critérios do Enem.

A nota média do robô foi 700, melhor do que 68% dos estudantes, que tiveram 613 em média. Segundo professor Adriano Chan, que deu à redação do ChatGPT a nota de 760, o texto até foi bem coeso, mas deixou a desejar nos demais itens.

O professor apontou que o robô pecou em vírgulas e na construção sintática, mostrou ter pouco repertório sociocultural, falhou em argumentar com dados concretos e em propor uma intervenção coerente para resolver o problema apresentado.