Um aplicativo se tornou viral por sua capacidade de mudar os rostos dos usuários para combinar com as expressões e estilos dos emojis, trocando expressões faciais e até "envelhecendo" a face. Além de brincar com suas próprias selfies, os usuários do FaceApp nos brindaram com um punhado de versões modificadas dos rostos de pessoas famosas.

Mas o que lhe garantiu uma fama negativa foram as acusações de racismo que invadiram as redes sociais, após usuários constatarem que o "modo hot" clareou a pele das pessoas.

Com tecnologia de reconhecimento facial, o objetivo do app é alterar as selfies das pessoas para fazê-las sorrir, mudar de sexo, parecer mais jovens ou trocar o rosto com outra pessoa. E ficar mais sexy, que é onde reside grande parte do problema.

Ninguém precisa ter sua pele clareada para ser considerado mais atraente, mas foi isso o que aconteceu com este aplicativo. Além de clarear a pele dos usuários, ele também removeu óculos, lhes deu narizes mais finos e olhos mais largos.

Esse faceapp é meio racista. Eu escolhi a opção "hot" pro tupac e deixaram ele branco pic.twitter.com/n9aR48c8Y7

— Vagazoide (@Vagazoide) 22 de abril de 2017

#faceapp isn't' just bad it's also racist...🔥 filter=bleach my skin and make my nose your opinion of European. No thanks #uninstalled pic.twitter.com/DM6fMgUhr5

— Terrance AB Johnson (@tweeterrance) 19 de abril de 2017

"#faceapp não apenas é ruim mas também racista... Filtro "hot" = clareia minha pele e faz meu nariz o que eles consideram europeu. Não, obrigado. #desinstalado"

So this app is apparently racist as hell. But at least I'm sassy. #faceapp https://t.co/I0L4yWWXaV pic.twitter.com/v1ME8H8seP

— kung fu khary (@kharyrandolph) 18 de abril de 2017

"Aparentemente esse aplicativo é muito racista. Mas pelo menos eu pareço fodão."

Após as reclamações dos usuários, Yaroslav Goncharov, fundador e chefe executivo da empresa que desenvolveu o aplicativo, respondeu na App Store, e disse que o problema é "inquestionavelmente sério". Ele também avisou que a empresa decidiu trocar o nome do filtro de "hot" para "spark".

Pedimos desculpas por este problema inquestionavelmente sério. É um efeito colateral indesejável da rede neural do aplicativo, não é um comportamento que esperamos. Para mitigar o problema, nós renomeamos o efeito para excluir qualquer conotação positiva associada a ele. Também estamos trabalhando em uma solução definitiva.

A notícia chegou justamente quando o FaceApp atingiu o topo nas lojas de aplicativos iOS e Android. Lançado no início deste ano, ele usa redes neurais para modificar imagens e tenta mantê-las realistas.

Isso está longe de ser a primeira vez que redes neurais causam problemas semelhantes, e prova que ainda estamos longe de alcançar uma inteligência artificial que não perpetue concepções racistas, entre outras discriminações. A dificuldade é justamente esta: aprendizado de máquinas absorve os próprios conceitos e preconceitos enraizados na sociedade.