2020 tem sido um ano bem digital. A soma do avanço das tecnologias à pandemia de coronavirus que forçou as pessoas a buscarem soluções digitais para praticamente tudo, tem feito com que as pessoas voltem suas atenções a mais detalhes do meio digital. O mundo não seria mundo se as relações sociais embebidas em racismo do nosso dia a dia não fossem transportadas para as relações no meio digital e, com todos os olhares voltados ao digital, falar sobre Racismo Algorítmico não parece somente coisa de ficção cientifica.

De certo modo, é muito importante que esses debates alcancem o máximo de pessoas possíveis na internet, mas assim como todos os assuntos importantes que caem no mainstream digital, este acabou sofrendo com algumas distorções perigosas.

Bom, vamos começar do “começo”. Digo começo entre aspas porque preciso deixar claro que cientistas e divulgadores científicos negros já falam sobre esse assunto há muito tempo e reduzir o inicio desse debate a 2020 pode parecer injusto com eles. Porém, como este é um artigo que tende a ser mais curto, eu preciso partir de um ponto e decidi partir de tal para facilitar algumas compreensões.

TIK TOK ESCONDE PESSOAS FEIAS

De acordo com uma matéria publicada pelo site The Intercept, em março de 2020, documentos internos comprovavam que a rede social escondia pessoas “Feias” e casas pobres.

O TIKTOK instruiu seus moderadores a esconderem vídeos que mostrassem pessoas consideradas “feias”, deficientes e até casas consideradas “pobres”, segundo documentos internos analisados pelo Intercept. Os arquivos mostram regras explicitas quanto a isso e orientam os moderadores do TikTok a observar com atenção vídeos gravados na casa de pessoas com “características não óbvias de favelas”. Detalhes como “paredes descascadas” ou decoração de mau gosto são características que o site considera indesejáveis. A mera aparência de falta de reparos, o documento mostra, poderia significar a diferença entre o vídeo ser distribuído mundialmente ou ficar relativamente invisível.

Mas isso não diz respeito necessariamente ao algoritmo, certo? São orientações para os moderadores da rede social e isso reflete uma interferência humana classista, racista e preconceituosa dentro da organização da rede social. O interessante desse caso é refletir sobre como as redes sociais podem acabar por refletir a sociedade e valores preconceituosos que nela existe em prol do aumento de usuários e crescimento da rede social.

ALGORITMO RACISTA DO TWITTER

Ainda em 2020 um teste do algoritmo de entrega de imagens no twitter foi testado e gerou polêmica.

O experimento feito no twitter mostrou que o algoritmo da rede prioriza mostrar fotos de pessoas brancas nos tweets. Independentemente da posição das fotografias, mesmo em casos de ter mais fotos de pessoas negras, o algoritmo colocou sempre a foto da pessoa branca em destaque.

Após viralizar o experimento ainda contou com diversas tentativas de dar destaque à pessoas negras. Foram colocadas diversas fotos da pessoa negra e apenas uma da pessoa branca. A mesma pessoa em uma montagem como branca e como negra e até mesmo imagens de desenhos animados como Simpsons com personagens brancos (amarelos) e negros. Em todos os experimentos o resultado sempre era o da pessoa branca em destaque.

Após a polêmica a rede social emitiu uma nota de desculpas e declarou que iria promover mudanças em seus algoritmos.

“Nosso time realizou testes para vieses antes de lançar o modelo e não encontrou evidências de vieses de raça ou gênero”, afirmou o Twitter, em comunicado, ao jornal britânico The Guardian. “Mas está claro por esses exemplos que temos mais análises a fazer. Nós vamos continuar compartilhando o que aprendermos, quais ações tomaremos e vamos abrir nossas análises para que terceiros possam revisá-las e replicá-las”.

TESTE COMPORTAMENTAL NO INSTAGRAM

Pouco tempo após a polêmica com o Twitter foi a vez do Instagram ser testado. A Influencer Sá Ollebar decidiu publicar fotos de mulheres brancas em seu feed após ver seus números caírem e se espantou com o resultado. Após algumas publicações seu engajamento teve um aumento de cerca de 6000% com relação a suas publicações comuns.

“Antes eu pensava que meus posts não apareciam pq eu não tinha a casa perfeita, a floresta perfeita e não morava na praia.
Hoje eu moro na praia, construí uma casa de quase 400m2, tenho mais de 600 plantas e adivinha?
Não adianta! Preciso de ajuda e não é porque sou incapaz, ao contrário sou tão capaz e persistente que continuo usando meu dinheiro pra aprender mais e mais sobre como fazer meu trabalho melhor, ao invés de usá-lo pra clarear minha pele e fazer cirurgias plásticas pra mudar meus traços.” Afirmou Sá em sua publicação.

Dentro dessa discussão é importante ressaltar duas coisas. A primeira é que o teste feito por Sá mostra um comportamento de público com relação a publicações do tipo e não reflete sobre os algoritmos. Isso não quer dizer que o algoritmo não tenha viés racial ou que os moderadores do Instagram não priorizem conteúdos de creators brancos e “bonitos” como o Tik Tok, mas a forma como o teste foi feito não reflete resultados de teste em algoritmo e sim em comportamento de usuários que acabam por refletir também a sociedade.

A segunda coisa é que a discussão sobre racismo algoritmo não é somente sobre engajamento nas redes sociais e precisamos tomar cuidado para não reduzirmos esse debate à isso.

Engajamento e entrega de publicações de grupos minoritários nas redes sociais são sim muito importantes, isso pode se refletir em diversas problemáticas seríssimas, mas cientistas negros vem apontando para problemas ainda maiores dentro da discussão sobre racismo algoritmo e isso precisa ganhar espaço nessa discussão.

RACISMO ALGORÍTMICO E RECONHECIMENTO FACIAL

Diversas cidades pelo mundo já têm utilizado reconhecimento facial para resolução de crimes. Acontece que o método ainda não é seguro o suficiente e o Racismo Algorítmico contribui para que muitas acusações sejam feitas de forma errônea.

Esse foi o caso de Robert Williams. O departamento de polícia de Detroit (EUA) o prendeu sob a acusação de um roubo de uma loja de luxo, com base na identificação via software de reconhecimento facial. O problema é que o sistema reconheceu a pessoa errada, e tanto o suspeito quanto a pessoa presa por engano eram negros.

Liliane Nakagawa em uma matéria do site Olhar Digital explica que Para a identificação facial funcionar, utiliza-se um modelo para treinar a inteligência artificial. A maioria das bases de imagens disponíveis para o treinamento de modelos, são bases de dados não inclusivas com a maioria das imagens de pessoas brancas e asiáticas.

“Resultados de uma análise em julho de 2019 mostraram que o software de uma das maiores empresas de reconhecimento facial, a francesa Idemia, possuía maior probabilidade de identificar de forma incorreta mulheres negras em relação às mulheres brancas ou homens brancos e negros. Em configurações de sensibilidade, o algoritmo identificou, de forma errada, mulheres brancas em uma taxa de uma para cada 10 mil. No caso de mulheres negras, a taxa foi de uma para 1 mil. Esse resultado mostra que há dez vezes mais chances de errar o reconhecimento facial em mulheres negras.” Afirma Liliane.

De acordo com informações do Portal do Governo de São Paulo a Polícia paulista usará reconhecimento facial em investigações Em janeiro de 2020 foi inaugurado em São Paulo o Laboratório de Identificação Biométrica – Facial e Digital, na sede do IIRGD (Instituto de Identificação Ricardo Gumbleton Daunt). Por meio de uma tecnologia de reconhecimento facial, as autoridades do estado poderão identificar imagens de cidadãos. O objetivo é usá-la principalmente em investigações policiais.

Além disso o TSE planeja trocar urna eletrônica por voto no celular e tal utilizaria identificação facial e biométrica para que seja efetivado. A ideia é demonstrar a novidade já nestas eleições. O Juiz auxiliar da presidência do TSE e coordenador do projeto Eleições do Futuro, Sandro Vieira diz que três cidades brasileiras terão votação online, com candidatos fictícios, já no primeiro turno destas eleições, marcadas para 15 de novembro.

Paula Guedes Fernandes da Silva em seu artigo “Sorria você está sendo reconhecido: o reconhecimento facial como violador de direitos humanos?” aponta que “existem muitas formas de como o reconhecimento facial pode prejudicar as pessoas, principalmente aplicado à segurança pública. Historicamente, a vigilância do governo foi (e ainda é) direcionada desproporcionalmente às comunidades marginalizadas, principalmente imigrantes, pobres, minorias étnicas e negros, o que é verificado em diferentes contextos. Por exemplo, nos Estados Unidos, em comparação com a taxa de brancos, norte-americanos negros são mortos duas vezes mais pela polícia, enquanto no Brasil, especificamente no estado do Rio de Janeiro, 78% dos mortos pela força policial em 2019 eram negros.

Há preocupações concretas sobre os impactos discriminatórios da vigilância por meio de reconhecimento facial, o que é também confirmado por diferentes estudos que já demonstraram a tendência de esses sistemas desempenharem de forma menos precisa com relação a pessoas de certos grupos demográficos, especialmente mulheres e negros. Nesse sentido, pesquisa do Massachusetts Institute of Technology (MIT) realizada em 2018 concluiu que as principais ferramentas de reconhecimento facial de grandes corporações, como Microsoft e IBM, identificava mulheres negras em uma taxa de erro de 35% em comparação com apenas 1% para homens brancos, demonstrando enviesamento (bias) racial e de gênero em seus resultados.”

Paula afirma que o problema passa a ser ainda maior quando empresas americanas passam a ser responsáveis por esses softwares em contextos sul-americanos diferentes do que eles estão acostumados, como nos EUA e Europa “O problema do enviesamento dos algoritmos de reconhecimento facial é ainda agravada quando deslocamos a questão para o contexto dos países do Sul Global. O Brasil, por exemplo, não possui indústria brasileira relevante que desenvolva tecnologia de reconhecimento, o que faz com que sejamos consumidores de sistemas produzidos por empresas que lidam com realidades e características diferentes das nossas, vindas da Europa, Estados Unidos e Ásia. Esta constatação reforça a chance de produção de resultados imprecisos e enviesados, o que pode levar a constrangimentos, apreensões indevidas e aprofundamento de preconceitos estruturais, já existentes em nossa sociedade desigual.”

Notaram? Falar sobre racismo algoritmo é extremamente importante, complexo e requer um senso coletivo que vai muito além do que o nosso próprio engajamento. Como eu disse anteriormente, essa discussão não é nova e cientistas negros vêm nos alertando há anos sobre essas problemáticas. Um deles é o pesquisador brasileiro Tarcizio silva que compila e divulga dados em seu site referentes a essa discussão. Inclusive Tarcizio disponibilizou em seu site um fragmento de seu projeto de doutorado com uma linha do tempo do Racismo Algorítmico/Tecnológico com casos, dados e reações, vale muito a pena acompanhar o site para entender melhor sobre essa discussão.

É NECESSÁRIO TER UM OLHAR CRÍTICO PARA A TECNOLOGIA

Falar sobre Racismo algoritmo vai muito além de falar sobre o meio digital e redes sociais, é sobre como a tecnologia pode afetar também a vida de pessoas não necessariamente conectadas. As pesquisadoras Silvana Bahia e Larissa Bispo também pontuam que “Os algoritmos estão presentes tanto nos aplicativos como na nossa vida, e nada mais são do que comandos e orientações programados para serem seguidos – em uma explicação rasa, porém de fácil entendimento. Muitas vezes, olhamos para essas tecnologias com um olhar pouco crítico, quase deslocado das aplicações reais. Mas o que está em jogo é: as tecnologias e os aplicativos não são neutros. Nós precisamos começar a olhar para essas funcionalidades a partir do entendimento de que elas carregam uma visão de mundo, ou seja, o olhar, os objetivos, as intencionalidades e as subjetividades de quem está criando, pensando e estruturando essas ferramentas. E é nesse momento que alguns problemas como o racismo algorítmico podem surgir.”

Em um artigo publicado pelo Sesc São Paulo Silvana Bahia e Larissa Bispo chamam a nossa atenção para a discussão da diversidade na tecnologia. “Falar sobre diversidade dentro da cena tecnológica é cada vez mais importante ao olharmos os quadros das equipes que compõem os times nas empresas. E é dentro desse cenário que problemas como o racismo algorítmico podem acontecer, quando temos aplicativos com algoritmos enviesados, ou seja, com vieses de cor, gênero, raça, orientação sexual. É preciso conhecer quem está por trás das tecnologias que já estão no nosso dia a dia, já estão mudando nossa forma de experimentar o mundo. Enquanto não houver diversidade nesse processo, enquanto pessoas negras, por exemplo, não estiverem pensando tecnologia e inovação, e se não existirem ações para que elas de fato façam parte das mudanças e transformações tecnológicas, nós vamos perder totalmente nosso poder de integração no mundo. Nós não vamos fazer parte do futuro e do que está sendo feito.”

Desde as relações nas redes sociais, aplicativos, tecnologias para eleições e até mesmo resolução de crimes, tudo isso pode refletir um inviesamento racial de algoritmos uma vez que não há diversidade nem nos corpos das equipes que criam tais softwares, até nos bancos de dados utilizados para o Machine Learning. É importante que passemos a refletir sobre isso e reforcemos nosso compromisso para com cientistas e pesquisadores negros que possuem grande empenho em denunciar e divulgar essas problemáticas.

É, o futuro chegou e junto com ele o racismo vigente dentro da nossa sociedade falida.