O livro “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais” foi lançado recentemente pelo pesquisador Tarcízio Silva na versão impressa e levanta diversas questões como: “O que acontece quando as máquinas e programas apresentam resultados discriminatórios? Seriam os algoritmos racistas? Ou trata-se apenas de erros inevitáveis? De quem é a responsabilidade entre humanos e máquinas? E o que podemos fazer para combater os impactos tóxicos e racistas de tecnologias que automatizam o preconceito?”.
Em entrevista ao Mundo Negro, Tarcízio refletiu sobre o impacto dos erros que acontecem durante o uso da IA, como o caso do Gemini, ferramenta do Google, que suspensa desde fevereiro por gerar imagens de pessoas negras e asiáticas vestidas com trajes de soldados nazistas, ao ser solicitado a criação de imagem de soldados alemães em 1943.
Notícias Relacionadas
“Para reparar os danos é necessário que as sociedades em torno do mundo rechacem a implementação desenfreada de tecnologias falhas em escala. O acúmulo de danos e casos vulgares de erros graves que vão de estereótipos a discurso de ódio e desinformação anti-democrática requer regulação forte que mitigue os problemas que as big tech tem gerados à cultura, democracia e esfera pública”, analisa.
Em março, a União Europeia aprovou legislação pioneira para regulamentação da inteligência artificial, mas que para o Brasil, o Tarcízio acredita que ainda não seria o suficiente. “Considerando que os direitos humanos no Brasil não alcançaram níveis adequados, ainda é possível dizer que a regulação aqui no país deve ser mais rigorosa em diversos aspectos”, analisa o pesquisador.
Leia a entrevista completa abaixo:
Em fevereiro, tivemos alguns casos de erros do Gemini – ferramenta do Google, que gerou imagens de pessoas negras e asiáticas vestidas com trajes de soldados nazistas, ao ser solicitado a criação de imagem de soldados alemães em 1943 e desde então a ferramenta segue suspensa para reparação. Afinal, por que esses erros acontecem e como é possível reparar esses danos que continuam perpetuando o racismo na sociedade?
O caso das imagens de pessoas asiáticas, indígenas e negras com uniforme nazista foi um exemplo vulgar de como a Google e o grupo Alphabet não possuem compromisso com a produção de tecnologias de qualidade para todos. Modelos da chamada “inteligência artificial generativa” são produzidos pelas big tech a partir da coleta de dados massivos, sem autorização, sem curadoria adequada e, ainda, sem transparência sobre sua composição. Inúmeros estudos demonstraram que a tecnologia tende a gerar diversos tipos de danos representacionais, como imagens cheias de estereótipos nocivos.
No caso em questão, o problema ocorreu pois a Google ao invés de mudar radicalmente a abordagem para produção de tecnologias, fez uma gambiarra completamente inadequada para tentar evitar denúncias sobre falta de diversidade. Boa parte dos prompts, os textos descritivos para gerar os conteúdos, tem sido modificados internamente pela ferramenta para adicionar critérios de diversidade. Então se alguém pedisse algo como “imagens de soldados nazistas”, a ferramenta na verdade rodava algo como “imagens de soldados nazistas com diversidade demográfica”. Ou seja, uma solução vulgar e sem nenhum cuidado com contexto e valores para cada situação. É o contrário da inteligência.
Para reparar os danos é necessário que as sociedades em torno do mundo rechacem a implementação desenfreada de tecnologias falhas em escala. O acúmulo de danos e casos vulgares de erros graves que vão de estereótipos a discurso de ódio e desinformação anti-democrática requer regulação forte que mitigue os problemas que as big tech tem gerados à cultura, democracia e esfera pública.
Como o livro poderá ajudar pessoas a melhorar o desempenho de profissionais da tecnologia contra algoritmos racistas?
O livro apresenta um panorama com cuidadosa curadoria de pesquisas, dados e entrevistas sobre os modos pelos quais os algoritmos podem incorporar mecanismos de opressão racial. Assim, para os profissionais de tecnologia em sentido estrito, a publicação pode apoiar em abordagens críticas sobre práticas em torno do desenvolvimento das tecnologias. Tarefas como desenho de coleta de dados, definição de padrões éticos, análise de impacto e a própria decisão sobre a desejabilidade de um determinado tipo de tecnologia podem ser apoiadas pelas reflexões e dados presentes no livro.
Quais são um dos principais perigos para a comunidade negra com o resultados discriminatórios dos algoritmos?
O principal risco está ligado ao uso das tecnologias algorítmicas para atividades que envolvem risco à vida, como os setores de segurança pública ou saúde. Hoje, no Brasil, diferentes espectros políticos têm realizado uma verdadeira corrida para ver quem implementa mais tecnologias de reconhecimento facial no espaço público, um tipo de recurso comprovadamente eficiente e nocivo. Campanhas em torno do tema buscam banir o reconhecimento facial para evitar os problemas imediatos e futuros.
O que a política brasileira pode aprender com a lei aprovada na União Europeia para regular o uso de IA?
A maior parte dos setores no Brasil concorda que a proposta de regulação europeia permite equilibrar regulação e inovação. Considerando que os direitos humanos no Brasil não alcançaram níveis adequados, ainda é possível dizer que a regulação aqui no país deve ser mais rigorosa em diversos aspectos.
Quanto ao combate ao racismo algorítmico, poderia citar três pontos que temos na regulação europeia e no nosso PL 2338 que podem ser relevantes – se aperfeiçoados para serem ainda mais rigorosos. O primeiro é o rol de categorias de risco, que inclui a definição de alto risco e de risco inaceitável. Quanto a alto risco, especificar uma lista expansível de áreas onde as empresas, estado e desenvolvedores devem ter mais obrigações de transparência ajuda a defender os direitos e mantém o potencial inovador: tecnologias de baixo e médio risco devem possuir menos obrigações. Um segundo ponto é a obrigatoriedade de análises prévias de impacto algorítmico para as tecnologias de risco médio e alto, que não só permitirão uma melhor supervisão da inovação e defesa de direitos, mas também ajudará a avançar o campo uma vez que mais dados e conhecimento será circulado.
Por fim, um terceiro ponto que a legislação brasileira pode avançar ainda mais em relação à europeia é o estabelecimento de entidade supervisora com efetiva participação social, na qual organizações representantes de grupos marginalizados poderão influenciar as decisões sobre aspectos regulatórios.
Notícias Recentes
Participe de nosso grupo no Telegram
botão abaixo para acessar as novidades.
