Pesquisa com 14 modelos multimodais também identificou aumento de 69% na associação de homens latinos à categoria “criminoso” após a ampliação dos dados de treinamento
O aumento da quantidade de dados usados para treinar sistemas de inteligência artificial não significa, necessariamente, resultados mais seguros ou menos racistas. Um estudo com 14 modelos multimodais identificou que a ampliação das bases de treinamento elevou em 65% a probabilidade de imagens de homens negros serem classificadas na categoria “criminoso”. Entre homens latinos, o crescimento chegou a 69%.
Notícias Relacionadas
Publicado na conferência ACM FAccT 2024, o estudo The Dark Side of Dataset Scaling: Evaluating Racial Classification in Multimodal Models analisou ferramentas capazes de relacionar imagens e textos. Os pesquisadores compararam modelos treinados com duas bases da LAION: uma com 400 milhões de amostras e outra com 2 bilhões. Para testar os sistemas, utilizaram imagens do Chicago Face Dataset.
Nos modelos maiores, a expansão dos dados aumentou as associações racistas. Já nos modelos menores, a probabilidade caiu 20% para homens negros e 47% para homens latinos. A diferença mostra que a escala, sozinha, não determina os resultados: a arquitetura dos sistemas e a curadoria das bases também precisam ser consideradas.
A pesquisa reforça que ampliar uma base de treinamento sem avaliar a origem e o conteúdo das informações pode fazer com que desigualdades já presentes na internet sejam incorporadas aos sistemas tecnológicos.
Vieses antecedem a inteligência artificial generativa
O problema não começou com as atuais ferramentas de geração de imagens. Em 2018, as pesquisadoras Joy Buolamwini e Timnit Gebru publicaram o estudo Gender Shades, que analisou sistemas comerciais de classificação de gênero.
A pesquisa constatou taxas de erro de até 34,7% na análise de mulheres com tons de pele mais escuros. Entre homens de pele mais clara, o índice máximo foi de 0,8%. O levantamento também mostrou que duas bases amplamente utilizadas naquele período eram compostas majoritariamente por pessoas de pele clara.
Para Cáren Cruz, consultora de imagem identitária e CEO da Pittaco Consultoria, esse histórico ajuda a compreender por que os problemas continuam aparecendo mesmo com os avanços técnicos da inteligência artificial.
Segundo a especialista, ferramentas de geração de imagens podem modificar tons de pele, textura dos cabelos e traços faciais, mesmo quando recebem comandos específicos e fotografias reais como referência. O resultado pode apresentar boa qualidade estética, mas falhar na preservação da aparência e da identidade visual da pessoa retratada.
Cáren ressalta que essas alterações não devem ser tratadas apenas como erros técnicos. Quando características de pessoas negras são suavizadas ou aproximadas de padrões dominantes, os sistemas reproduzem referências historicamente construídas sobre quais aparências são consideradas aceitáveis.
Diversidade precisa estar presente no desenvolvimento
A representatividade nas imagens produzidas pelas ferramentas depende diretamente das pessoas, dos repertórios e das bases envolvidos em sua criação. Por isso, a diversidade racial não deve aparecer somente na etapa final dos projetos tecnológicos.
Para Cáren, equipes plurais e bases de dados cuidadosamente analisadas são fundamentais para que os sistemas reconheçam a variedade de tons de pele, subtons, texturas de cabelo, traços e expressões presentes entre pessoas negras.
A especialista relata ter participado de um grupo focal no qual uma instituição distribuía as peles negras em apenas seis tons. Para ela, esse tipo de classificação reduz uma pluralidade que precisa ser considerada por tecnologias voltadas à imagem e à identificação de pessoas.
Os estudos indicam que bases maiores não eliminam automaticamente o racismo algorítmico. Sem curadoria, auditorias independentes e participação de profissionais negros no desenvolvimento, a inteligência artificial pode ampliar associações racistas e transformar desigualdades históricas em resultados apresentados como decisões técnicas.
Notícias Recentes
Participe de nosso grupo no Telegram
botão abaixo para acessar as novidades.