OS ALGORITMOS SÃO RACISTAS?

Os sistemas de inteligência artificial devem permitir decisões mais objetivas e equilibradas. Mas eles podem falhar.

No futuro, cada vez mais decisões em nossa sociedade serão deixadas nas mãos de sistemas automatizados que não apenas avaliam se podemos conseguir um emprego, empréstimos ou um apartamento, mas também podem reconhecer tumores, fazer previsões do tempo ou escrever textos. Esses sistemas de aprendizado de máquina, geralmente baseados em redes neurais e chamados de “inteligência artificial” (IA), podem, prometem, processar mais informações com mais rapidez e eficiência. No futuro, eles devem até produzir resultados mais justos do que os humanos, com suas habilidades cognitivas “limitadas”.

No entanto, ensinar máquinas a tomar decisões específicas de contexto e baseadas em razões requer mais do que puro poder de computação. Porque o que conecta a IA e seus algoritmos com a realidade dos ambientes de vida humana são, acima de tudo, os dados.
Portanto, hoje trata-se de treinar modelos de IA com conjuntos de dados cada vez maiores e melhorar algoritmos ‘inteligentes’ de forma que eles extraiam do mar de dados aqueles que são relevantes para o respectivo “problema de otimização”. – empréstimo ou veredicto do tribunal – encontre a solução certa. Modelos matemáticos mais detalhados com inúmeros parâmetros e milhões de operações aritméticas prometem a “objetivação do subjetivo”, ou seja, decisões mais claras e melhores.Mas os dados, que deveriam padronizar valores e normas, muitas vezes desenvolvem uma autoridade própria que é mais do que questionável.

O mar de dados de onde os modelos extraem suas informações não oferece garantia de justiça automatizada. Dependendo do conjunto de dados, ele também pode estar cheio de distorções (vieses do inglês), sofismas discriminatórios e peculiaridades históricas, de modo que mesmo os algoritmos mais inteligentes muitas vezes resistem a reproduzir um delicado status quo. Por exemplo, os sistemas de IA que deveriam ser usados ​​para reconhecimento facial costumam ser falhos quando se trata de reconhecer “pessoas de cor” porque foram treinados em fotos de pessoas brancas.Robert Julian-Borcak Williams foi detido pela polícia de Detroit por 30 horas em janeiro de 2020, apesar de não ter feito nada. A IA falhou, confundiu seu rosto e a polícia – por muito tempo – viveu de seu veredicto. Os sistemas de avaliação apoiados por IA também revelam repetidamente vieses problemáticos. Na empresa norte-americana Amazon, as mulheres estão em desvantagem nos processos de candidatura há anos porque os conjuntos de dados foram adaptados aos homens. Algoritmos, embora formalizados matematicamente, não são objetivos nem neutros na medida em que são baseados em conjuntos de dados históricos e são programados por humanos.Fiel ao lema ›Os limites dos meus dados são os limites do meu mundo‹, eles nunca agem apolíticos, nunca livres de ideologia e podem não apenas continuar com conclusões errôneas, mas também manifestar discriminações racistas, preconceitos e injustiças de gênero, eles os produzem consequentemente, de maneira bastante sistemática. . Na empresa norte-americana Amazon, as mulheres estão em desvantagem nos processos de candidatura há anos porque os conjuntos de dados foram adaptados aos homens. Algoritmos, embora formalizados matematicamente, não são objetivos nem neutros na medida em que são baseados em conjuntos de dados históricos e são programados por humanos.Fiel ao lema ›Os limites dos meus dados são os limites do meu mundo‹, eles nunca agem apolíticos, nunca livres de ideologia e podem não apenas continuar com conclusões errôneas, mas também manifestar discriminações racistas, preconceitos e injustiças de gênero, eles os produzem consequentemente, de maneira bastante sistemática. . Na empresa norte-americana Amazon, as mulheres estão em desvantagem nos processos de candidatura há anos porque os conjuntos de dados foram adaptados aos homens. Algoritmos, embora formalizados matematicamente, não são objetivos nem neutros na medida em que são baseados em conjuntos de dados históricos e são programados por humanos.Fiel ao lema ›Os limites dos meus dados são os limites do meu mundo‹, eles nunca agem apolíticos, nunca livres de ideologia e podem não apenas continuar com conclusões errôneas, mas também manifestar discriminações racistas, preconceitos e injustiças de gênero, eles os produzem consequentemente, de maneira bastante sistemática. . na medida em que são baseados em conjuntos de dados históricos e programados por humanos. Fiel ao lema ›Os limites dos meus dados são os limites do meu mundo‹, eles nunca agem apolíticos, nunca livres de ideologia e podem não apenas continuar com conclusões errôneas, mas também manifestar discriminações racistas, preconceitos e injustiças de gênero, eles os produzem consequentemente, de maneira bastante sistemática. .na medida em que são baseados em conjuntos de dados históricos e programados por humanos. Fiel ao lema ›Os limites dos meus dados são os limites do meu mundo‹, eles nunca agem apolíticos, nunca livres de ideologia e podem não apenas continuar com conclusões errôneas, mas também manifestar discriminações racistas, preconceitos e injustiças de gênero, eles os produzem consequentemente, de maneira bastante sistemática. .

Portanto, muito esforço é colocado em ensinar algoritmos como tomar decisões socialmente aceitáveis ​​usando “conjuntos de dados selecionados” ou ferramentas complexas para avaliar a imparcialidade. Mas os dados por si só podem refletir inadequadamente a pluralidade, complexidade e ambivalência de nossas sociedades.Hoje, mais do que nunca, temos que questionar criticamente onde queremos entregar o poder de decisão aos algoritmos. Porque a ideia de que pescar no mar de dados poderia nos libertar de processos de negociação social ou decisões racionais e orientadas por valores pode parecer bastante ‘inteligente’ hoje. Mas talvez ela nem sempre seja tão esperta.

Este artigo apareceu pela primeira vez em taz.FUTURZWEI, edição 18/2021, como parte da coluna do grupo de trabalho para a digitalidade sustentável, ao qual pertencem os autores. O grupo de trabalho coopera comConselho de Ecologia Digital. Na coluna, os membros do grupo de trabalho questionam os desenvolvimentos digitais atuais e oferecem perspectivas socioecológicas.digitalizaçãoem.