LES ALGORITHMES SONT-ILS RACISTES ?

À l’avenir, de plus en plus de décisions dans notre société seront laissées entre les mains de systèmes automatisés qui non seulement évaluent si nous pouvons obtenir un emploi, des prêts ou un appartement, mais peuvent également reconnaître les tumeurs, faire des prévisions météorologiques ou écrire des textes. Ces systèmes d’apprentissage automatique, souvent basés sur des réseaux de neurones et appelés “intelligence artificielle” (IA), peuvent, promettent-ils, traiter plus d’informations plus rapidement et plus efficacement. À l’avenir, ils devraient même produire des résultats plus justes que les humains, avec leurs capacités cognitives “limitées”.

Cependant, apprendre aux machines à prendre des décisions fondées sur la raison et spécifiques au contexte nécessite plus qu’une simple puissance de calcul. Car ce qui relie l’IA et ses algorithmes à la réalité des milieux de vie humains, ce sont avant tout les données.
Aujourd’hui, il s’agit donc de former des modèles d’IA avec des ensembles de données toujours plus volumineux et d’améliorer les algorithmes “intelligents” de manière à ce qu’ils extraient de la mer de données celles qui sont pertinentes pour le “problème d’optimisation” respectif. – qu’il s’agisse d’un prêt ou d’un verdict du tribunal – trouvez la bonne solution. Des modèles mathématiques plus détaillés avec d’innombrables paramètres et des millions d’opérations arithmétiques promettent “l’objectivation du subjectif”, c’est-à-dire des décisions plus claires et meilleures.Mais les données, censées standardiser les valeurs et les normes, développent souvent une autorité propre plus que discutable.

La mer de données dans laquelle les modèles puisent leurs informations n’offre aucune garantie de justice automatisée. Selon l’ensemble de données, il peut également être plein de distorsions (biais anglais), de sophismes discriminatoires et de bizarreries historiques, de sorte que même les algorithmes les plus intelligents résistent souvent à reproduire un statu quo délicat. Par exemple, les systèmes d’IA censés être utilisés pour la reconnaissance faciale sont souvent défaillants lorsqu’il s’agit de reconnaître les “personnes de couleur” car ils ont été entraînés sur des photos de personnes blanches.Robert Julian-Borchak Williams a été détenu par la police de Detroit pendant 30 heures en janvier 2020 alors qu’il n’avait rien fait. L’IA avait échoué, confus son visage et la police – pendant trop longtemps – a vécu sur son verdict. Les systèmes d’évaluation soutenus par l’IA révèlent également à plusieurs reprises des biais problématiques. Dans l’entreprise américaine Amazon, les femmes ont été désavantagées dans les processus de candidature pendant des années parce que les ensembles de données étaient adaptés aux hommes. Les algorithmes, bien que formalisés mathématiquement, ne sont ni objectifs ni neutres dans la mesure où ils reposent sur des ensembles de données historiques et sont programmés par l’homme.Fidèles à la devise ›Les limites de mes données sont les limites de mon monde‹, elles n’agissent jamais de manière apolitique, jamais exemptes d’idéologie et peuvent non seulement continuer avec des conclusions erronées, mais même manifester des discriminations racistes, des préjugés et des injustices de genre, elles les produisent en conséquence, de manière assez systématique. . Dans l’entreprise américaine Amazon, les femmes ont été désavantagées dans les processus de candidature pendant des années parce que les ensembles de données étaient adaptés aux hommes. Les algorithmes, bien que formalisés mathématiquement, ne sont ni objectifs ni neutres dans la mesure où ils reposent sur des ensembles de données historiques et sont programmés par l’homme.Fidèles à la devise ›Les limites de mes données sont les limites de mon monde‹, elles n’agissent jamais de manière apolitique, jamais exemptes d’idéologie et peuvent non seulement continuer avec des conclusions erronées, mais même manifester des discriminations racistes, des préjugés et des injustices de genre, elles les produisent en conséquence, de manière assez systématique. . Dans l’entreprise américaine Amazon, les femmes ont été désavantagées dans les processus de candidature pendant des années parce que les ensembles de données étaient adaptés aux hommes. Les algorithmes, bien que formalisés mathématiquement, ne sont ni objectifs ni neutres dans la mesure où ils reposent sur des ensembles de données historiques et sont programmés par l’homme.Fidèles à la devise ›Les limites de mes données sont les limites de mon monde‹, elles n’agissent jamais de manière apolitique, jamais exemptes d’idéologie et peuvent non seulement continuer avec des conclusions erronées, mais même manifester des discriminations racistes, des préjugés et des injustices de genre, elles les produisent en conséquence, de manière assez systématique. . dans la mesure où ils sont basés sur des ensembles de données programmés par l’homme et historiques. Fidèles à la devise ›Les limites de mes données sont les limites de mon monde‹, elles n’agissent jamais de manière apolitique, jamais exemptes d’idéologie et peuvent non seulement continuer avec des conclusions erronées, mais même manifester des discriminations racistes, des préjugés et des injustices de genre, elles les produisent en conséquence, de manière assez systématique. .dans la mesure où ils sont basés sur des ensembles de données programmés par l’homme et historiques. Fidèles à la devise ›Les limites de mes données sont les limites de mon monde‹, elles n’agissent jamais de manière apolitique, jamais exemptes d’idéologie et peuvent non seulement continuer avec des conclusions erronées, mais même manifester des discriminations racistes, des préjugés et des injustices de genre, elles les produisent en conséquence, de manière assez systématique. .

Par conséquent, beaucoup d’efforts sont déployés pour enseigner aux algorithmes comment prendre des décisions socialement acceptables en utilisant des “ensembles de données sélectionnés” ou des outils complexes pour évaluer l’équité. Mais les données seules ne peuvent qu’insuffisamment refléter la pluralité, la complexité et l’ambivalence de nos sociétés.Aujourd’hui, plus que jamais, nous devons nous demander de manière critique où nous voulons confier le pouvoir de décision aux algorithmes. Parce que l’idée que la pêche dans la mer des données pourrait nous libérer des processus de négociation sociale ou de décisions rationnelles et axées sur les valeurs peut sembler assez “intelligente” aujourd’hui. Mais peut-être qu’elle n’est pas toujours aussi intelligente.

Cet article est paru pour la première fois dans taz.FUTURZWEI, numéro 18/2021, dans le cadre de la chronique du groupe de travail pour une numérique durable, auquel appartiennent les auteurs. Le groupe de travail coopère avecConseil de l’écologie numérique. Dans la chronique, les membres du groupe de travail questionnent les évolutions numériques actuelles et proposent des perspectives socio-écologiques.numérisationdans.