¿SON LOS ALGORITMOS RACISTAS?

En el futuro, cada vez más decisiones en nuestra sociedad se dejarán en manos de sistemas automatizados que no solo evalúan si podemos conseguir trabajo, préstamos o un apartamento, sino que también pueden reconocer tumores, hacer pronósticos climáticos o escribir textos. Estos sistemas de aprendizaje automático, que a menudo se basan en redes neuronales y se denominan “inteligencia artificial” (IA), pueden, según prometen, procesar más información de manera más rápida y eficiente. En el futuro, deberían incluso producir resultados más justos que los humanos, con sus capacidades cognitivas “limitadas”.

Sin embargo, enseñar a las máquinas a tomar decisiones basadas en la razón y específicas del contexto requiere más que pura potencia informática. Porque lo que conecta la IA y sus algoritmos con la realidad de los entornos de vida humana son, sobre todo, los datos.
Así que hoy se trata de entrenar los modelos de IA con conjuntos de datos cada vez más grandes y mejorar los algoritmos ‘inteligentes’ de tal manera que saquen del mar de datos aquellos que son relevantes para el respectivo “problema de optimización”. – ya sea préstamo o el veredicto judicial – encontrar la solución adecuada. Modelos matemáticos más detallados con innumerables parámetros y millones de operaciones aritméticas prometen la “objetivación de lo subjetivo”, es decir, decisiones más claras y mejores. Pero los datos, que se supone que sirven para estandarizar valores y normas, suelen desarrollar una autoridad propia que es más que cuestionable.

El mar de datos del que los modelos extraen su información no ofrece garantía de justicia automatizada. Dependiendo del conjunto de datos, también puede estar lleno de distorsiones (sesgos del inglés), sofismas discriminatorios y peculiaridades históricas, de modo que incluso los algoritmos más inteligentes a menudo resisten la reproducción de un statu quo delicado. Por ejemplo, los sistemas de inteligencia artificial que se supone que se usan para el reconocimiento facial a menudo son defectuosos cuando se trata de reconocer a “personas de color” porque fueron entrenados con fotos de personas blancas. Robert Julian-Borchak Williams fue detenido por la policía de Detroit durante 30 horas en enero de 2020 a pesar de no hacer nada. La IA había fallado, confundido su rostro y la policía -durante demasiado tiempo- vivió de su veredicto. Los sistemas de evaluación respaldados por IA también revelan repetidamente sesgos problemáticos. En la empresa estadounidense Amazon, las mujeres han estado en desventaja en los procesos de solicitud durante años porque los conjuntos de datos se adaptaron a los hombres. Los algoritmos, aunque formalizados matemáticamente, no son objetivos ni neutrales en la medida en que se basan en conjuntos de datos históricos y están programados por humanos. Fieles al lema ›Los límites de mis datos son los límites de mi mundo‹, nunca actúan de manera apolítica, nunca libres de ideología y no solo pueden continuar con conclusiones erróneas, sino incluso manifestar discriminación racista, prejuicios e injusticias sexistas, los producen de manera bastante sistemática. . En la empresa estadounidense Amazon, las mujeres han estado en desventaja en los procesos de solicitud durante años porque los conjuntos de datos se adaptaron a los hombres. Los algoritmos, aunque formalizados matemáticamente, no son objetivos ni neutrales en la medida en que se basan en conjuntos de datos históricos y están programados por humanos. Fieles al lema ›Los límites de mis datos son los límites de mi mundo‹, nunca actúan de manera apolítica, nunca libres de ideología y no solo pueden continuar con conclusiones erróneas, sino incluso manifestar discriminación racista, prejuicios e injusticias sexistas, los producen de manera bastante sistemática. . En la empresa estadounidense Amazon, las mujeres han estado en desventaja en los procesos de solicitud durante años porque los conjuntos de datos se adaptaron a los hombres. Los algoritmos, aunque formalizados matemáticamente, no son objetivos ni neutrales en la medida en que se basan en conjuntos de datos históricos y están programados por humanos. Fieles al lema ›Los límites de mis datos son los límites de mi mundo‹, nunca actúan de manera apolítica, nunca libres de ideología y no solo pueden continuar con conclusiones erróneas, sino incluso manifestar discriminación racista, prejuicios e injusticias sexistas, los producen de manera bastante sistemática. . en la medida en que estén basados ​​en conjuntos de datos históricos y programados por humanos. Fieles al lema ›Los límites de mis datos son los límites de mi mundo‹, nunca actúan de manera apolítica, nunca libres de ideología y no solo pueden continuar con conclusiones erróneas, sino incluso manifestar discriminación racista, prejuicios e injusticias sexistas, los producen de manera bastante sistemática. . en la medida en que estén basados ​​en conjuntos de datos históricos y programados por humanos. Fieles al lema ›Los límites de mis datos son los límites de mi mundo‹, nunca actúan de manera apolítica, nunca libres de ideología y no solo pueden continuar con conclusiones erróneas, sino incluso manifestar discriminación racista, prejuicios e injusticias sexistas, los producen de manera bastante sistemática. .

Por lo tanto, se hace un gran esfuerzo para enseñar a los algoritmos cómo tomar decisiones socialmente aceptables utilizando “conjuntos de datos seleccionados” o herramientas complejas para evaluar la equidad. Pero los datos por sí solos solo pueden reflejar de manera inadecuada la pluralidad, la complejidad y la ambivalencia de nuestras sociedades. Hoy, más que nunca, tenemos que cuestionarnos críticamente dónde queremos entregar el poder de decisión a los algoritmos. Porque la idea de que pescar en el mar de datos podría liberarnos de procesos de negociación social o de decisiones racionales y orientadas al valor puede parecer hoy bastante ‘inteligente’. Pero tal vez ella no siempre es tan inteligente.

Este artículo apareció por primera vez en taz.FUTURZWEI, número 18/2021, como parte de la columna del grupo de trabajo por la digitalidad sostenible, al que pertenecen los autores. El grupo de trabajo coopera conConsejo de Ecología Digital. En la columna, los miembros del grupo de trabajo cuestionan los desarrollos digitales actuales y ofrecen perspectivas socioecológicas.digitalizaciónNACIONES UNIDAS.