Concepto técnico
Sesgo algorítmico
Algorithmic bias — reproducción y amplificación sistemática de desigualdades por sistemas de IA y plataformas
Definición
Tendencia documentada de los sistemas algorítmicos a reproducir y amplificar desigualdades estructurales —de género, raza, clase, edad, geografía— presentes en los datos de entrenamiento, en las decisiones de diseño, o en las métricas de optimización. No es un 'error técnico' que se corrija con más datos: es una propiedad emergente de cómo se construye y se despliega la IA en contextos sociales atravesados por jerarquías.
Glosa teológica
Para la teología social, el sesgo algorítmico es una forma contemporánea de las 'estructuras de pecado' (Juan Pablo II): mecanismos que producen injusticia 'casi automáticamente', sin intencionalidad explícita de los actores individuales. La crítica no es a las personas que diseñan los sistemas, sino a la estructura que reproduce y amplifica la exclusión.
Glosa técnica
Categoría central de la literatura técnica sobre fairness in machine learning. Trabajos seminales: Joy Buolamwini & Timnit Gebru (Gender Shades, 2018) sobre disparidad de error en sistemas de reconocimiento facial por raza y género; Safiya Umoja Noble (Algorithms of Oppression, 2018); Cathy O'Neil (Weapons of Math Destruction, 2016); Virginia Eubanks (Automating Inequality, 2018). Métricas técnicas usadas en la disciplina: demographic parity, equal opportunity, predictive parity (Chouldechova; Kleinberg, Mullainathan & Raghavan, 2016). Imposibilidad matemática de satisfacer las tres simultáneamente.
Tratamiento en la encíclica
Reconocido implícitamente en el Cap. III (§100, §102, §104) al hablar de 'objetividad' aparente de la IA y de los riesgos de delegar a algoritmos decisiones sobre personas. Reaparece en el Cap. II §80 ('grupos sociales perjudicados por algoritmos opacos que reproducen prejuicios y discriminaciones'). El documento no usa el término técnico 'sesgo algorítmico' pero formula doctrinalmente la misma preocupación: cualquier sistema que clasifique personas reproduce las jerarquías de quienes lo diseñaron.
Apariciones en el texto 4
- §80 La justicia exige que se impida el surgimiento de nuevas formas de exclusión y privación de la libertad.
- §100 El riesgo no es tanto que una persona crea que está hablando con otra persona, sino que pierda el deseo mismo de buscar realmente al otro.
- §102 El uso de la IA nunca es un hecho puramente técnico.
- §104 El discernimiento ético no se puede limitar a preguntarse si usamos un determinado sistema para un fin bueno o malo, sino que debe interrogarse también sobre el modo en el que está diseñado y qué idea de persona y de sociedad queda inscrita en los datos y en los modelos que lo guían.
Conceptos relacionados
Referencias externas
- ↗ Joy Buolamwini & Timnit Gebru — Gender Shades (PMLR, 2018)
Estudio seminal sobre disparidad de error en reconocimiento facial por raza y género.
- ↗ Safiya Umoja Noble — Algorithms of Oppression (NYU Press, 2018)
Cómo los motores de búsqueda reproducen y amplifican racismo y sexismo.
- ↗ Cathy O'Neil — Weapons of Math Destruction (Crown, 2016)
Análisis crítico de sistemas de scoring y predicción aplicados a personas.
- ↗ Virginia Eubanks — Automating Inequality (St. Martin's Press, 2018)
Cómo los sistemas algorítmicos del Estado profundizan la pobreza.