El discernimiento ético no se puede limitar a preguntarse si usamos un determinado sistema para un fin bueno o malo, sino que debe interrogarse también sobre el modo en el que está diseñado y qué idea de persona y de sociedad queda inscrita en los datos y en los modelos que lo guían.

02 Lectura asistida 3 bloques
Síntesis

Tesis de la no-neutralidad. El Papa establece que ningún artefacto técnico es moralmente neutral: cada uno encarna decisiones sobre qué medir, qué ignorar, qué optimizar, cómo clasificar personas. Por tanto, el discernimiento ético no puede reducirse a 'buen uso vs. mal uso' — debe interrogar el diseño mismo: qué idea de persona y de sociedad está inscrita en los datos y en los modelos.

Lectura crítica

Traslado fundamental desde la ética del uso a la ética del diseño. Esta posición rompe con el viejo argumento 'la tecnología es neutra, depende de cómo se use' — argumento históricamente conveniente para quienes producen tecnología, problemático para quien sufre sus efectos. La encíclica adopta aquí explícitamente la posición de los Science and Technology Studies (STS) clásicos: Langdon Winner ('Do artifacts have politics?', 1980), Bruno Latour (la teoría del actor-red), Andrew Feenberg (la teoría crítica de la tecnología). Es una jugada filosófica significativa que abre el camino a la crítica del §107 sobre la alineación. No es un comentario marginal: redefine qué cuenta como pregunta ética en el campo.

Contraste técnico

Empíricamente respaldado en abundante literatura del campo del algorithmic fairness: COMPAS (justicia predictiva en EE.UU.) con sesgo racial documentado por ProPublica (2016); Amazon descartando su sistema de hiring por sesgo de género (2018); denegación automatizada de crédito que perjudica desproporcionadamente a minorías; sistemas de vigilancia policial predictiva que refuerzan patrones discriminatorios. Los datos no son neutrales (reflejan injusticias históricas), las funciones de pérdida no son neutrales (eligen qué optimizar), los thresholds no son neutrales (eligen el balance entre falsos positivos y falsos negativos). El campo de la Fairness, Accountability, Transparency (FAccT) en ML existe precisamente para abordar esto.

03 Conexiones

Conceptos relacionados

Referencias cruzadas

  • §107 consecuencia: la alineación no puede ser decidida por pocos
  • §109 justicia desde el diseño, no como remedio posterior
  • §171 control social vía datos y arquitectura de la visibilidad