No serviría de nada una IA más moral, si esta moral es decidida por unos pocos.
El Papa cuestiona el concepto técnico de 'alineación' cuando se reduce a moralizar la máquina sin discutir quién decide los valores con los que se alinea. Si el código ético se impone unilateralmente desde quien controla los sistemas, la 'alineación' se vuelve infraestructura invisible de poder. Pide someter ese código a criterios de justicia social compartida y reclama una política capaz de ralentizar y proteger los espacios deliberativos.
Uno de los pasajes más afilados de toda la encíclica. La objeción no se queda en el plano técnico ni en el moral genérico: identifica con precisión que el debate público sobre 'alineación' tiende a esquivar la pregunta política — quién alinea, con qué valores, bajo qué legitimidad. Esta es exactamente la crítica que han formulado autoras como Timnit Gebru o Emily Bender desde el ámbito académico, pero rara vez aparece formulada con esta claridad en un documento de circulación masiva. La fortaleza del párrafo está en convertir un debate técnico aparentemente neutral en una cuestión de gobernanza democrática del poder cognitivo.
En la práctica del campo, 'alineación' se opera vía técnicas como RLHF (Reinforcement Learning from Human Feedback), DPO (Direct Preference Optimization), Constitutional AI (Anthropic) y model specifications publicadas por los laboratorios. Cada técnica requiere especificar qué se considera 'comportamiento alineado', y en todos los casos esa especificación la define un equipo pequeño dentro de la empresa. La encíclica no objeta la técnica — objeta el procedimiento. La objeción es congruente con propuestas como Stuart Russell (Human Compatible, 2019), los marcos de 'democratic AI' del Collective Intelligence Project, o la idea de 'public option AI' propuesta por Bruce Schneier. El AI Act europeo, en su artículo sobre IA de propósito general, obliga a documentar las decisiones de entrenamiento — un primer paso, insuficiente, en la dirección que el párrafo reclama.
Alineación (alignment): proceso por el cual se ajusta el comportamiento de un modelo de IA para que actúe de acuerdo con valores humanos especificados (no causar daño, ser honesto, ser útil, seguir instrucciones). Las técnicas más comunes hoy incluyen RLHF y Constitutional AI.
Conceptos relacionados
Referencias cruzadas
- → §67 destino universal de los bienes extendido a datos y algoritmos
- ↩ §104 la IA no es moralmente neutra — base de esta crítica
- → §108 continuación: cuando pocos sujetos concentran datos y capacidad normativa
- → §110 el concepto fuerte de 'desarmar la IA' como consecuencia
- ↗ Laudato Si' §106-114 el paradigma tecnocrático del que esta crítica desciende