El criterio no se delega
“Hay que desarmar la IA”, dijo el Papa. Todo el mundo entendió lo mismo. Ninguno leyó el párrafo siguiente.
Hoy he terminado de leer la encíclica.
Han sido dos semanas con el Papa, intensas de verdad. Una parte de “teoría” con el texto de la encíclica y otra de “práctica” con la presencia del Papa, sus actos, sus discursos. Casi algo parecido a unos ejercicios espirituales.
Antes de terminarla, he recibido y leído decenas de artículos, posts y comentarios. Casi todos muy bien hechos. Estructura similar, párrafos de tamaño parecido, puntos recurrentes. Contenidos semejantes.
Demasiado semejantes.
Una de las frases que circuló por muchos de ellos es precisamente esa: «Hay que desarmar la IA.» Pero León XIV explica en el mismo párrafo qué significa desarmar: «Sustraerla a la lógica de la competencia armamentística, que hoy ya no es solo militar sino económica y cognitiva.»
Desarmar no es rechazar. Es liberar la IA del poder que la controla. Es una llamada a la gobernanza, no una condena a la tecnología por sí misma.
Dos lecturas opuestas del mismo texto. Y la que circuló no era la del Papa. Era la del modelo de IA que la resumió sin leer hasta el final.
La frase estaba ahí. La explicación también. En el mismo párrafo. Pero el resumen se quedó con la primera línea y construyó una conclusión que el texto desmontaba tres líneas más abajo.
No se trata de un error. El modelo de IA está diseñado y funciona así.
Procesa el texto desde sus propios patrones, su propio entrenamiento. Cuando encuentra la palabra “desarmar” en un documento sobre tecnología, tira hacia la lectura más probable según lo que ha visto antes. Y lo que ha visto antes, en millones de textos, es que desarmar significa detener, frenar, rechazar.
La segunda parte de la frase, la que cambia el sentido, desaparece. No porque el modelo mienta. Sino porque el modelo decide. Y esa decisión desplaza la tuya.
Ahí está el problema. No en que la IA resuma mal. Sino en que resume en tu lugar, interpreta en tu lugar, y lo hace de forma tan fluida y tan confiada que no lo notas. Firmas el resumen como si fuera tuyo. Lo publicas. Lo compartes.
Y el texto original queda atrás, sin leer.
Al final, publicas un texto que crees que es tuyo, pero que no lo es. Es la interpretación del texto original “convenientemente” adaptada por el modelo de IA. Tú lo firmas con tu nombre. Bajo tu responsabilidad. Pero tu texto, el que has firmado, no dice lo mismo que decía el texto original. Sin embargo, tú eres responsable de él.
Es la interpretación del texto original “convenientemente” adaptada por el modelo de IA.
La IA responsable trata de poner orden en todo esto. De guiarnos para que seamos conscientes del uso de la IA y apliquemos criterio humano: cuando la usamos, cuando construimos aplicaciones con ella y cuando las evaluamos.
Para ello, se han publicado principios, guías, marcos de gobernanza. Documentos serios, firmados por instituciones serias, con buenas intenciones. Hablan de accountability: quién responde cuando algo sale mal. De explicabilidad: que el sistema justifique sus decisiones. De transparencia, de equidad, de sesgos.
Hay decenas de ellos. Todos necesarios. Todos importantes.
Y ninguno te dice qué hacer el lunes por la mañana cuando abres el ordenador.
Esa distancia entre el principio y la decisión concreta es donde vive el criterio, el criterio humano. Y el criterio no se entrena leyendo marcos. Se entrena leyendo el texto original cuando importa. Preguntando antes de aceptar. Dudando antes de compartir. Sabiendo que el resumen que tienes delante no es el documento: es la interpretación de alguien, o de algo, que tomó decisiones antes que tú.
¿Cuántos textos y cuántas opiniones que crees tuyas no lo son?
No porque alguien te haya engañado. Sino porque delegaste la interpretación sin saberlo. Porque la IA tomó partido antes que tú, de forma silenciosa, con la confianza de quien sabe más, y tú firmaste debajo.
La solución no es dejar de usar la IA. Es saber cuándo volver a los primeros principios. Al texto original. A la fuente. A leer con tus propios ojos lo que importa de verdad. Y a aplicar criterio humano.
¿Cómo aplicar criterio humano de forma sistemática?
Eso es lo que vamos a construir juntos en los próximos tres actos.
Una pregunta para cerrar este primero: ¿recuerdas algún momento en que asumiste la interpretación de la IA como tuya sin cuestionarla?