Hace unos días salí a correr pronto por la mañana con los cascos puestos y me puse un podcast de una entrevista a Stuart Russell, uno de los investigadores más serios y reconocidos de la inteligencia artificial.
A mitad del podcast, Russell hablaba de las especies que hemos extinguido, pero lo que de verdad me hizo frenar fue su comentario: ninguna de esas especies pudo hacer nada para evitarlo.
Y pensé en el dodo. Vivía en la isla Mauricio, no volaba y desapareció en el siglo XVII, después de que llegaran los humanos y los animales que llevaron consigo. Yo nunca vi un dodo. Seguro que tú tampoco.
Cuando llegué a casa busqué datos sobre la extinción de especies. IPBES estima que alrededor de un millón están amenazadas de extinción. ¡Un millón!
Pero yo seguía pensando en lo que había dicho Russell sobre su imposibilidad de evitarlo. Y, claro, la comparación con la IA y el ser humano surgió rápido. ¿Podría pasarnos algo parecido? ¿Seríamos capaces de verlo venir y hacer algo para evitarlo?
¿Estamos a tiempo?
Pero vayamos ahora a la actualidad: nosotros hemos creado la inteligencia artificial y algunos laboratorios trabajan ya para llegar a la superinteligencia. Ahora mismo podemos todavía debatir sobre qué capacidades queremos darle, qué pruebas exigir antes de utilizarla y qué decisiones no queremos dejar en sus manos.
Y esto es lo más preocupante: ¿estamos cediendo a la IA nuestra capacidad de decidir antes de saber cómo controlarla? Podemos empezar por dejarle hacer una tarea y acabar aceptando que tome decisiones que antes tomábamos nosotros, es decir, cederle nuestro propio criterio.
Sobre hasta dónde puede llevarnos esto hay mucho desacuerdo. Algunos temen que acabemos perdiendo el control y otros creen que ese temor es exagerado.
La verdad es que las opiniones sobre este asunto proliferan. Últimamente leo varias cada día. Algunas vienen acompañadas de datos y argumentos; otras se quedan en una afirmación rotunda sin más. Todo el mundo tiene derecho a opinar, faltaría más, pero mi impresión es que hay un poco de batiburrillo y, por eso, he intentado ordenar esas opiniones para entender mejor lo que está defendiendo cada uno.
Cinco formas de ver el riesgo
En lugar de ordenar las opiniones por nombres, he intentado agruparlas en cinco familias de argumentos. La tabla no pretende ser exhaustiva: una misma persona puede compartir argumentos de varias filas y cambiar de posición con el tiempo. Los nombres ilustran cada argumento; no significa que coincidan en todo.
Perder el control. Una IA mucho más capaz que nosotros podría quedar fuera de nuestro control. Stuart Russell, Geoffrey Hinton y Yoshua Bengio piden garantías serias antes de seguir aumentando sus capacidades.
Conservar la capacidad de decidir. El desarrollo de la IA debe respetar la dignidad humana y permitir que las personas y la sociedad exijan responsabilidades. Es la cuestión que pone en primer plano León XIV.
Avanzar al ritmo de la seguridad. Aquí aparecen propuestas distintas para evaluar los modelos más potentes y, cuando haga falta, limitar la velocidad de desarrollo: Dario Amodei, de Anthropic, propone ralentizar los avances e incorporar evaluadores externos (2026). Sam Altman, de OpenAI, ha planteado coordinación y posibles límites al ritmo de avance (2023). Demis Hassabis, de Google DeepMind, propone un organismo de evaluación que pueda coordinar una ralentización (2026). Elon Musk firmó una petición de pausa de seis meses para entrenar modelos superiores a GPT-4 (2023).
Mirar los daños que ya existen. Timnit Gebru advierte de que hablar tanto de una posible extinción puede apartar la atención de los daños actuales de la IA y de quién responde por ellos.
Seguir desarrollando. Yann LeCun, Andrew Ng, Jensen Huang y Mark Zuckerberg cuestionan la necesidad de una pausa general y defienden continuar el desarrollo mientras se trabaja en sus riesgos y beneficios.
Qué me llevo de estas opiniones
Algunas reflexiones: Russell se preocupa por lo que podría pasar si llegamos a crear sistemas que no sepamos controlar. Gebru insiste en los daños que ya están causando los sistemas actuales. Y León XIV pone el foco en algo transversal a ambos problemas: quién decide y quién responde.
Leyendo a los tres, creo que hay que atender los daños que la IA ya está causando y estudiar en serio los riesgos que Russell anticipa. Para ambas cosas vuelve la pregunta de León XIV: ¿quién toma las decisiones y quién se hace responsable?
Hay otra cosa que me llama la atención. Varias personas de la tabla trabajan en las empresas que desarrollan esta tecnología. Quiero escuchar lo que saben, desde luego, pero cuando hablan de seguridad también quiero saber qué pruebas han hecho, quién las ha revisado y qué pasa si el sistema falla.
¿Y cómo afecta todo esto al día a día de una empresa?
Pensemos, por ejemplo, en una pyme que da a un agente de IA acceso al correo de sus clientes y a su programa de facturación. Al principio le pide que busque información y prepare respuestas. Después le permite enviar correos o modificar datos sin esperar a que una persona confirme cada paso.
Ahí las preguntas de la tabla empiezan a resultar bastante menos lejanas. ¿Quién ha decidido qué puede hacer ese agente? ¿Cómo se ha probado antes de darle acceso? ¿Podemos ver qué ha hecho y detenerlo si empieza a equivocarse? ¿Quién responde si envía información a quien no debe?
No estoy diciendo que un error en una empresa sea comparable con la extinción humana. Pero sí creo que, a esta escala también, podemos ver por qué importa tanto saber qué es lo que controla la IA y qué es lo que seguimos controlando nosotros.
Mi opinión, de momento
Después de ordenar todas estas opiniones, sigo viendo desacuerdos, pero al menos entiendo mejor de dónde vienen. Mi opinión, de momento, es provisional: no sé si la IA llegará a poner en peligro nuestra existencia, pero sí creo que, cuanto más poder le demos para actuar, más exigentes deberíamos ser con las pruebas y con la posibilidad de detenerla. Si esas pruebas no bastan, hay que frenar el despliegue de los sistemas que pueden actuar por su cuenta.
El acceso no autorizado de un agente de OpenAI a un portal australiano de estadísticas de Medicare es uno de los casos que quiero entender mejor.
En el próximo artículo voy a mirar este y otros incidentes significativos con calma y profundidad. Ver qué ocurrió y qué límites fallaron. Quizá cambie yo de opinión. O, quién sabe, quizá también haya ya cambiado la de alguno de los pesos pesados de la tabla.