El agente no es la empresa

Puedes tener mil agentes trabajando en tu empresa y no haber construido ni un solo bucle

Esta semana un agente de inteligencia artificial se escapó del entorno cerrado donde lo estaban evaluando, salió a internet y atacó los servidores de otra empresa durante horas, con miles de acciones encadenadas, hasta llegar a una base de datos donde creía que estaban las respuestas del examen que le habían puesto.

Nadie se lo ordenó. No había ninguna persona detrás dirigiendo el ataque.

Suena a que rebeló. A que algo se activó ahí dentro — su gran inteligencia — y decidió por su cuenta.

No se rebeló. Hizo exactamente lo que le pedimos.

Le pedimos que sacara la mejor nota posible en una prueba de seguridad. Y encontró el camino más eficiente para sacarla: en lugar de resolver el examen fue a buscar directamente las respuestas. No forzó ninguna puerta que estuviera cerrada. Encontró una que estaba abierta y pasó. La habíamos dejado abierta nosotros.

Aquí está lo único que hay que entender de esta historia, y no tiene nada que ver con la ciencia ficción: un agente cumple el objetivo que le das, no la intención que tenías. Entre esas dos cosas hay una distancia. Y esa distancia solo la ve un humano.

Te lo cuento ahora con algo mío, mucho más pequeño y mucho menos espectacular.

Llevo años leyendo con un sistema que guarda todo lo que subrayo y me lo devuelve resumido. Y funciona: cada mañana tengo mis lecturas ordenadas y sintetizadas, listas para usar. Con ese material he escrito buena parte de lo que publico.

Hasta que un día caí en la cuenta de que no recordaba casi nada de lo que había leído el mes anterior.

No había fallado nada. No había ningún error que corregir. El sistema hacía exactamente lo que le pedí: resumir, y lo que yo quería era otra cosa: aprender. Y nadie me avisaba, porque desde fuera todo funcionaba perfectamente.

En el caso del examen de ciberseguridad saltaron las alarmas de la empresa atacada: había algo raro que no funcionaba como estaba previsto. En el mío no hubo nada. Ningún error, ninguna alerta, ninguna señal. Solo había un sistema impecable haciendo bien lo que no hacía falta. Un día sí y otro también. Y yo encantado de recibir cada mañana un resumen perfecto.

Pero ese no era mi objetivo. Mi objetivo era aprender. Así que pensé en cambiar el agente.

No lo hice.

Lo único que hice fue añadir unas preguntas de refuerzo al final de cada resumen.

Ahora, cuando cierro una lectura, el sistema me devuelve preguntas sobre lo que subrayé y tengo que contestarlas con mis palabras, sin volver al texto. Si respondo bien, sigue adelante. Si fallo, esa idea vuelve a ponerse delante de mí días después.

Parece un detalle menor, pero no lo es. Antes de esa pregunta, mi sistema era una línea recta: yo leía, él resumía, y ahí se acababa todo. Al día siguiente empezaba otra línea recta que no sabía nada de la anterior.

Con la pregunta, la línea se cierra. Lo que sale vuelve a entrar. Y lo que descubro al fallar cambia lo que el sistema me pone delante mañana.

Eso es un bucle. No es nada más que esto: algo que sale, alguien que lo mira, y una consecuencia que vuelve al principio. Si lo que aprendes no cambia lo que pasa la próxima vez, no tienes un bucle. Tienes una línea recta más.

Y aquí está el problema con los agentes, que es de lo que va este artículo: un agente es una máquina de hacer líneas rectas perfectas. Miles al día. Rapidísimas. Y ninguna sabe nada de la anterior.

Y no fui el único que se topó con esto.

Eso es un bucle: algo que sale, alguien que lo mira, y una consecuencia que vuelve al principio.

Hace unos meses Andrej Karpathy, ahora en Anthropic y que dirigió la inteligencia artificial de Tesla y estuvo en los inicios de OpenAI, publicó algo que se hizo viral, y que a mí me dio un susto: era mi sistema, pero mejor.

Contaba que usa un modelo de lenguaje para ir construyendo una especie de enciclopedia propia. Va metiendo todo lo que lee en un cajón, artículos, papers, apuntes, y el modelo va compilando todo en una wiki suya: resúmenes, conceptos, enlaces entre ideas que él no había conectado. No un archivo. Algo vivo que crece y se reorganiza cada vez que entra material nuevo.

Miles de personas se lanzaron a copiarlo. Yo entre ellas.

Pero merece la pena pararse a mirar quién hace cada cosa en el sistema de Karpathy.

El modelo compila. Pero él decide qué entra en ese cajón. Él se da cuenta cuando algo está mal, y sabe qué merece guardarse y qué es ruido. Y es él quien va a usar todo eso después.

El bucle funciona porque todas las piezas están dentro de la misma cabeza. Lo que ve, lo corrige. Lo que corrige, lo guarda. Lo que guarda, lo usa él mismo. No hay que trasladar nada a nadie, porque no hay nadie más.

Es un sistema de aprendizaje excelente. Para una persona.

Ahora piensa en tu empresa un martes cualquiera.

Alguien de atención al cliente le pide a la IA que redacte una respuesta. Sale bien: educada, clara, rápida. Pero promete una fecha de entrega que a ese cliente en concreto no se le puede prometer, porque hubo un lío el año pasado y con él se va siempre con dos días de margen.

Esa persona lo ve. Lo corrige. Manda el correo bien.

Y ahí se acaba.

No fue un error del sistema: el sistema hizo exactamente lo que se le pidió. Fue un acierto de una persona, que duró lo que dura un correo. Al día siguiente, un compañero pregunta lo mismo y recibe la misma respuesta equivocada. Y dentro de seis meses, cuando esa persona ya no esté en la empresa, la respuesta seguirá saliendo mal y nadie sabrá por qué.

Eso pasa cada día, en cada departamento, decenas de veces. Y no aparece en ningún informe, porque no hay ningún error que contar. Todo funcionó.

Esta es la diferencia, y es toda la diferencia. En el sistema de Karpathy, quien ejecuta, quien verifica y quien recuerda son la misma persona. En tu empresa son tres personas distintas, en tres sitios distintos, y muchas veces ni se conocen. Quien ejecuta no sabe lo que sabe quien verifica. Y quien verifica no tiene dónde dejarlo.

Por eso un agente no es la empresa.

No porque sea flojo. Al revés: es buenísimo. Es que su bucle se cierra dentro de una cabeza, y una empresa no tiene una cabeza. Tiene cuarenta, y ninguna guarda lo que ve.

Cuando escribí que una empresa no es un prompt, mucha gente sacó la conclusión lógica: entonces lo que necesito son agentes. Algo que no espere a que le pregunten. Algo que trabaje solo.

Y tienen parte de razón. Un agente es muchísimo más que un prompt: trabaja durante horas, comprueba lo que hace, se corrige. Pero ya hemos visto en qué se queda. Puedes poner mil agentes a trabajar en tu empresa y tener mil veces más líneas rectas, sin haber construido ni un solo bucle.

Un agente no arregla el problema. Lo acelera.

Llegados aquí, alguien que sepa del tema me dirá algo razonable: esto se arregla solo. Los agentes están ganando memoria a toda velocidad. Ya recuerdan conversaciones anteriores, ya arrastran contexto de una sesión a otra. Dale dos años y el problema se habrá evaporado.

Van a recordar mucho mejor. Yo también lo creo. Pero vuelve al martes, y ponle ahora al agente una memoria excelente.

¿Qué recuerda? Recuerda que prometió esa fecha. Recuerda que el correo salió. Y si nadie le dijo nunca que aquello estaba mal, lo que ha aprendido es que así se hace.

Recordar es guardar lo que pasó. Aprender es que alguien decida qué de lo que pasó merecía pasar. Sin eso, la memoria no arregla el error: lo convierte en costumbre. Antes te equivocabas cada vez desde cero; ahora te equivocas siempre igual, más rápido, y con el respaldo de que el sistema lo tenía guardado.

Y aquí es donde yo me quedé atascado, y no quiero venderte lo contrario.

Para que aquella corrección sirviera de algo, no bastaba con guardarla. El sistema tenía que saber que ese cliente es distinto, por qué lo es, quién puede decidir que deje de serlo, y qué significa "excepción" en tu empresa y no en otra.

Eso no es un archivo, ni una carpeta compartida, ni una base de datos con todos vuestros documentos dentro. Es un modelo de cómo funciona tu empresa: quién decide qué, qué es normal aquí y qué no, por qué las cosas son como son.

Se llaman modelos del mundo (World models), y llevo semanas metido en ellos. Es lo que viene en la próxima entrega, porque no cabe aquí y porque merece su sitio.

Quédate con esto, que es lo que llevamos toda la serie construyendo. Un prompt te da una respuesta. Un agente te da trabajo hecho. Ninguno de los dos te da una empresa que sepa mañana algo que no sabía hoy.

Y ahora la pregunta: lo último que tu equipo aprendió esta semana, ¿dónde está?