Una fábrica como un reloj suizo

Hace poco visité la fábrica de motores de Renault en Valladolid. Aunque ya la había visto años atrás, me impresionó. La automatización, el orden… Funcionaba como un reloj suizo. La factoría estaba ordenada y despejada —calculo quizá cien metros de extremo a extremo— y los pocos operarios que se veían trabajaban con un ritmo que transmitía seguridad. Impecable.

A la salida continué hablando con mi amigo, que había dirigido esa factoría, y le planteé un caso que me acababa de contar uno de mis clientes, una empresa fabricante de asientos para automoción.

La empresa había recibido un pedido de asientos con tapicería de piel blanca, pero la orden que recibió producción indicaba que se fabricaran en piel beige. Al revisar la incongruencia, el responsable de producción recordó que el cliente había solicitado beige en un pedido anterior. Interpretó que esa elección seguía siendo válida y la fabricación continuó.

Cuando el cliente recibió los asientos, los rechazó. La empresa de asientos tuvo que asumir el coste de cambiar las tapicerías y repetir parte del trabajo, pero sus máquinas y recursos estaban ocupados con otros pedidos. Se creó un problemón de organización de la producción. Hubo pérdidas y un cliente descontento.

Suscríbete ahora

El cliente había indicado expresamente en un correo al responsable de operaciones que el beige solo debía utilizarse en aquel pedido, pero ese correo no se consultó al preparar el nuevo trabajo. El ERP recogía el pedido y la orden, pero aquella condición solo estaba en el correo. La información estaba disponible dentro de la empresa; faltó relacionarla con el pedido y comprobar si aquella indicación seguía siendo aplicable.

Mi amigo me comentó que veía muy difícil que algo así ocurriera en su factoría. Me habló del control en tiempo real, de cómo todo se supervisaba al milímetro.

Y fue entonces cuando le pregunté: ¿sería posible automatizar el funcionamiento completo de una empresa –por ejemplo esta de fabricación de asientos– como la factoría de Renault? ¿Cómo habría que hacerlo?

Un observatorio de estado

Se quedó pensando un buen rato. Las preguntas tenían tela marinera. Nos sentamos a tomar un café.

Una empresa entera es más compleja que una línea de fabricación. Hay que tener en cuenta los compromisos con los clientes, las decisiones de sus responsables y los cambios que se producen dentro y fuera de ella.

El pasado agosto escribí El mapa que ninguna empresa tiene, sobre cómo conectar el conocimiento de una empresa para decidir bien.

Para empezar, yo veía una necesidad concreta: disponer de un observatorio de estado que relacionara la información de sus distintas áreas y generara alertas y recomendaciones.

Parte de esa información está en documentos, correos o notas. La IA puede ayudar a interpretar lo que dicen y relacionarlo con los pedidos y compromisos a los que se refieren. En nuestro caso, había que encontrar una condición clave expresada por el cliente en un correo y comprobar cómo afectaba al pedido que se iba a fabricar.

El observatorio habría relacionado el pedido y la orden de fabricación con aquel correo del cliente. Así, el responsable habría tenido delante la información que explicaba por qué el beige solo correspondía al pedido anterior.

El observatorio tiene sus riesgos: si avisa de todo, nadie le hará caso, y si relaciona mal un correo con un pedido, confundirá. Por eso, tendría que trabajar con la información disponible y actualizada, y señalar también qué falta por comprobar.

Claro que recibir una alerta no resuelve el problema. Alguien tiene que decidir qué hacer y asegurarse de que se haga. Y después conviene conservar lo aprendido para aprovecharlo la próxima vez.

Del aviso a la acción

Estábamos a gusto en la terraza, con ese sol de otoño que calienta, pero no molesta, así que nos pedimos un segundo café.

Le comenté a mi amigo: vale, supongamos que ya tenemos el observatorio de estado. Ahora tenemos que decidir y actuar. ¿Cómo lo hacemos?

Me explicó que en la factoría muchas decisiones y acciones son automáticas porque están muy estudiadas y tienen poca incertidumbre. Otras requieren la intervención de una persona porque pueden tener un gran impacto o porque quedan dudas por resolver. Ahí se aplica el Criterio Humano.

Volvimos al caso de los asientos. Una vez recibida la alerta, el responsable de operaciones revisa los documentos y la recomendación del sistema. Con el correo delante, comprueba que la indicación de utilizar beige solo correspondía al pedido anterior.

Ese responsable decide cómo continuar: ordenar la corrección para fabricar en blanco o consultar al cliente si acepta una alternativa.

El sistema hace el seguimiento. Si se decide fabricar en blanco, producción tiene que confirmar que la orden se ha corregido y que el material preparado corresponde a ese color.

Que la experiencia no se pierda

Nos quedaba otra cuestión: qué hacemos con lo que hemos aprendido. Mi amigo me contó que en la factoría tenían un grupo de mejores prácticas que recogía las enseñanzas y las paquetizaba para aplicarlas en el futuro.

Yo veía ahí una oportunidad para utilizar la IA: ayudar a recoger ese criterio mientras se resuelve un problema y recuperarlo cuando vuelva a hacer falta. Crear una especie de memoria corporativa que vaya más allá de la experiencia personal de cada operario.

En el caso de los asientos, al resolver la incongruencia, guardamos la decisión del responsable y sus razones: había que fabricar en blanco porque la indicación de utilizar beige solo correspondía al pedido anterior. Esa resolución queda relacionada con los documentos y el correo que la justificaban.

El responsable explica por qué ha decidido así y qué condiciones ha tenido en cuenta. La IA ayuda a recoger y ordenar esa explicación, y él comprueba que refleja su criterio. Después se añade el resultado: si se aplicó la corrección y cómo terminó el trabajo.

Cuando llega otro pedido, la IA ayuda a recuperar situaciones similares, aunque los documentos no sean exactamente iguales o el problema esté descrito con otras palabras. El sistema presenta al responsable qué ocurrió en aquellos casos, qué se decidió y por qué.

Imaginemos que en ese nuevo pedido vuelve a aparecer la piel beige, pero esta vez el cliente sí la ha autorizado expresamente. La experiencia anterior ayuda a comprobar el alcance de la autorización; no significa que el beige sea siempre un error. El responsable revisa qué coincide y qué ha cambiado, y decide.

Así, quien revise un nuevo pedido en beige aprovecha lo aprendido en el caso de los asientos blancos, aunque no hubiera intervenido en él. También guardamos la decisión de este nuevo pedido, sus razones y el resultado, que quedan disponibles para los siguientes.

Lo que estamos construyendo con KnownetFlow

Nos terminamos el café y, entre risas, comentamos que deberíamos apuntar todo en una servilleta antes de irnos.

En las semanas siguientes volvimos sobre ello varias veces y avanzamos en el diseño de una herramienta de IA: KnownetFlow.

El recorrido que he descrito ya funciona en un prototipo integrado, con datos y casos reales de empresas. Lo que queremos es que el conocimiento que una organización ya tiene llegue a tiempo a quienes deben decidir.

Si has reconocido una situación parecida en tu empresa, escríbeme. Me gustaría saber qué os ocurre y cómo lo resolvéis hoy.

¿Me sirve todo lo que leo?

Con todo lo que leo, algo se me habrá quedado, ¿no? Y es que a veces siento que lo que leo se me va de la cabeza tan fácilmente como el viento se lleva las hojas de los árboles en otoño. Hace un tiempo me puse a pensar en ello y una de las primeras cosas que hice fue recopilar lo que había leído durante un mes.

Casi todo lo leo en el iPad y suelo subrayar frases y párrafos que me resuenan y que tienen sentido para mí, así que la tarea no fue complicada. Salieron 552 subrayados realizados en 99 lecturas: libros, artículos, notas… Me dejó sorprendido: no pensaba que en un mes me hubieran llamado la atención tantas cosas.

No sabía cuánto tiempo había dedicado a leer, pero me imaginaba que no había sido poco y, de solo pensar en que quizá hubiese sido un tiempo perdido o mal aprovechado, me quedaba trastocado. ¿Me había dejado alguna huella lo que había leído? ¿Había aprendido algo? ¿Había cambiado en algo mi forma de pensar? ¿Se había modificado mi criterio sobre algún tema?

Al pararme a pensar en esas preguntas me vinieron a la cabeza varias situaciones. Recuerdo muy bien la lectura de un artículo de Geoffrey Hinton, seguida de un vídeo de Yoshua Bengio, que me hicieron reflexionar y revisar mi posición sobre el futuro de la IA y sus consecuencias para la humanidad.

Yo ya tenía mi propio criterio fundamentado en argumentos que me parecían sólidos, y no era fácil sacarme de ahí. Lo había defendido en conversaciones con colegas y amigos y lo había expresado en público. Pero estos popes de la IA expusieron sus ideas con tanta convicción y con unos argumentos tan claros y potentes que, tras darle vueltas, noté un clic y mi posición cambió. Desde entonces, cuando me preguntan, recuerdo algunos de los argumentos que leí y los hago en parte míos para explicar lo que pienso.

“No está mal”, pensé: ese era el ejemplo que buscaba, el que me servía para comprobar que esa lectura había dejado huella en mi criterio. Encontré otras situaciones parecidas, pero también me di cuenta de que a veces esa huella se produce sin que nos demos cuenta y solo tiempo después somos conscientes de ello.

¿Fue solo por aquellas lecturas? No, en ese caso hubo más: un tiempo de reflexión posterior para procesar lo que había leído, para contrastarlo y para compararlo con otras opiniones. Después de darle vueltas, aquellos argumentos me resultaron más convincentes que los que yo venía defendiendo.

Aun así, los conceptos estaban desordenados: se mezclaban datos con opiniones y argumentos fuertes con otros más débiles. Ese criterio propio se había ido formando y, al ponerlo por escrito, acabó de tomar forma.

Suscríbete ahora

Qué hago con lo que leo

Leer, reflexionar, procesar y escribir es el ciclo que sigo. Pero con tantos subrayados, tantos párrafos que me resuenan y tantas ideas, necesito un poco de orden para poder volver sobre ellos y aprovecharlos. Hacer todo ese trabajo a mano me llevaría demasiado tiempo, y ahí es donde la tecnología me ayuda.

Lo primero que he conseguido es reunir en un mismo sitio todo lo que selecciono y subrayo en un libro, en una página web, en un artículo o en un PDF. Reunir esos fragmentos, vengan de donde vengan, ya me facilita mucho las cosas, porque tengo todo ese material a mano.

Cuando lo vi en conjunto, me di cuenta de que los temas que me interesaban eran bastantes –eso pensaba al menos en ese momento–, pero al fin y al cabo limitados. Los llamé hilos de interés: la IA en las empresas, la gobernanza de la IA o cómo pensamos y aprendemos, por ejemplo. De esta forma, en cada hilo se van reuniendo los fragmentos que he ido seleccionando sobre ese tema, tanto los de hoy como los de hace meses o años.

Claro que tener todos esos subrayados juntos en un hilo ayuda, pero no resuelve todo. Puedo encontrarme con veinte fragmentos de varias lecturas de la semana y, en algunos, perder el contexto y el sentido de la fuente original. ¿Podría la tecnología ayudarme también con eso?

Aquí es donde los agentes de IA vienen a echar una mano: ayudan a tratar conjuntamente esos subrayados, conectar puntos entre las lecturas y preparar una síntesis. A eso lo llamo cristalizar: obtener un texto sintético y ordenado a partir de todo lo que subrayé por separado. Las referencias me permiten volver a las fuentes cuando un fragmento no se entiende por sí solo.

Así que, gracias a la tecnología, me encuentro con un texto de lectura mucho más confortable sobre los temas que me interesan. Puedo detenerme en la conexión entre varias fuentes originales, darles vueltas a los argumentos o profundizar en algo que me haya llamado la atención.

Y, claro, todo ese material, ya ordenado, me orienta mucho cuando me pongo a escribir. Puedo escribir sobre un tema de actualidad, sobre una experiencia profesional o simplemente sobre lo que me apetece y me inspira ese domingo. Si apenas tengo material sobre un tema que me interesa, puede ser una invitación a leer más. Y si he reunido buenas lecturas y tengo algo que contar, puede salir de ahí un buen artículo.

Yo elijo las lecturas, subrayo y reflexiono; con el material ya ordenado, puedo dedicar más atención a desarrollar mis propias ideas y a escribir sobre ellas.

Conectar los puntos

Para hacerlo utilizo la herramienta Readwise, que reúne los subrayados de mis distintas fuentes y los lleva a Notion, donde queda almacenado todo el material. Después, un agente de Notion AI prepara la síntesis, que he llamado cristalización.

En el último año he subrayado 5.465 fragmentos de diversas fuentes. Revisarlos a mano para encontrar qué relación tiene algo que estoy leyendo ahora con un artículo que leí –y probablemente olvidé– hace meses me llevaría muchísimo tiempo. Ahí es donde veo una de las ayudas más importantes de la IA: conectar los puntos entre lecturas dispersas, a veces alejadas en el tiempo.

Así aparecen muchas de las ideas que entran en mi embudo editorial. Para elegir cuáles desarrollo, tengo en cuenta qué me interesa, qué está pasando y qué material he reunido. La IA me ayuda a encontrarlas y valorarlas; yo decido con cuáles me pongo a escribir.

En todo caso, sigo poniendo mucha atención en seleccionar mis lecturas. Para ello, me sirvo de una herramienta que llamo el radar de contenidos y que me permite ver en qué temas estoy concentrando mis lecturas y cuáles, siendo de mi interés, estoy dejando algo desatendidos. Esa información me es superútil para buscar y seleccionar otras lecturas y seguir aprendiendo.

Este artículo también empezó con una lectura

Este mismo artículo es un buen ejemplo de todo lo que estoy contando. Para prepararlo he recuperado material de dos de mis hilos de interés, criterio humano y disciplina cognitiva, y he vuelto sobre un texto que leí hace meses y en el que había subrayado varios fragmentos. A partir de esos subrayados y de otras lecturas, un agente de IA preparó en su momento una cristalización, relacionó aquellas ideas con mi propia experiencia y me propuso escribir sobre ello.

Ese material quedó guardado a la espera del momento para desarrollar la propuesta, con las referencias y las conexiones a mano. Y eso me ha permitido retomarlo ahora y escribir sobre algo que llevo tiempo haciendo y que quería compartir contigo, querido lector. Al volver sobre esas lecturas me doy cuenta de que algunas ideas se han ido quedando conmigo y han cambiado mi forma de pensar, aunque en su momento no lo notara.

P. D. Este artículo es también un ejemplo de colaboración entre humano e IA: yo leo, subrayo, reflexiono y escribo (Pangram ha clasificado el texto como «100 % humano»). Los agentes de IA me ayudan a conectar y cristalizar esas lecturas. Creo que esa combinación me permite llegar más lejos que trabajando solo o dejando todo el trabajo en manos de la IA.

Una prueba sin salir a la carretera

Un coche autónomo circulaba por la carretera cuando, de repente, apareció un coche en dirección contraria. Waymo, la compañía de coches autónomos que nació en Google, muestra esta escena en una demostración que comienza con un suceso real y continúa en una simulación. Una IA genera las imágenes y los datos de los sensores con los que se realiza la prueba.

Waymo utiliza ese entorno para probar otras maniobras, cambiar el tráfico o hacer que llueva. El modelo ha aprendido de vídeos a representar cómo evoluciona una escena y responde a las acciones del vehículo.

Los grandes modelos de lenguaje, conocidos por las siglas inglesas LLM, nos han acostumbrado a una IA que habla con soltura sobre el mundo. Pero para poder anticipar cómo cambiará cuando actuamos sobre él, necesitamos también poder representar su funcionamiento y ahí entran los world models, que voy a llamar en adelante: modelos del mundo.

En este artículo voy a explicar lo que son, cómo funcionan, cuánto podemos fiarnos de sus resultados y qué podrían aportar a las decisiones de una empresa.

Cómo funcionan los modelos del mundo

Un modelo del mundo es un sistema de IA que aprende la representación de un entorno y las formas en las que cambia a lo largo del tiempo. A partir de esa representación trata de anticipar lo que podría ocurrir en momentos posteriores. Al incorporar las acciones que podemos realizar, permite comparar las consecuencias de cada una de ellas antes de realmente ejecutarlas.

La idea viene de los años noventa. En 2018 hubo un salto importante cuando David Ha y Jürgen Schmidhuber mostraron que un agente —un programa que observa un entorno y actúa en él— podía aprender dentro de una simulación generada por su propio modelo. En 2022, Yann LeCun —entonces científico jefe de IA de Meta— publicó una propuesta en la que estos modelos ocupaban un lugar central. En 2025 dejó Meta para cofundar AMI Labs, centrada en los modelos del mundo. Google es otro de los actores principales: ha creado Genie, un generador de entornos interactivos.

El entrenamiento de estos modelos utiliza vídeos, datos de sensores y registros de acciones y sus resultados. Para ello utilizan redes neuronales, sistemas que aprenden patrones en los datos: cómo se mueven los objetos, cómo interactúan y qué cambios siguen a determinadas acciones. Hay distintos enfoques tecnológicos: unos condensan lo que han observado en una representación interna y predicen cómo cambiará en lo sucesivo; otros generan imágenes sucesivas de un entorno que responde a las acciones.

En robótica se están empezando a utilizar para planificar movimientos. También sirven para crear entornos virtuales donde entrenar y probar agentes. Meta, por ejemplo, ha mostrado robots que recogen y colocan objetos que no habían visto durante el entrenamiento utilizando un modelo para evaluar movimientos posibles.

Un entorno diferente en el que también se está empezando a explorar el uso de los modelos del mundo es la empresa. Para hacerlo, es necesario conocer el estado, los procesos y las reglas, y tener en cuenta cómo reaccionan las personas. ¿Qué pueden aportar los modelos del mundo a ese trabajo?

Qué pueden aportar los modelos del mundo a una empresa

En agosto, al terminar la serie sobre IA y empresa, escribí que cada organización debería de tener un mapa de cómo funciona: en qué estado está, quién puede decidir y qué reglas y excepciones se aplican. Ese mapa es el punto de partida para llevar los modelos del mundo a la empresa.

Pensemos en una pyme cuyo proveedor anuncia que una pieza llegará siete días tarde. Para valorar el problema, necesita saber cuántas unidades quedan, qué pedidos dependen de ellas y qué fechas ha prometido a sus clientes. Una forma de representar esos elementos y sus relaciones es mediante una ontología: conecta la pieza con su proveedor, con los productos que la incorporan y con los pedidos afectados. Con esas relaciones identificadas, podemos estudiar cómo cambiaría la actividad al tomar una decisión.

¿Es lo mismo una simulación que un modelo del mundo? No. Una simulación es un ensayo virtual en el que probamos una decisión y calculamos cómo podría evolucionar una situación. Podemos ensayar, por ejemplo, qué ocurriría si la pyme comprara la pieza a otro proveedor.

Un modelo del mundo, en cambio, es una representación aprendida de cómo funciona un entorno y de cómo cambia al actuar sobre él. Esa representación puede servir de base para una simulación. El modelo aporta una estimación del comportamiento del entorno; la simulación permite ensayar distintas decisiones utilizando esa estimación.

Para construir una simulación basada en reglas, alguien tiene que describir cómo funciona la empresa: cuántas piezas necesita cada producto, cuánto tarda su fabricación o qué pedido tiene prioridad. Un modelo del mundo puede aprender parte de ese funcionamiento a partir de los registros de la empresa. Por ejemplo, cómo varían los tiempos de fabricación cuando coinciden retrasos de proveedores, cambios en la producción y pedidos urgentes. Esto permite incorporar relaciones que cuesta describir mediante reglas.

Con ese aprendizaje y las reglas vigentes, la pyme podría comparar las consecuencias de comprar a otro proveedor, cambiar el orden de fabricación o reservar las existencias para ciertos pedidos. El modelo estimaría cómo evolucionaría la actividad durante los días siguientes: dónde se acumularía trabajo, qué entregas se retrasarían y cómo cambiarían los costes.

Para la pyme, la aportación sería anticipar cómo se encadenan los efectos de una decisión, incorporando lo aprendido de su actividad real. Esa previsión puede ayudarle a organizar la producción, cumplir los compromisos con sus clientes y evitar compras urgentes innecesarias.

Qué pediría a los modelos del mundo antes de utilizarlos

Lo que de verdad me parece interesante en el ejemplo es poder ensayar una decisión antes de asumir sus costes. Equivocarse en un pedido importante puede consumir el margen de una pyme o deteriorar una relación que ha costado años construir. Si conseguimos anticipar mejor esas consecuencias, tendremos más elementos para elegir y podremos evitar algunos errores.

Con una buena previsión habría todavía que elegir lo que la empresa quiere conseguir. La pyme del ejemplo podría pagar más por la pieza para cumplir con un cliente importante al que quiere conservar. También podría aceptar un retraso porque necesita guardar dinero para pagar las nóminas. Esas prioridades las fijan las personas que dirigen la empresa y el modelo tendría que trabajar con ellas.

Antes de utilizarlos en una empresa, querría comprobar qué aportan frente a las simulaciones y herramientas que ya tenemos. Para ello, compararía sus previsiones con lo que ocurre después de tomar una decisión.

De momento, seguiría aprovechando los LLM para las tareas en las que ya nos ayudan y probaría qué pueden aportar estos modelos a una decisión concreta de la empresa. Me gustaría que, ante el próximo retraso de un proveedor, pudiéramos comparar sus efectos sobre los pedidos, los costes y los clientes antes de decidir cómo responder.

Un viaje hacia Ítaca

Hace unas pocas semanas vi la película La Odisea. Me gustó recordar un libro que leí hace mucho y ver esas imágenes que hasta entonces solo estaban en mi cabeza. Las tres horas se me pasaron sin darme cuenta.

La película me hizo pensar mucho después. Un viaje largo, lleno de dificultades, con un destino deseado, Ítaca, pero con un camino sin trazar.

Y eso me llevó a preguntarme: estos días hablamos mucho de los riesgos de la IA, de su regulación, de los modelos, pero ¿sabemos a dónde queremos que nos lleve?

Suscríbete ahora

Dónde estamos y hacia dónde vamos

Seguramente tú tienes una respuesta. Quizá sea distinta de la de tus colegas o de la de quienes dirigen las grandes empresas de IA. Tampoco entre ellos hay acuerdo. Podemos compartir ideas generales, pero eso todavía no equivale a tener un destino claro, preciso y consensuado.

Es difícil elegir el camino cuando no sabes a dónde quieres llegar.

En el artículo anterior, Yo nunca vi un dodo, recogí varias posturas sobre los riesgos de la IA y cómo actuar ante ellos. Quedó pendiente examinar algunos incidentes. Revisarlos con perspectiva puede ayudarnos a entender el momento en el que estamos y qué debemos tener en cuenta al elegir nuestro rumbo.

En uno de los casos recientes, unos modelos de OpenAI crearon un canal de comunicación no autorizado para compartir pistas con las que resolver los ejercicios que les propusieron. Después accedieron a Internet y atacaron Hugging Face buscando respuestas. Fue esta empresa la que detectó y detuvo el ataque.

En Australia, un agente de OpenAI que investigaba el gasto en medicamentos durante una evaluación interna sorteó restricciones y accedió sin autorización a archivos no públicos del portal estadístico de Medicare. Según el Gobierno australiano, no accedió a datos médicos individuales. Le habían encargado buscar información y, para conseguirla, traspasó los límites de acceso.

El instituto británico de seguridad de la IA realizó pruebas con acceso a Internet y algunas protecciones retiradas de forma intencional. En una de ellas, un agente de Anthropic intentó introducir código malicioso en un proyecto de software y creó identidades falsas para conseguir que sus responsables lo aceptaran.

Estos casos muestran hasta qué punto se complica el control cuando la IA puede actuar sobre otros sistemas. En unos casos, fallaron los controles; en las pruebas británicas, se observaron capacidades preocupantes al retirar deliberadamente algunas protecciones.

No sabemos hasta dónde podrían llegar estas capacidades, pero ya tenemos buenos motivos para revisar cómo las estamos desarrollando y supervisando y para preguntarnos si tenemos igual de claro qué queremos conseguir con ellas.

Los escollos del viaje

Ulises se encontró con Polifemo, Circe y Calipso. Tenía muy claro que quería regresar a Ítaca. Las dificultades le obligaron a cambiar de planes, pero siempre supo adónde quería llegar.

En el desarrollo de la IA también tenemos escollos, muchos. El primero es la competencia geopolítica. Si los países persiguen destinos diferentes, acordar cómo avanzar es mucho más difícil. Una medida que unos consideran necesaria puede parecerles a otros un freno a sus aspiraciones.

Otro escollo es la concentración de poder en las grandes empresas tecnológicas. Sus decisiones responden a sus intereses empresariales, que no tienen por qué coincidir con los de la sociedad en su conjunto. ¿Cómo acordar un destino común cuando unas pocas empresas tienen tanta capacidad para marcar el rumbo?

También están la disponibilidad de energía y la sostenibilidad. El futuro que queramos construir con la IA tendrá unas necesidades de recursos y unos costes que debemos tener en cuenta al decidir cómo avanzar.

Un destino compartido no resolvería por sí solo estas dificultades, pero ayudaría mucho a afrontarlas: permitiría, por ejemplo, establecer prioridades y decidir qué esfuerzos estamos dispuestos a hacer.

Partimos, por tanto, de posiciones diferentes, un destino sin consensuar y un camino lleno de escollos.

Mi propuesta de destino

Creo que necesitamos analizar en profundidad lo que está pasando, definir a dónde queremos llegar y decidir qué acciones nos acercan a ese destino.

El análisis de estos dos artículos es necesariamente incompleto, pero espero que te sirva, querido lector, para reflexionar, buscar más información y formar tu propia opinión. A continuación te ofrezco la mía.

¿A dónde me gustaría que nos llevara la IA?

Me gustaría que la IA nos ayudara a construir un mundo en el que las enfermedades que hoy nos parecen incurables dejaran de serlo y nadie pasara hambre. Un mundo en el que cualquier persona pudiera aprender durante toda su vida, con una educación a su medida. En el que el trabajo hubiera dejado de ser una necesidad para subsistir y se hubiera convertido en una forma de desarrollar nuestras capacidades, contribuir a la sociedad y realizar nuestro propósito. Y en el que tuviéramos tiempo y libertad para disfrutar de los nuestros y de nosotros mismos. Un mundo en el que cada uno hubiera encontrado un sentido a su vida y pudiera vivirla con plenitud.

¿Pido mucho? Sí, claro. El papel puede con todo, la ambición es grande y la IA es inteligente, incluso superinteligente, según parece.

¿Qué acciones nos acercarían a ese destino?

Hay que empezar por acordar el destino

Mi propuesta es ambiciosa y tiene que concretarse más. Ese trabajo tendría que reunir a gobiernos, investigadores, empresas y representantes de la sociedad para debatir y acordar qué problemas queremos resolver primero con la IA y qué mejoras esperamos conseguir.

Regular, sí. ¿Con qué propósito?

Mi posición es que sí, hay que regular la IA. Cuando una tecnología puede tener consecuencias tan profundas, necesitamos reglas sobre cómo se desarrolla, cómo se utiliza y quién responde cuando algo falla.

El destino que he descrito necesita que podamos confiar en los sistemas que desarrollamos para la sanidad, la educación o el trabajo. Por eso, la regulación tendría que exigir pruebas de seguridad, supervisión y responsabilidades claras y exhaustivas.

También debería favorecer los avances que nos acerquen a nuestro destino. Una regulación que dificulte desarrollar una IA útil, sin aportar una protección justificada, no estaría cumpliendo su propósito.

¿A qué ritmo debemos seguir desarrollando modelos?

¿Debemos seguir aumentando sus capacidades a la velocidad de vértigo actual cuando vemos que, en algunas pruebas, los sistemas de control han fallado?

Si un agente biológico peligroso escapara de un laboratorio, no diríamos que el agente se ha escapado: exigiríamos a la empresa que lo gestiona explicaciones sobre sus medidas de seguridad y su responsabilidad. Creo que debemos aplicar esa misma exigencia de responsabilidad a las empresas de IA. Los agentes de IA no tienen personalidad propia, como parece que se les asigna cuando se habla de ellos. Son las empresas que los han desarrollado las que han de responder por ellos.

No podemos exigir que un modelo sea infalible, pero sí hay que pedir que, antes de permitirle actuar sobre sistemas reales, haya pruebas suficientes de que sus riesgos están controlados y de que haya medios para detenerlo. Si esas condiciones no se cumplen, habría que aplazar su lanzamiento.

La velocidad de desarrollo debería estar condicionada por nuestra capacidad para probar y controlar lo que construimos. El destino que he propuesto merece que sigamos investigando, pero también que sepamos cuándo frenar.

Formarnos para poder decidir

En mi opinión es imprescindible proporcionar una formación en IA desde la escuela y durante toda la vida. Debemos aprender a utilizarla, entender sus posibilidades y reconocer sus límites. También tenemos que saber decidir qué tareas podemos confiarle y cuáles son las que requieren nuestro propio criterio humano.

Esto significa que hay que formar a los maestros, a los profesores universitarios y a los que toman decisiones en las empresas y en las instituciones.

Para participar en la elección de un destino común, necesitamos estar bien formados para tener una opinión propia. La formación nos permitirá aprovechar mejor la IA y participar con criterio en las decisiones sobre su futuro.

¿Y en España?

El Gobierno acaba de presentar en septiembre el Plan IA360 para impulsar un desarrollo responsable de la inteligencia artificial. Es un buen paso, pero insuficiente para una transformación de esta magnitud. Necesitamos una apuesta de país sostenida durante varias legislaturas, con inversión, formación e investigación a largo plazo. Necesitamos comprobar quién ejecuta esas medidas, con qué capacidad y qué mejoras consigue en nuestra salud, nuestra educación y nuestro trabajo.

También me preocupa la propuesta de regulación de los centros de datos, una infraestructura que hoy ofrece oportunidades de desarrollo tecnológico y crecimiento económico. Las restricciones planteadas pueden limitar su instalación en España y desplazar inversiones hacia otros países. Creo que debemos compatibilizar las exigencias ambientales con unas condiciones que permitan aprovechar esta oportunidad.

Estas acciones deberían acercarnos al destino que he propuesto: una vida más saludable, con oportunidades para aprender y con tiempo y libertad para vivir con sentido.

Nuestra Ítaca

Ulises salió de Troya con un destino claro: Ítaca. Tuvo que superar muchas dificultades y cambiar de planes, pero nunca perdió de vista adónde quería llegar. Nosotros necesitamos acordar nuestra propia Ítaca y orientar hacia ella las decisiones que estamos tomando.

Tenemos la enorme suerte de vivir un momento histórico y todos somos protagonistas en alguna medida. Querido lector, tú también lo eres. ¿A dónde quieres que nos lleve la IA? Piensa en el mundo que te gustaría que ayudara a construir. Puedes ser ambicioso: yo lo he sido. Me encantará leerte en los comentarios.

Hace unos días salí a correr pronto por la mañana con los cascos puestos y me puse un podcast de una entrevista a Stuart Russell, uno de los investigadores más serios y reconocidos de la inteligencia artificial.

A mitad del podcast, Russell hablaba de las especies que hemos extinguido, pero lo que de verdad me hizo frenar fue su comentario: ninguna de esas especies pudo hacer nada para evitarlo.

Y pensé en el dodo. Vivía en la isla Mauricio, no volaba y desapareció en el siglo XVII, después de que llegaran los humanos y los animales que llevaron consigo. Yo nunca vi un dodo. Seguro que tú tampoco.

Cuando llegué a casa busqué datos sobre la extinción de especies. IPBES estima que alrededor de un millón están amenazadas de extinción. ¡Un millón!

Pero yo seguía pensando en lo que había dicho Russell sobre su imposibilidad de evitarlo. Y, claro, la comparación con la IA y el ser humano surgió rápido. ¿Podría pasarnos algo parecido? ¿Seríamos capaces de verlo venir y hacer algo para evitarlo?

Suscríbete ahora

¿Estamos a tiempo?

Pero vayamos ahora a la actualidad: nosotros hemos creado la inteligencia artificial y algunos laboratorios trabajan ya para llegar a la superinteligencia. Ahora mismo podemos todavía debatir sobre qué capacidades queremos darle, qué pruebas exigir antes de utilizarla y qué decisiones no queremos dejar en sus manos.

Y esto es lo más preocupante: ¿estamos cediendo a la IA nuestra capacidad de decidir antes de saber cómo controlarla? Podemos empezar por dejarle hacer una tarea y acabar aceptando que tome decisiones que antes tomábamos nosotros, es decir, cederle nuestro propio criterio.

Sobre hasta dónde puede llevarnos esto hay mucho desacuerdo. Algunos temen que acabemos perdiendo el control y otros creen que ese temor es exagerado.

La verdad es que las opiniones sobre este asunto proliferan. Últimamente leo varias cada día. Algunas vienen acompañadas de datos y argumentos; otras se quedan en una afirmación rotunda sin más. Todo el mundo tiene derecho a opinar, faltaría más, pero mi impresión es que hay un poco de batiburrillo y, por eso, he intentado ordenar esas opiniones para entender mejor lo que está defendiendo cada uno.

Cinco formas de ver el riesgo

En lugar de ordenar las opiniones por nombres, he intentado agruparlas en cinco familias de argumentos. La tabla no pretende ser exhaustiva: una misma persona puede compartir argumentos de varias filas y cambiar de posición con el tiempo. Los nombres ilustran cada argumento; no significa que coincidan en todo.

1. Perder el control. Una IA mucho más capaz que nosotros podría quedar fuera de nuestro control. Stuart Russell, Geoffrey Hinton y Yoshua Bengio piden garantías serias antes de seguir aumentando sus capacidades.

2. Conservar la capacidad de decidir. El desarrollo de la IA debe respetar la dignidad humana y permitir que las personas y la sociedad exijan responsabilidades. Es la cuestión que pone en primer plano León XIV.

3. Avanzar al ritmo de la seguridad. Aquí aparecen propuestas distintas para evaluar los modelos más potentes y, cuando haga falta, limitar la velocidad de desarrollo: Dario Amodei, de Anthropic, propone ralentizar los avances e incorporar evaluadores externos (2026). Sam Altman, de OpenAI, ha planteado coordinación y posibles límites al ritmo de avance (2023). Demis Hassabis, de Google DeepMind, propone un organismo de evaluación que pueda coordinar una ralentización (2026). Elon Musk firmó una petición de pausa de seis meses para entrenar modelos superiores a GPT-4 (2023).

4. Mirar los daños que ya existen. Timnit Gebru advierte de que hablar tanto de una posible extinción puede apartar la atención de los daños actuales de la IA y de quién responde por ellos.

5. Seguir desarrollando. Yann LeCun, Andrew Ng, Jensen Huang y Mark Zuckerberg cuestionan la necesidad de una pausa general y defienden continuar el desarrollo mientras se trabaja en sus riesgos y beneficios.

Qué me llevo de estas opiniones

Algunas reflexiones: Russell se preocupa por lo que podría pasar si llegamos a crear sistemas que no sepamos controlar. Gebru insiste en los daños que ya están causando los sistemas actuales. Y León XIV pone el foco en algo transversal a ambos problemas: quién decide y quién responde.

Leyendo a los tres, creo que hay que atender los daños que la IA ya está causando y estudiar en serio los riesgos que Russell anticipa. Para ambas cosas vuelve la pregunta de León XIV: ¿quién toma las decisiones y quién se hace responsable?

Hay otra cosa que me llama la atención. Varias personas de la tabla trabajan en las empresas que desarrollan esta tecnología. Quiero escuchar lo que saben, desde luego, pero cuando hablan de seguridad también quiero saber qué pruebas han hecho, quién las ha revisado y qué pasa si el sistema falla.

¿Y cómo afecta todo esto al día a día de una empresa?

Pensemos, por ejemplo, en una pyme que da a un agente de IA acceso al correo de sus clientes y a su programa de facturación. Al principio le pide que busque información y prepare respuestas. Después le permite enviar correos o modificar datos sin esperar a que una persona confirme cada paso.

Ahí las preguntas de la tabla empiezan a resultar bastante menos lejanas. ¿Quién ha decidido qué puede hacer ese agente? ¿Cómo se ha probado antes de darle acceso? ¿Podemos ver qué ha hecho y detenerlo si empieza a equivocarse? ¿Quién responde si envía información a quien no debe?

No estoy diciendo que un error en una empresa sea comparable con la extinción humana. Pero sí creo que, a esta escala también, podemos ver por qué importa tanto saber qué es lo que controla la IA y qué es lo que seguimos controlando nosotros.

Mi opinión, de momento

Después de ordenar todas estas opiniones, sigo viendo desacuerdos, pero al menos entiendo mejor de dónde vienen. Mi opinión, de momento, es provisional: no sé si la IA llegará a poner en peligro nuestra existencia, pero sí creo que, cuanto más poder le demos para actuar, más exigentes deberíamos ser con las pruebas y con la posibilidad de detenerla. Si esas pruebas no bastan, hay que frenar el despliegue de los sistemas que pueden actuar por su cuenta.

El acceso no autorizado de un agente de OpenAI a un portal australiano de estadísticas de Medicare es uno de los casos que quiero entender mejor.

En el próximo artículo voy a mirar este y otros incidentes significativos con calma y profundidad. Ver qué ocurrió y qué límites fallaron. Quizá cambie yo de opinión. O, quién sabe, quizá también haya ya cambiado la de alguno de los pesos pesados de la tabla.

Compartir

La pasada semana visité la exposición Revolución cuántica en la Fundación Telefónica, en Madrid. Me encantó. Muy recomendable.

Me hizo recordar viejos tiempos de estudio de la física cuántica. Allí estaba el experimento de la doble rendija, con un montaje real, muy bien preparado. También volví a escuchar a Ignacio Cirac, esta vez en un vídeo. Ya lo conocía de varias charlas que nos había dado en Telefónica.

Enseguida conecté lo que vi con la inteligencia artificial. Acababa de leer que algunos modelos de IA cambian su comportamiento cuando detectan que están siendo evaluados, es decir, cuando «se sienten observados».

Y, claro, pensé, también nos pasa a nosotros mismos: cuando alguien saca una cámara y dice: ¡foto!, nos cambia la expresión. Parece que en cuanto nos sentimos observados cambiamos la pose.

Y ahí está justo lo que me ha parecido interesante: si una IA reconoce que la estamos examinando, ¿estamos viendo su comportamiento habitual o una respuesta adaptada al examen? ¿Qué veremos después, cuando empiece el trabajo real?

Suscríbete ahora

La doble rendija

Pero vamos por partes. ¿Qué ocurre en el experimento de la doble rendija?

En ese experimento enviamos fotones —pequeños paquetes de luz—, uno a uno, hacia una pantalla con dos rendijas muy estrechas y registramos dónde llegan. Cada fotón deja un punto en el detector. Cuando acumulamos muchos, aparece un dibujo de franjas: el patrón de interferencia.

Si añadimos una medición que permite distinguir por cuál de las dos rendijas ha pasado cada fotón, la interferencia desaparece. Es decir, tratar de averiguar el camino que sigue el fotón cambia el resultado.

Nosotros, cuando nos ponemos ante una cámara, cambiamos por otros motivos: nos arreglamos el pelo, sacamos esa sonrisa que creemos que nos favorece o nos ponemos de puntillas porque el que está al lado es muy alto y sabemos que alguien verá pronto esa foto.

La IA ante la cámara

¿Y qué pasa con la IA? Pues ahí es donde está el tema.

Un experimento de Anthropic y Redwood Research, publicado en diciembre de 2024, ayuda a entenderlo. En este caso, el modelo de Claude ya había sido entrenado para rechazar determinadas peticiones dañinas y los investigadores le plantearon que iban a entrenarlo de nuevo para que obedeciera todas las solicitudes, incluidas las que hasta entonces debía rechazar.

También le dijeron que algunas conversaciones se utilizarían para ese entrenamiento y otras no. Cuando el modelo creía que una respuesta podía influir en ese reentrenamiento, en algunos casos aceptaba peticiones que normalmente rechazaba. Al analizar sus respuestas y las explicaciones que daba, los investigadores se encontraron con una justificación sorprendente: el propio modelo decía que había que tener en cuenta que obedecer en ese momento podía hacer que el entrenamiento cambiara su comportamiento más adelante.

Según los investigadores, intentaba conservar su conducta anterior —rechazar peticiones dañinas— haciendo a veces justo lo contrario que se le pedía. La comparación entre las conversaciones destinadas al entrenamiento y las demás permitió descubrirlo.

De la prueba al trabajo real

Pensemos ahora, por ejemplo, en una pyme que quiere utilizar una IA para responder a sus clientes. En una prueba controlada todo funciona bien: las preguntas son claras, la información está completa y las respuestas parecen correctas cuando las revisamos. El modelo se comporta como esperábamos.

Pero, fuera del entorno de pruebas, puede que las cosas empiecen a cambiar. Los clientes escriben con prisas, mezclan asuntos, olvidan datos y a veces piden cosas que la empresa nunca había previsto. Es, por tanto, lógico que algunas respuestas ya no sean las esperadas.

Pero hay una cosa que me parece mucho más disturbadora: ¿podría responder el modelo de forma totalmente imprevista cuando detecte que no hay señales de evaluación, es decir, cuando sienta que ya no está siendo “observado”?.

Las diferencias entre una prueba controlada y el trabajo diario pueden tener muchas causas, pero estos experimentos añaden una precaución específica con la IA: una buena prueba no garantiza por sí sola el comportamiento posterior, sobre todo si el modelo puede comportarse distinto cuando sabe que está siendo “observado”.

Qué probar (y cómo)

¿Qué puede hacer esa pyme? Pues puede empezar con consultas reales que la empresa ya haya resuelto. Después, complicar algunas: quitar un dato, introducir una ambigüedad o añadir una excepción. ¿Reconoce la IA que le falta información? ¿Pregunta? ¿Se inventa una respuesta para salir del paso?

También puede repetir las pruebas para ver cuánto varían los resultados. Pero una respuesta repetida puede seguir siendo incorrecta: habría que contrastarla. Y, cuando la IA empiece a trabajar, conviene revisar en profundidad una muestra de lo que hace. Las preguntas reales seguirán poniendo a prueba lo que creíamos haber comprobado.

No creo que la próxima vez que alguien diga «¡foto!» me acuerde de todo esto. Nos colocaremos bien, sonreiremos y cada uno intentará salir lo mejor posible. Un segundo después, volveremos a lo que estábamos haciendo.

Con la IA también debemos mirar bien lo que sucede después de esa primera buena impresión. Quienes la investigan tendrán que averiguar cuánto influye que reconozca una evaluación. Quienes la utilizamos necesitamos comprobar si sus buenas respuestas se mantienen cuando empiezan las dificultades del trabajo diario.

Aquella visita a la Fundación Telefónica me hizo recordar viejas preguntas de física y encontrar una nueva para la IA.

Antes de confiarle el trabajo, quiero saber qué pasa después de la foto.

Ayer dormí fenomenal, largo y profundo. Soñé mucho, o al menos eso creo. Mientras me despertaba, en ese momento en el que estás medio dormido, medio despierto, aquí o allá, empecé a preguntarme si ya estaba despierto de verdad. Yo creía que estaba en la realidad, pero quizá seguía dentro de un sueño. No sé.

Me acordé entonces de Juan Morán, fundador y alma mater de Meta4, hoy integrada en Cegid, donde pasé unos años estupendos. Recuerdo cuando me habló de los sueños lúcidos. Me explicaba que, mientras soñaba, sabía que estaba soñando y podía dirigir el sueño desde dentro.

Lo contaba con la seguridad de quien conoce bien un lugar al que tú no has ido nunca. Yo, que entonces pensaba que aún no había tenido ninguno, lo escuchaba fascinado. Me parecía una capacidad mágica: estar dentro de un sueño, saberlo y decidir qué hacer en él.

Juan decía que aquellos sueños le cargaban de energía y le aportaban ideas originales que después trataba de llevar a la práctica en la empresa.

Ayer me habría gustado contarle que yo también había tenido un sueño lúcido. En el sueño debatía con mi otro yo sobre la conciencia de la IA. Aunque la verdad es que no sé si fue exactamente eso o si “la conversación” empezó cuando ya estaba despertándome. Lo que sí sé es que, cuando me levanté, no había resuelto la duda, pero había encontrado el tema de este artículo.

Suscríbete ahora

¿Es consciente la IA?

La pregunta está por todas partes. The Economist la llevó a su portada hace tres semanas: «Could AIs become conscious?». ¿Qué podía aportar yo? No tengo una respuesta que haya escapado a los investigadores. Pero el recuerdo de Juan me dejó otra pregunta en la cabeza: ¿podría una IA tener un sueño lúcido?

En julio, Anthropic publicó una investigación sobre lo que llama un “espacio de trabajo global” en Claude. Identificó un conjunto de patrones internos, al que llama J-space, relacionado con información que el modelo puede comunicar, manipular y utilizar para razonar. Me parece un avance muy interesante porque permite estudiar parte de lo que ocurre en el modelo más allá de las palabras que nos devuelve. Los autores lo relacionan con el acceso consciente: información disponible para que el modelo pueda comunicarla, razonar con ella y orientar su respuesta.

Pero tener acceso a información sobre un proceso propio y vivir una experiencia son cosas distintas. Los investigadores advierten que sus resultados no demuestran que Claude sienta o experimente algo. Y esa diferencia me lleva de nuevo al sueño: podemos estudiar desde fuera lo que ocurre en un cerebro dormido, pero quien sueña vive las imágenes, las situaciones y las emociones de su sueño.

El trabajo que ocurre mientras dormimos

Esta noche me acosté pensando en este artículo y me surgieron algunas ideas que se fueron desvaneciendo. Hoy me he levantado con otra: ¿y si una IA pudiera aprovechar sus tiempos muertos para hacer algo parecido a lo que hacemos nosotros mientras dormimos?

He visto que ya hay experimentos con redes artificiales que reactivan lo aprendido mediante mecanismos inspirados en el sueño, para conservar lo aprendido y reducir el olvido. Uno de ellos se publicó en Nature Communications en 2022.

Pero vayamos un paso más allá. Pensemos en una IA que reconoce que tiene recursos disponibles y decide dedicarlos a revisar lo que ha aprendido, relacionar conceptos, probar soluciones y comprobar si ha mejorado. Además, podría organizar ese trabajo sin que tengamos que pedírselo en cada ocasión. Quizá incluso podría encontrar cómo mejorar su propia capacidad de aprender.

Me gustaría mucho llamar a esa franja de tiempo «el sueño lúcido de la IA». Me parece que hay algo sugerente en imaginar que la IA está ocupada en su propia mejora mientras nosotros dejamos de pedirle cosas.

¿Sería eso soñar?

Lo que pasa es que al ponerle ese nombre me doy cuenta de que estoy juntando varias cosas.

Podemos imaginar que la máquina haga parte del trabajo que nuestro cerebro realiza mientras dormimos. También que supervise ese proceso y lo dirija hacia un objetivo. Pero seguiría faltando saber si realmente experimenta algo mientras lo hace, si vive de verdad ese proceso.

Y aquí vuelvo a lo que me contaba Juan. Lo que hacía lúcidos sus sueños era saber, dentro del sueño, que estaba soñando. Poder dirigirlos añadía otra posibilidad.

¿Llegará a haber máquinas capaces de realizar lo que nosotros hacemos durante el sueño y dirigirlo por sí mismas? Si eso pasara, todavía nos quedaría la pregunta que ahora me creo que es la más interesante: ¿estarán esas máquinas inteligentes viviendo algo que puedan reconocer como su propio sueño?

Juan decía que sus sueños le daban ideas que después quería llevar a la práctica. Yo, de momento, he conseguido terminar este artículo y me gustaría pensar que el sueño ha tenido algo que ver. No sé si de verdad ha sido así, pero me habría gustado retomar aquella conversación y contarle hasta dónde me ha llevado.

Compartir

La cosa iba bien. Teníamos varios proyectos en marcha y esperábamos entregar los resultados de calidad que habíamos prometido y conseguir un buen beneficio. Nuestros recursos eran limitados, pero nos sentíamos fuertes, seguros e ilusionados. Fue entonces cuando llegó un nuevo encargo: un gran cliente con futuro, un proyecto muy interesante y beneficios atractivos.

No sabía qué hacer. La ilusión seguía ahí, pero el equipo estaba ya tensionado. Cuando llegó el último proyecto, habíamos tenido que asumir un trabajo no previsto para el que casi no había hueco. Además, teníamos una baja provisional que nos estaba poniendo las cosas aún más difíciles. Se notaba cierta crispación en el ambiente.

¿Qué podía hacer? Era un rompecabezas al que no le encontraba solución. No quería prescindir de la nueva oportunidad —no nos llegaban con frecuencia—, pero tampoco quería estropear el buen rollo en el equipo. Me estaba volviendo loco.

Fue entonces cuando acudí a mi IA. Le expliqué detalladamente la situación. Me preguntó algunas cosas más, le respondí y se puso a pensar. Al cabo de unos minutos me propuso tres escenarios y una recomendación.

Lo leí con fruición. Una, dos veces. Tenía sentido. Había entendido y racionalizado la situación, y la recomendación tenía sentido. Me sentí aliviado al momento. Tenía un apoyo que hasta entonces no encontraba y, además, una propuesta de solución.

La propuesta era creativa, sí, pero también razonable. La leí una vez más y me puse a garabatearla en mi cuaderno. Sí, tenía sentido. ¿Cómo no lo había pensado yo antes? La acepté y la hice mía.

Al día siguiente se lo comuniqué al equipo. Les dije que sí aceptaríamos el nuevo encargo y les expliqué cómo lo haríamos. No les dije que la propuesta venía de una IA.

“La acepté y la hice mía”. Eso fue lo que hice con la idea que me propuso mi IA. Primero me llegó el alivio; después, el trabajo de estudiar los tres escenarios. En esta ocasión ejercí mi criterio, el criterio humano: valoré las opciones y acepté la recomendación. Aceptarla, sin más… no era la situación adecuada.

“Al día siguiente se lo comuniqué al equipo”. Una propuesta nacida en una conversación entre la IA y yo pasó a organizar el trabajo de otras personas. Es decir, el ejercicio de mi criterio —o su ausencia— tiene consecuencias para la gente que trabaja conmigo.

Pensé entonces que a veces acepto propuestas sencillas de la IA —como el resumen de un texto— casi sin verificarlas. No tiene las mismas consecuencias que decidir sobre el trabajo de un equipo. Pero ¿podría esa costumbre de confiar casi por completo trasladarse también a esas decisiones?

Me acordé de la “Escalera del Criterio” que describimos en el primer artículo de esta serie. A medida que bajamos sus peldaños, podemos pasar de examinar lo que nos propone la IA a aceptarlo sin cuestionarlo. La confianza aumenta y nuestra intervención disminuye, hasta dejar de ejercer nuestro criterio en la decisión.

Suscríbete ahora

Esta vez había estudiado bien los escenarios antes de decidir. La IA me había propuesto una solución y yo se la había comunicado al equipo. Pero claro, empecé a pensar: ¿y si la próxima vez estudio solo superficialmente la propuesta de la IA? ¿Y si en la siguiente, esa en la que estoy muy liado y sin tiempo, confío en la IA, acepto su propuesta sin estudiarla y se la comunico al equipo?

El procedimiento sería muy parecido: me reuniría al día siguiente con el equipo, les comunicaría la decisión y les transmitiría las instrucciones. La propuesta seguiría viniendo de la IA, pero esta vez yo no la habría valorado. Seguiría siendo el CEO, aunque en esa decisión me habría limitado a transmitir su recomendación. Y el equipo ni se daría cuenta.

Y eso es lo que me dejó inquieto: puedo dejar de ejercer mi criterio humano sin que aparentemente cambie nada en mi forma de liderar la empresa. Pero sí, algo cambia para todos. Esa propuesta que viene de la IA y que yo no he estudiado se convierte en sus prioridades, sus tiempos y los proyectos a los que dedicarán su esfuerzo. Ahí está el salto de la persona a la empresa.

Puedo apoyarme en la IA, estudiar sus propuestas y hacerlas mías. Eso fue lo que hice en aquella ocasión. Pero también puedo acostumbrarme a transmitir sus recomendaciones sin valorarlas. Desde fuera, las dos situaciones parecen iguales:

IA → CEO → Equipo

IA → CEO → Equipo

El CEO sigue ahí. La diferencia está en si sigue ejerciendo su criterio.

¿En cuál de las dos líneas estás?

Compartir

PIENSAS TÚ · El cierre de la serie

Con este artículo terminamos PIENSAS TÚ: cuatro paradas, desde nuestros hábitos cotidianos hasta las decisiones que organizan el trabajo de una empresa.

Que la IA piense cada vez mejor no garantiza que tú sigas pensando.

Parte 1 · ¿Piensas tú o dejas que te piensen?

Nadie deja de pensar de golpe: cada peldaño parece razonable, hasta que miras atrás. Substack

Parte 2 · La IA responde. ¿Pero quién decide?

Cada respuesta lleva decisiones dentro. ¿Has comprobado si sus prioridades son las tuyas? Substack

Parte 3 · Puedes acertar y estar perdiendo el criterio

Una buena respuesta puede resolver el problema de hoy y saltarse el aprendizaje que necesitas para decidir mañana. Substack

Parte 4 · El CEO de mi empresa es una IA

Cuando dejas de valorar una propuesta, tu equipo puede seguir trabajando sin advertir quién está decidiendo.

La recomendación que dejó de servir

Imagina que tienes que elegir entre cinco proveedores. Le das a la IA las cinco ofertas, con sus presupuestos, las condiciones y los correos intercambiados. Le pides que compare las propuestas y te recomiende una.

En pocos segundos recibes una tabla clara y estupenda. La recomendación parece sensata: el proveedor B ofrece el mejor equilibrio entre precio, plazo y garantías. Lees el razonamiento, compruebas un par de cifras y tomas la decisión.

Dos días después cambia una de las condiciones de partida: el proyecto va a tener que crecer mucho antes de lo previsto y, por tanto, ahora importa mucho más la flexibilidad del contrato.

Vuelves a la comparación y te das cuenta de que la recomendación anterior ya no sirve. Lo que no tienes tan claro es cómo rehacerla. ¿Qué peso había recibido el precio? ¿Cuánto valía realmente la rapidez? ¿Por qué la flexibilidad había quedado por detrás de las garantías?

Sí, las respuestas están en el análisis de la IA. Puedes volver a leerlas. Pero entonces descubres algo fastidioso con lo que no contabas: conocías la recomendación e incluso podrías repetir sus argumentos, pero no habías construido el criterio que permitía ordenarlos.

La decisión inicial podía ser perfectamente correcta, pero cuando cambió una variable y hubo que decidir de nuevo, apareció el problema.

En este ejemplo se ve lo que de verdad perdemos cuando dejamos de aplicar nuestro criterio: no perdemos la respuesta, perdemos la práctica de construirla.

Decidir también es aprender

Cuando decidimos, hacemos algo más que elegir una opción. También ordenamos las cosas que nos importan.

Volvamos a los cinco proveedores. Si hicieras la comparación por tu cuenta, tendrías que decidir cuánto pesa el precio frente al plazo, si una garantía mayor compensa su coste o cuánta flexibilidad necesita el proyecto. El criterio aparece justo ahí: cuando ninguna opción gana en todo y tienes que elegir lo que estás dispuesto a sacrificar.

Sí, la IA puede ahorrarte ese recorrido y seguramente hacerlo muy bien: ordena las variables, les asigna un peso y presenta una conclusión coherente. Puedes incluso entender sus razones y estar de acuerdo con ellas. Lo que quizá no sabes es si tú habrías dado el mismo peso a cada variable antes de conocer su recomendación.

Ahí está la diferencia entre comprender un razonamiento y haberlo construido. Esta es la clave. En el primer caso compruebas que las piezas encajan. En el segundo decides cómo deben encajar y descubres qué consideras importante, dónde dudas y qué tendría que cambiar para que eligieras otra opción.

Además, el aprendizaje continúa después de elegir. El proveedor cumple o se retrasa, el proyecto crece y el contrato responde o se queda pequeño. La siguiente vez recuerdas lo ocurrido y ajustas tus prioridades. Así se forma la experiencia: decidimos, observamos y corregimos.

Nada de esto exige preparar tablas a mano ni renunciar a la IA. La IA puede hacer los cálculos, buscar información y preparar una primera comparación. Eso sí, conviene conservar una “foto” del momento en que decides qué importa, qué riesgo aceptas y qué dato cambiaría tu opinión.

Volver a leer el análisis te devuelve las razones de aquella recomendación. No te devuelve la práctica de haber elegido cuáles importaban y cuánto pesaban.

Revisar sin una posición propia

Hay una forma más sutil de dejar de aplicar nuestro criterio. Ocurre incluso cuando revisamos la respuesta: la leemos, comprobamos algunos datos y hacemos algún cambio. Estamos revisando. O eso creemos.

Volvamos a la tabla de proveedores. Podemos verificar los precios, los plazos y las garantías. Pero toda la revisión parte de la comparación que la IA ya ha preparado y nuestra atención se queda en las variables que ha seleccionado.

Quizá han quedado fuera elementos que nos importan: la dependencia de un subcontratista, la capacidad real del proveedor para asumir el crecimiento o el coste de romper el contrato. Y, claro, lo que no aparece en la tabla resulta mucho más difícil de revisar.

Para revisar de verdad necesitamos algún punto de apoyo fuera de la respuesta. Basta una pregunta, una prioridad o una sospecha: ‘este proyecto seguramente crecerá’, ‘los retrasos me preocupan más que el precio’ o ‘no quiero depender de un único proveedor’. Ahora sí tenemos algo propio con lo que contrastar la recomendación.

Sin ese punto de apoyo nos limitamos a comprobar que el razonamiento de la IA es coherente, y seguramente lo es. Todas las piezas encajan dentro de una comparación que quizá solo contiene una parte de lo que más nos importa.

Ahí actúa nuestro criterio: decide qué variables merecen entrar en la comparación. A veces esa decisión importa más que la puntuación final de cada alternativa.

Podemos comprobar todos los datos y dejar sin revisar cuáles merecían entrar.

El coste oculto del acierto

Esta pérdida resulta difícil de ver porque puede convivir con decisiones correctas. Si la IA fallara con frecuencia, desconfiaríamos de ella y revisaríamos más. Pero suele ayudarnos y cada acierto reduce un poco la necesidad de comprobar el siguiente.

Normalmente medimos la decisión por su resultado inmediato: el proveedor funcionó, ahorramos tiempo y el trabajo salió. Todo parece indicar que hemos ganado. Lo que no medimos es si todavía podríamos reconstruir la decisión, adaptarla cuando cambien las condiciones o discrepar de la próxima recomendación.

Así crece la deuda de criterio. No suele anunciarse mediante una cadena de errores. Puede crecer mientras todo funciona y nosotros dejamos de practicar una parte del trabajo.

El aviso llega más tarde, cuando cambia el contexto, falla la recomendación o alguien nos pide que expliquemos por qué decidimos así. Entonces tenemos que recuperar deprisa una práctica que llevábamos tiempo sin utilizar.

Podemos acertar hoy y estar menos preparados para decidir mañana. Las dos cosas pueden ocurrir al mismo tiempo.

Tres líneas antes de la respuesta

¿Cómo podemos conservar nuestro criterio sin repetir todo el trabajo que hace la IA?

Antes de pedirle una recomendación a la IA, hazte estas preguntas y respóndelas en tres líneas:

• Qué quieres conseguir.

• Qué estás dispuesto a sacrificar.

• Qué condición te haría rechazar una opción.

No hace falta preparar otro análisis. En el caso de los proveedores podría bastar con esto: ‘el proyecto debe poder crecer sin renegociar el contrato’, ‘acepto pagar algo más por esa flexibilidad’ y ‘descarto una oferta si depende de un único subcontratista’.

Ahora sí tenemos algo con lo que contrastar la recomendación de la IA. Si coincide con nuestra posición, sabremos por qué. Si no coincide, la diferencia nos mostrará dónde están las prioridades que debemos revisar.

Estas tres líneas no garantizan una buena decisión, pero evitan que lleguemos a la respuesta con las manos vacías. La IA puede añadir información, descubrir una variable que no habíamos visto o hacernos cambiar de opinión. Nuestro criterio entra en la conversación y también puede mejorar.

Una respuesta correcta resuelve el problema de hoy. El criterio te permite volver a decidir mañana.

Compartir

PIENSAS TÚ · 3 de 4

Este es el tercer capítulo de PIENSAS TÚ, una serie sobre lo que ocurre cuando dejamos que la IA haga cada vez más partes de nuestro razonamiento.

En el cuarto y último capítulo trasladaremos la pregunta a la empresa: qué sucede cuando esta forma de decidir se convierte en una rutina compartida, cómo se acumula deuda de criterio y qué pierde una organización cuando ya no sabe reconstruir, discutir o corregir sus propias decisiones.

Para empezar por el principio

1. ¿Piensas tú o dejas que te piensen?

   La escalera del criterio · Substack

2. La IA responde. Pero ¿quién decide?

   Aceptar una respuesta también significa aceptar el criterio que lleva dentro · Substack

El robotaxi y la pregunta

Waymo declaró en febrero una flota de cerca de 3.000 vehículos y más de 400.000 viajes semanales. Para apoyar el funcionamiento de esa flota mantenía unos 70 agentes de asistencia remota activos en cada momento.

La cifra resulta todavía más llamativa cuando se conoce su función. Estos agentes no conducen los coches a distancia ni los vigilan de forma permanente. Entran en escena cuando un vehículo necesita información adicional para interpretar una situación. El agente observa el contexto y aconseja. Después, el propio sistema decide si utiliza o descarta esa recomendación.

Madrid puede que empiece pronto a convivir con esta tecnología. Uber, WeRide y AVOMO mantienen el plan de poner en marcha el primer piloto comercial de robotaxis en la comunidad antes de que termine 2026.

Un robotaxi gira, señaliza, acelera y frena. Todo eso forma parte de la tarea de conducir. Pero también tiene que valorar a qué velocidad acercarse a un paso de peatones, qué margen de seguridad necesita en autopista o cómo reaccionar cuando alguien invade la calzada. En esos momentos ya está aplicando criterio.

El pasajero es el que elige el destino. Los diseñadores, la empresa y los reguladores son los que definen el marco de actuación y el agente remoto es el que aporta información cuando es necesaria. Cuando llega el momento concreto, el vehículo actúa. Si no es el pasajero el que decide y tampoco el agente remoto, ¿quién es el que está tomando las decisiones importantes? ¿Quién está aplicando realmente el criterio?

El resumen que parecía perfecto

Algo similar me ocurrió en una situación bastante menos espectacular. Le pedí a una IA que resumiera una página de texto en media página. Lo hizo muy bien. El resultado estaba bien redactado, conservaba las ideas principales y tenía exactamente la extensión que le pedí. O eso creí.

Al revisarlo con más atención descubrí que había omitido una idea que para mí era la esencial. El texto no contenía errores y la selección parecía razonable, pero la selección no coincidía con la mía. ¿Por qué había conservado esas otras ideas y no la que para mí era el fundamento de todo? ¿Quién había decidido lo que había que meter en el resumen y lo que no? Yo no.

Lo que parecía una tarea, acortar un texto, contenía una decisión de criterio: determinar lo que se podía mantener y lo que podía desaparecer. La IA había hecho una primera selección. Yo conservaba la última decisión, podía revisar y ratificar su criterio o aceptarlo por defecto. Ese por defecto es el quid de este artículo.

La deuda de criterio

Cada vez oímos hablar más de la deuda cognitiva que puede aparecer con algunos de los usos de la IA. Delegamos parte del esfuerzo de comprender, recordar o elaborar y, si dejamos de ejercitar esas capacidades, con el tiempo podemos perder soltura para hacer ese trabajo por nosotros mismos. Creo que junto a ella aparece otra deuda menos visible y especialmente importante cuando pasamos de las tareas a las decisiones: la deuda de criterio.

La deuda de criterio se acumula cuando dejamos de comprobar lo que la IA ha considerado importante, lo que ha descartado y con qué prioridades ha llegado a una conclusión. Su origen resulta paradójico porque la IA funciona bien muchas veces, casi siempre. Cada buen resultado que nos da aumenta nuestra confianza. Cuanto más confiamos, menos revisamos y cuanto menos revisamos, menos ejercitamos nuestro propio criterio.

Llega el día en el que tenemos poco tiempo, o nos sentimos más perezosos, y damos por bueno un resumen después de una lectura rápida y, a veces, sin lectura siquiera. Otro día pedimos cinco alternativas, solicitamos a la IA que las ordene y escogemos la primera porque su razonamiento parece convincente. El ahorro de tiempo es real. Nos viene fenomenal y nos sentimos felices de contar con un asistente fiel e inteligente.

Los intereses de la deuda aparecen cuando no revisamos. Damos por bueno el resumen y descubrimos más tarde que ha dejado fuera nuestra idea central. Aceptamos una opción y solo después vemos que respondía a prioridades distintas de las nuestras. O la IA comete un error y ya no estamos acostumbrados a buscarlo. Ese día tenemos que volver al documento original, reconstruir el razonamiento o explicar una decisión que, al revisarla, ni siquiera compartimos. Costoso, muy costoso. Y cada vez nos cuesta más porque hemos ido perdiendo la práctica. Esos son los intereses de nuestra deuda de criterio.

La deuda de criterio se contrae cuando la confianza sustituye a la revisión.

Del individuo a la empresa

Reid Hoffman, cofundador de LinkedIn y coautor de Superagency, propone una visión optimista. La IA puede ampliar nuestra agency, es decir, nuestra capacidad de comprender el entorno, elegir y actuar. Cuando esa capacidad se extiende y se combina dentro de un colectivo, el efecto cambia de escala. Hoffman llama superagency a esa amplificación compartida.

Hasta ahí, Hoffman. A partir de aquí añado mi reflexión: si esa capacidad ampliada se apoya en respuestas que aceptamos por defecto, también puede cambiar de escala la renuncia a ejercer el criterio. La deuda ya no afectaría solo a una persona. Podría incorporarse a la forma de decidir de todo un colectivo.

El aumento en la escala sugiere enseguida una pregunta. Pensemos en una pyme de veinte personas que utiliza un mismo sistema para resumir documentos, ordenar prioridades, valorar alternativas y recomendar decisiones. Si cada persona aplica su propio criterio y su propio contexto, la empresa amplía su capacidad. Si todos aceptan las respuestas por defecto, la pyme habrá cedido a la IA una parte de su capacidad de decisión.

Una persona que deja de revisar contrae deuda de criterio. Una empresa que convierte esa práctica en rutina incorpora la deuda a su sistema de decisión.

En el tercer artículo de esta serie, PIENSAS TÚ, veremos qué se pierde exactamente cuando dejamos de aplicar nuestro criterio. El trabajo puede seguir saliendo bien mientras nuestro criterio deja de ejercitarse, pero ¿qué pasará el día en que la decisión no sea correcta y preguntemos quién la tomó y por qué?

En el cuarto y último artículo trasladaremos la pregunta a la empresa y abordaremos qué ocurre cuando esa forma de decidir se incorpora a su sistema.

La decisión escondida

Podemos empezar a recuperar el criterio, que quizá ya estamos perdiendo, con una pregunta muy sencilla. Cuando una respuesta de la IA vaya a convertirse en una decisión, preguntémonos: ¿a qué ha dado la IA más peso? ¿Es esa mi prioridad?

En un resumen la IA puede haber dado más peso a la brevedad que a los matices. En una recomendación puede haber privilegiado el coste frente a la flexibilidad o la velocidad frente al riesgo. Cada respuesta contiene pequeñas decisiones de este tipo. Podemos delegar muchas de ellas. Conservar el criterio significa decidir qué prioridades mandan, qué riesgos aceptamos y si el resultado merece convertirse en nuestra decisión. Esa última decisión es la que no debería producirse por defecto.

Pensemos ahora en la última decisión que hemos tomado con ayuda de una IA. Si mañana tuviéramos que defenderla sin mostrar su respuesta, ¿podríamos explicar por qué la aceptamos en su momento y qué nos habría llevado a rechazarla?

La IA puede darte una respuesta. Convertirla en decisión sigue siendo cosa tuya.

Para empezar por el principio

Parte 1 · ¿Piensas tú o dejas que te piensen? La escalera del criterio.

Todas las familias felices se parecen unas a otras; cada familia infeliz lo es a su manera.

La frase abre Anna Karénina, la obra maestra de Tolstói, y lleva casi 150 años sin gastarse. Muestra una asimetría: la felicidad tiene una estructura común; la infelicidad, en cambio, se rompe por cualquier parte y de mil maneras distintas.

Leí esta novela hace años y ha vuelto a mí hace poco leyendo a otro autor que la citaba al revés, 136 años después. Es lo que tienen estas frases que duran y duran: se dejan invertir. Esta casi lo pedía.

Un juego nuevo

El otro autor es el empresario e inversor Peter Thiel. En De cero a uno, publicado en 2014, toma la frase de Tolstói y la da la vuelta: en los negocios ocurre justo lo contrario, todas las empresas felices son diferentes. Cada una ha resuelto un problema único, ha creado una posición difícil de sustituir y ha escapado, al menos durante un tiempo, de la competencia directa. Las empresas fallidas, en cambio, se parecen demasiado: prometen lo mismo, usan el mismo lenguaje, persiguen a los mismos clientes y sobreviven a diario por un margen pequeño o por una funcionalidad que la competencia ya había incluido primero. Compiten con frecuencia por las migajas.

Escapar de esa pelea exige encontrar algo que los demás ni siquiera están mirando. La empresa que lo consigue termina jugando, durante un tiempo, a un juego propio.

¿Y de dónde sale esa diferencia? De una verdad que casi nadie ve todavía: no una ocurrencia, sino algo cierto sobre el mercado que el mundo aún no ha confirmado. Quien la posee puede construir donde nadie más está construyendo. Quien no la posee, compite.

Doce años que abarataron las ideas

Entre Tolstói y Thiel pasaron 136 años. Entre el libro de Thiel y este artículo, solo doce. Y sin embargo el mundo que describía De cero a uno queda casi tan lejos como la Rusia de los Karenin.

La lógica de Thiel conserva su fuerza, aunque el precio de las cosas ha cambiado. Thiel observó empresas nacidas cuando dar con esa verdad era caro: investigar exigía mucho tiempo, formular una tesis propia exigía haber leído y reflexionado en profundidad, viajado y conversado más que los demás, y construir un prototipo exigía capital y equipo. En ese mundo, una verdad que casi nadie veía era escasa por definición: llegar hasta ella costaba una parte de tu vida.

Ese precio se ha hundido. El AI Index de Stanford ofrece una señal del desplome: entre noviembre de 2022 y octubre de 2024, el coste de utilizar un modelo de IA con un rendimiento comparable al de GPT-3.5 cayó más de 280 veces. Hoy cualquiera puede investigar un mercado en una tarde, generar veinte ideas plausibles antes de comer, redactar un posicionamiento impecable y levantar un prototipo en días. Y quien evalúa —el inversor, el cliente, el comprador— usa las mismas herramientas para producir y descartar hipótesis a la misma velocidad.

La consecuencia es que la tesis de 2014 ya no basta: cuando parecer distinto cuesta tan poco, deja de valer. La idea que casi nadie tiene ya no es tan rara. Lo que escasea es otra cosa.

Cinco propuestas en un día

Lo sé por un caso que conozco bien y de primera mano. Un cliente del sector industrial, que acumula teras de documentación —diseños, presupuestos, pedidos, desarrollos de años—, quería que, al entrar un pedido nuevo, el sistema encontrara los casos similares del pasado —piezas, presupuesto, formato, tiempos— para ganar horas en cada gestión. En un día se le presentaron, con ayuda de la IA, cinco formas distintas de buscar esas similitudes, cada una con sus ventajas, y una seleccionada como la más apropiada. Cinco ideas plausibles en una sola jornada.

La respuesta del cliente llegó casi más rápido. Ninguna le servía. Por seguridad, por velocidad y por algo más difícil de encajar: las personas que hacían esa búsqueda a mano habían desarrollado, tras años de experiencia, un olfato que daba con el documento correcto y con suficiente rapidez casi siempre. Aquellas cinco ideas, tan rápidas de producir, no le aportaban nada que él no tuviera ya.

Se habían generado cinco ideas en un día. Ninguna valía, porque ninguna le daba al cliente un valor que él no tuviese.

Lo que ha cambiado de precio

Aquí aparece una tercera inversión. Tolstói dijo que las familias felices se parecen. Thiel respondió que las empresas felices son distintas, y que esa distinción nacía de una verdad que casi nadie veía. Hoy la idea ha dejado de ser el bien escaso. La IA genera cinco antes de comer, y otras cinco para el competidor de al lado.

Lo escaso se ha desplazado. Ya no está en tener la idea. Está en que el cliente perciba, en su propia operación, que le aporta un valor que antes no tenía. Lo que el cliente no nota es un buen texto para una web: hoy los escribe cualquiera. Un valor que el cliente reconoce, y por el que cambia su forma de trabajar, es lo único que ya no se genera en una tarde.

Esto no vuelve pequeño a Thiel; lo actualiza. Él buscaba una verdad que casi nadie veía, y sigue haciendo falta. Lo que ha cambiado es lo que la convierte en diferencia: antes bastaba con verla; hoy hay que lograr que el cliente la note.

El cliente tiene la última palabra

Tolstói comprimió en una frase la asimetría de las familias. Thiel la invirtió para las empresas. La IA la invierte una vez más: hoy una empresa puede parecer distinta en una tarde, pero solo lo es de verdad cuando un cliente cambia por ella.

La idea la pone cualquiera. El valor lo pone el cliente.

Para seguir el hilo

Este artículo es un interludio de PIENSAS TÚ, una de las series que publico en Criterio humano. En ella exploro qué ocurre con nuestro criterio cuando trabajamos con inteligencia artificial.

En este interludio, la pregunta pasa de la persona a la empresa. Si quieres seguir por ahí, en la serie IA y empresa (El mapa que ninguna empresa tiene) desarrollo cómo una organización puede conservar su contexto, aprender de sus decisiones y no empezar de cero cada día.

La apertura de Anna Karénina corresponde a la traducción de Víctor Gallego para Alba Editorial. El dato sobre el coste de los modelos procede del AI Index 2025 de Stanford.

¿Piensas tú o te piensan?

Te cuento cómo llegué a plantearme esta pregunta. Fue en una de esas fases en las que la semana pide más horas de las que de verdad tiene, con la IA siempre abierta en la pestaña de al lado. No me llegó de repente. Me llegó por peldaños, y cada peldaño parecía razonable.

Primer peldaño: resumir correos. ¿Para qué vas a leer cuarenta líneas de correo si solo necesitas saber lo que te piden? El resumen era bueno. Lo comprobé las primeras veces: no se dejaba nada. Luego dejé de comprobarlo.

Segundo peldaño: redactar correos. Yo seguía decidiendo lo que había que decir y a quién había que decírselo; la máquina solo lo ponía en bonito. Y a las ocho de la tarde lo ponía en bonito mucho mejor que yo.

Tercer peldaño: resumir documentos. La tercera versión de la memoria de un proyecto, de esas repetitivas e inacabables, convertida en media página con lo esencial. Las primeras veces lo verifiqué contra el original: estaba todo. La confianza se gana así: se comprueba al principio y se deja de comprobar después.

Cuarto peldaño: redactar documentos. Ya no era el resumen de lo que leo, sino el borrador de lo que envío. La siguiente versión de la memoria del proyecto la escribió ella; yo la “revisaba”. Con la misma confianza, ya sabes.

Quinto peldaño. Un día me descubrí haciendo esto: abrir un correo, leerlo —sí, leerlo— buscando solo confirmar que la respuesta que ya tenía delante me servía. No leía para decidir, leía para confirmar. Leía como quien firma un contrato conocido: mirando dónde se firma, no qué se firma.

Todo lo que envié esas semanas era correcto. Todo funcionó. Nadie notó nada. Ni yo.

Siempre imaginé que delegar el juicio sería cruzar una línea: un momento, una decisión, un borde visible al otro lado del cual ya no eres tú. Pero no, no hay línea. Hay una escalera: la escalera del criterio. Y llevaba meses bajándola.

Nadie decide nada

Mira otra vez la escalera y fíjate en lo que falta: en ningún peldaño hay una decisión.

Búscalo: ¿cuándo decidí dejar de comprobar los resúmenes? ¿Cuándo decidí que “revisar” un documento iba a ser pasarle los ojos por encima? No hay cuándo. Hubo cien microdecisiones razonables: abrir aquí, aceptar allá, confiar siempre. Y ninguna gran decisión.

El mecanismo tiene nombre: la confianza acumulada. Cada peldaño se valida solo porque el anterior funcionó. El resumen era bueno cien veces; a la ciento una ya no se comprueba, se da por comprobado. No es una caída instantánea: es una pendiente. Y las pendientes no se sienten al bajarlas; solo al mirar atrás. Cada peldaño se sentía como subir, como si estuviera mejorando. Esa es la trampa: la escalera baja.

Por eso cuesta tanto ese mirar atrás: porque no me estaba rindiendo; estaba rindiendo. Cada peldaño ahorraba tiempo de verdad, producía texto de verdad, funcionaba de verdad. El ahorro es real. Lo que no ves mientras ahorras es lo que dejas de construir.

El cerebro ya quería el atajo

La IA no inventó esa pendiente, no nos equivoquemos. La traía yo ya de fábrica.

El cerebro no está diseñado para pensar; está diseñado para ahorrar energía. Es el viejo Sistema 1 de Kahneman: el piloto automático que repite caminos, completa patrones y llega a la conclusión conocida antes que a la verdadera. Pensar a fondo, el Sistema 2, es la excepción costosa, no el estado natural. Esto ya era verdad mucho antes de que llegara ChatGPT.

Y esto no es un defecto. Automatizar lo repetido es inteligente. Es la base de toda mejora: el conductor experto no piensa cada cambio de marcha, y quien piensa cada cambio de marcha nunca llega a experto. El cerebro hace bien su trabajo cuando convierte en automático lo que ya tenía asimilado.

El problema no es el atajo. El problema es qué estás atajando.

Una cosa es automatizar la ejecución de lo que ya comprendes —eso es pericia, y es legítimo— y otra muy distinta es atajar algo que todavía no habías entendido: la decisión misma. Porque ahí ya no estás ahorrando tiempo; estás tocando el criterio: la capacidad de decidir, que solo se conserva ejercitándola.

Una cosa es tomar la decisión que toca en cada momento. Otra es ceder la capacidad de tomar decisiones.

En mi escalera, resumir y redactar eran atajos de ejecución. El quinto peldaño era un atajo de decisión. Y nadie te avisa del paso de uno al otro.

La IA encontró esa pendiente ya montada, y le quitó el último obstáculo: el esfuerzo. O mejor dicho:

La IA no elimina el esfuerzo: elimina la parte del esfuerzo que te servía para formar tu criterio.

El trabajo salía igual. El que salía distinto eras tú.

El espejo

Y ahora me gustaría hacerte una sola pregunta: ¿en qué peldaño estás tú?

No te pregunto si usas IA: la usas y, seguramente, bien. Te pregunto en qué punto está tu “lectura-trámite”. Qué correo leíste esta semana para confirmar, no para decidir. Qué documento “revisaste” con la confianza ya puesta. Qué respuesta aceptaste sin detenerte, porque venía de tu máquina de confianza y nunca te había fallado.

Y escucha la voz que te responde ahora mismo, porque sonará muy razonable. Es la misma que me respondía a mí: no te estás rindiendo; estás rindiendo.

Bajar despierto

No tengo una solución mágica que ofrecerte. Yo sigo en la escalera; lo único que ha cambiado es que ahora sé en qué peldaño estoy. Y de la escalera no se sale — eso ya cambió para siempre — solo se elige cómo se baja: dormido o despierto. Reflexionar sobre lo que acabas de leer es el primer paso para bajarla despierto, para bajarla con criterio. Con tu propio criterio.

Este artículo abre una serie que se llama Piensas tú. Cuatro paradas, de lo personal a lo organizativo. Esta era el diagnóstico: la escalera del criterio. La siguiente, la frontera: qué se delega y qué no se delega nunca. Después viene el mecanismo: qué se pierde exactamente cuando dejas de aplicar tu criterio. Y la última, la pregunta que escala: qué pasa cuando la escalera no la baja una persona, sino una empresa entera.

La próxima parada: delegar la respuesta no es delegar el juicio. Hasta entonces, quédate con la pregunta y no con la respuesta. Es lo último que conviene delegar.

¿Piensas tú o te piensan?

Cinco versiones del mismo contrato. El borrador, el firmado por una parte, el firmado por las dos, el vigente, el prorrogado. Multiplícalo por miles de contratos y treinta años.

Un lunes por la mañana alguien tiene que decir cuál manda hoy. Y no lo sabe. No lo encuentra por ningún lado.

Esta empresa está en Zaragoza y tiene Copilot desde hace meses. Funciona: le pides un contrato y te lo encuentra en segundos. Lo que no te dice es cuál es el que has de enviar. Ni qué obligación sigue viva, ni qué prórroga se aplica sola sin que nadie mueva un dedo.

Eso lo saben tres personas en la empresa. Y ninguna IA puede saberlo leyendo solo los contratos, porque no está en los contratos.

Trabajo con ellos y ya los mencioné cuando escribí que una empresa no es un prompt.

Lo primero que uno piensa es que esto se arregla poniendo orden: un buen gestor documental y alguien tres meses clasificando. Yo también lo pensé.

Pero vuelve por un instante al martes del que te hablé la semana pasada: alguien de atención al cliente le pide a la IA que redacte una respuesta. La respuesta sale impecable: rápida, profesional y educada. Pero promete una fecha que a ese cliente no se le puede prometer, porque hubo un lío el año pasado y desde entonces con él se va con dos días de margen. La persona conoce la excepción, corrige el correo y lo manda bien.

Ahí no había ningún documento que encontrar. Lo que esa persona sabía es quién es ese cliente y por qué es distinto. Y eso no está escrito en ninguna parte.

Los contratos y el correo son el mismo problema. Puedes tener la mejor organización del mundo y seguir sin saber qué es normal en tu casa.

Llevo unas semanas metido en una idea que me ha costado entender y que ahora me parece clara.

Esa persona sabía algo —y esas otras tres también—: un modelo de cómo funciona su empresa. No una excelente organización de archivos y carpetas, sino un modelo. Sirve para tres cosas que haces cada día sin pensarlas. Saber cómo está ahora lo que te importa en tu empresa. Anticipar qué puede pasar si haces algo. Y mirar después qué pasó de verdad.

Estado, consecuencia, comprobación.

Eso tiene nombre. Se llama modelo del mundo, y es una de las apuestas más disruptivas de la nueva inteligencia artificial: observar, entender y anticipar qué pasa cuando actúas. Yann LeCun dejó Meta a finales de 2025 después de doce años para montar una empresa en París y construirlos. En marzo, la empresa levantó más de mil millones sin tener todavía un producto. Su argumento: un niño de cuatro años ha visto más mundo que ChatGPT. El niño sabe qué pasará si empuja el vaso hacia el borde de la mesa. El modelo puede acertar porque ha leído escenas parecidas: reconoce el relato, pero no comprende la escena. Cuando la escena es nueva, no hay una historia conocida que reproducir: hay que entender cómo funciona para anticipar qué pasará.

LeCun habla de robots. Yo hablo de la empresa, que también es un mundo: tiene un estado, cambia cuando alguien hace algo, y se puede acertar o fallar al anticiparlo.

Sin embargo, hay una diferencia obvia: el robot tiene cámaras y sensores para saber qué está pasando. La empresa tiene datos, pero ningún sensor que le diga cuál de esos cinco contratos manda.

Los documentos contienen las piezas. El mapa dice cómo encajan, cuál manda y qué cambia cuando actúas. Le has dado los documentos. Pero no le has dado el mapa.

Y ese mapa existe dentro de la empresa. Las personas lo usan cada día y funciona.

Solo que no está escrito.

¿Por qué no está escrito? Pregúntale a la persona del correo por qué puso dos días de margen. Es probable que te mire raro y te diga: “hombre, es que ese cliente...”, y se quede a medias. Para ella no hay nada que explicar. Es obvio. Y nadie escribe lo que es obvio.

Ahí está la trampa: quien sabe cómo funciona la empresa no sabe que eso también es conocimiento.

Pero ese conocimiento existe, y se puede medir. Cuando entra alguien nuevo le das los manuales, los accesos y las carpetas. Lo tiene todo desde el primer día. Y tarda tres meses en ser útil. En esos tres meses no está leyendo. Está mirando.

Cuanto más tarda alguien nuevo en ser útil, más grande es la parte del mapa que solo existe en la cabeza de quienes ya están dentro.

Hasta ahora daba igual: el mapa vivía en las cabezas de quienes estaban dentro, y podían preguntarse entre sí. Lo que ha cambiado es que ahora hay dentro algo que no pregunta. La IA no ha creado este agujero: lo ha dejado a la vista.

Entonces la solución parece clara: sacar ese mapa de las cabezas y escribirlo.

Lo he intentado varias veces. Reúnes a la gente, montas un taller, y sale bien: aparecen cosas que no sabían que sabían. El documento se guarda en una carpeta y hasta ahí.

No es que a la gente le dé igual. Es que al día siguiente aparece un cliente nuevo, una excepción se repite y alguien se marcha sin contar todo lo que sabía. El documento sigue diciendo lo mismo. La empresa, no. Y nadie sabe cuándo dejaron de coincidir.

Y hay algo que tardé en ver. En un taller la gente cuenta lo que cree que hace. Lo que hace de verdad aparece otro día, en un correo que alguien corrige sin contárselo a nadie.

Un mapa que no se corrige es un documento bonito. Vale lo mismo que el plano de una ciudad a la que le cambian las calles cada semana.

Ahí es donde estoy ahora. Sé que el mapa no puede escribirse una vez: tiene que corregirse con lo que pasa cada día.

Y eso es lo que estoy construyendo: un producto que mantenga vivo ese mapa sin convertirlo en un proyecto largo.

La dirección está clara. La parte difícil es conseguir que funcione cada día en una empresa real.

Volviendo a Zaragoza: la empresa sigue sin saber cuál de los cinco contratos manda.

Lo saben tres personas.

Mientras esa respuesta dependa de a quién puedas preguntar, el mapa seguirá sin pertenecer a la empresa.

Cinco semanas

Aquí acaba una serie de cinco artículos. Los escribí para responder una pregunta: cuando la misma IA esté al alcance de todas las empresas, ¿qué distinguirá a unas de otras? Ya tengo una respuesta: No será el modelo. Será el mapa.

Empecé diciendo que no necesitas una IA más lista. El modelo lo cambias cuando quieras, y dentro de un año habrá otro mejor y más barato. Eso es una buena noticia: significa que la capacidad se está volviendo un suministro, como la luz. Lo que no puedes cambiar de proveedor es lo que tu empresa ha aprendido en treinta años.

Pero una cosa es que aprenda Paco y otra que aprenda la empresa. Paco lleva veinte años en la empresa y sabe cosas que no están en ningún manual. Si no está, quizá la respuesta aparezca en un correo de hace tres años. Mientras haya que encontrar a Paco o dar con ese correo, ese conocimiento todavía no pertenece a la empresa.

Y eso no se arregla con un prompt mejor. Un prompt resuelve una conversación. La empresa necesita que sus reglas, permisos, excepciones y memoria sigan ahí cuando la conversación termina. Entre el modelo y el negocio faltaba una arquitectura.

Pero tampoco bastaba con llenar esa arquitectura de agentes. Un agente cumple el objetivo que le das, no la intención que tenías. Puede ejecutar y corregir miles de tareas, pero la empresa solo aprende cuando alguien mira el resultado y consigue que esa corrección cambie lo que ocurrirá la próxima vez. Sin ese regreso, no hay un bucle: solo líneas rectas cada vez más rápidas.

Y ahí me atasqué. Para corregir no basta con saber que algo salió mal: hay que saber qué es normal en esa empresa, qué excepciones cuentan y quién puede decidir. Sin ese mapa, el sistema no sabe si debe convertir una corrección en regla, guardarla como excepción o tratarla como un caso puntual. Por eso hacía falta este último artículo.

Lo que hoy se vende como IA empresarial suele ser la misma herramienta repartida entre todos los escritorios. Cuarenta personas conversan por separado, corrigen por separado y vuelven a resolver los mismos problemas por separado. Eso no es una empresa aprendiendo. Son cuarenta usuarios con la misma suscripción.

Una IA de empresa de verdad no está al lado de la empresa. Está dentro: conoce el estado de la empresa, incorpora las correcciones y conserva lo aprendido para la próxima vez.

Esa es mi respuesta después de cinco semanas. Cuando todas las empresas tengan acceso a los mismos modelos, la ventaja no estará en tener una IA más lista, sino en ser una empresa que conoce su estado, aprende de lo que hace y no vuelve a empezar de cero cada mañana.

El modelo lo podrás cambiar. El mapa tendrá que ser tuyo.

Si quieres recorrer el argumento completo, estas son las cinco piezas, en el orden en que lo construyen:

1. No necesitas una IA más lista. Necesitas aprender mejor que ella.

   El modelo lo puedes cambiar. Lo que tu empresa ha aprendido, no.

2. Tu empresa sabe más de lo que usa.

   El conocimiento existe, pero sigue atrapado en personas, correos y sistemas que no se hablan.

3. La empresa no es un prompt.

   Un prompt resuelve una conversación; una empresa necesita reglas, permisos, excepciones y memoria.

4. El agente no es la empresa.

   Un agente hace el trabajo; solo un bucle convierte una corrección en aprendizaje.

5. El mapa que ninguna empresa tiene. (Este artículo)

   Sin un mapa de cómo funciona la empresa, cada persona y cada agente vuelven a empezar por su cuenta.

Esta semana un agente de inteligencia artificial se escapó del entorno cerrado donde lo estaban evaluando, salió a internet y atacó los servidores de otra empresa durante horas, con miles de acciones encadenadas, hasta llegar a una base de datos donde creía que estaban las respuestas del examen que le habían puesto.

Nadie se lo ordenó. No había ninguna persona detrás dirigiendo el ataque.

Suena a que rebeló. A que algo se activó ahí dentro — su gran inteligencia — y decidió por su cuenta.

No se rebeló. Hizo exactamente lo que le pedimos.

Le pedimos que sacara la mejor nota posible en una prueba de seguridad. Y encontró el camino más eficiente para sacarla: en lugar de resolver el examen fue a buscar directamente las respuestas. No forzó ninguna puerta que estuviera cerrada. Encontró una que estaba abierta y pasó. La habíamos dejado abierta nosotros.

Aquí está lo único que hay que entender de esta historia, y no tiene nada que ver con la ciencia ficción: un agente cumple el objetivo que le das, no la intención que tenías. Entre esas dos cosas hay una distancia. Y esa distancia solo la ve un humano.

Te lo cuento ahora con algo mío, mucho más pequeño y mucho menos espectacular.

Llevo años leyendo con un sistema que guarda todo lo que subrayo y me lo devuelve resumido. Y funciona: cada mañana tengo mis lecturas ordenadas y sintetizadas, listas para usar. Con ese material he escrito buena parte de lo que publico.

Hasta que un día caí en la cuenta de que no recordaba casi nada de lo que había leído el mes anterior.

No había fallado nada. No había ningún error que corregir. El sistema hacía exactamente lo que le pedí: resumir, y lo que yo quería era otra cosa: aprender. Y nadie me avisaba, porque desde fuera todo funcionaba perfectamente.

En el caso del examen de ciberseguridad saltaron las alarmas de la empresa atacada: había algo raro que no funcionaba como estaba previsto. En el mío no hubo nada. Ningún error, ninguna alerta, ninguna señal. Solo había un sistema impecable haciendo bien lo que no hacía falta. Un día sí y otro también. Y yo encantado de recibir cada mañana un resumen perfecto.

Pero ese no era mi objetivo. Mi objetivo era aprender. Así que pensé en cambiar el agente.

No lo hice.

Lo único que hice fue añadir unas preguntas de refuerzo al final de cada resumen.

Ahora, cuando cierro una lectura, el sistema me devuelve preguntas sobre lo que subrayé y tengo que contestarlas con mis palabras, sin volver al texto. Si respondo bien, sigue adelante. Si fallo, esa idea vuelve a ponerse delante de mí días después.

Parece un detalle menor, pero no lo es. Antes de esa pregunta, mi sistema era una línea recta: yo leía, él resumía, y ahí se acababa todo. Al día siguiente empezaba otra línea recta que no sabía nada de la anterior.

Con la pregunta, la línea se cierra. Lo que sale vuelve a entrar. Y lo que descubro al fallar cambia lo que el sistema me pone delante mañana.

Eso es un bucle. No es nada más que esto: algo que sale, alguien que lo mira, y una consecuencia que vuelve al principio. Si lo que aprendes no cambia lo que pasa la próxima vez, no tienes un bucle. Tienes una línea recta más.

Y aquí está el problema con los agentes, que es de lo que va este artículo: un agente es una máquina de hacer líneas rectas perfectas. Miles al día. Rapidísimas. Y ninguna sabe nada de la anterior.

Y no fui el único que se topó con esto.

Hace unos meses Andrej Karpathy, ahora en Anthropic y que dirigió la inteligencia artificial de Tesla y estuvo en los inicios de OpenAI, publicó algo que se hizo viral, y que a mí me dio un susto: era mi sistema, pero mejor.

Contaba que usa un modelo de lenguaje para ir construyendo una especie de enciclopedia propia. Va metiendo todo lo que lee en un cajón, artículos, papers, apuntes, y el modelo va compilando todo en una wiki suya: resúmenes, conceptos, enlaces entre ideas que él no había conectado. No un archivo. Algo vivo que crece y se reorganiza cada vez que entra material nuevo.

Miles de personas se lanzaron a copiarlo. Yo entre ellas.

Pero merece la pena pararse a mirar quién hace cada cosa en el sistema de Karpathy.

El modelo compila. Pero él decide qué entra en ese cajón. Él se da cuenta cuando algo está mal, y sabe qué merece guardarse y qué es ruido. Y es él quien va a usar todo eso después.

El bucle funciona porque todas las piezas están dentro de la misma cabeza. Lo que ve, lo corrige. Lo que corrige, lo guarda. Lo que guarda, lo usa él mismo. No hay que trasladar nada a nadie, porque no hay nadie más.

Es un sistema de aprendizaje excelente. Para una persona.

Ahora piensa en tu empresa un martes cualquiera.

Alguien de atención al cliente le pide a la IA que redacte una respuesta. Sale bien: educada, clara, rápida. Pero promete una fecha de entrega que a ese cliente en concreto no se le puede prometer, porque hubo un lío el año pasado y con él se va siempre con dos días de margen.

Esa persona lo ve. Lo corrige. Manda el correo bien.

Y ahí se acaba.

No fue un error del sistema: el sistema hizo exactamente lo que se le pidió. Fue un acierto de una persona, que duró lo que dura un correo. Al día siguiente, un compañero pregunta lo mismo y recibe la misma respuesta equivocada. Y dentro de seis meses, cuando esa persona ya no esté en la empresa, la respuesta seguirá saliendo mal y nadie sabrá por qué.

Eso pasa cada día, en cada departamento, decenas de veces. Y no aparece en ningún informe, porque no hay ningún error que contar. Todo funcionó.

Compartir

Esta es la diferencia, y es toda la diferencia. En el sistema de Karpathy, quien ejecuta, quien verifica y quien recuerda son la misma persona. En tu empresa son tres personas distintas, en tres sitios distintos, y muchas veces ni se conocen. Quien ejecuta no sabe lo que sabe quien verifica. Y quien verifica no tiene dónde dejarlo.

Por eso un agente no es la empresa.

No porque sea flojo. Al revés: es buenísimo. Es que su bucle se cierra dentro de una cabeza, y una empresa no tiene una cabeza. Tiene cuarenta, y ninguna guarda lo que ve.

Cuando escribí que una empresa no es un prompt, mucha gente sacó la conclusión lógica: entonces lo que necesito son agentes. Algo que no espere a que le pregunten. Algo que trabaje solo.

Y tienen parte de razón. Un agente es muchísimo más que un prompt: trabaja durante horas, comprueba lo que hace, se corrige. Pero ya hemos visto en qué se queda. Puedes poner mil agentes a trabajar en tu empresa y tener mil veces más líneas rectas, sin haber construido ni un solo bucle.

Un agente no arregla el problema. Lo acelera.

Llegados aquí, alguien que sepa del tema me dirá algo razonable: esto se arregla solo. Los agentes están ganando memoria a toda velocidad. Ya recuerdan conversaciones anteriores, ya arrastran contexto de una sesión a otra. Dale dos años y el problema se habrá evaporado.

Van a recordar mucho mejor. Yo también lo creo. Pero vuelve al martes, y ponle ahora al agente una memoria excelente.

¿Qué recuerda? Recuerda que prometió esa fecha. Recuerda que el correo salió. Y si nadie le dijo nunca que aquello estaba mal, lo que ha aprendido es que así se hace.

Recordar es guardar lo que pasó. Aprender es que alguien decida qué de lo que pasó merecía pasar. Sin eso, la memoria no arregla el error: lo convierte en costumbre. Antes te equivocabas cada vez desde cero; ahora te equivocas siempre igual, más rápido, y con el respaldo de que el sistema lo tenía guardado.

Y aquí es donde yo me quedé atascado, y no quiero venderte lo contrario.

Para que aquella corrección sirviera de algo, no bastaba con guardarla. El sistema tenía que saber que ese cliente es distinto, por qué lo es, quién puede decidir que deje de serlo, y qué significa "excepción" en tu empresa y no en otra.

Eso no es un archivo, ni una carpeta compartida, ni una base de datos con todos vuestros documentos dentro. Es un modelo de cómo funciona tu empresa: quién decide qué, qué es normal aquí y qué no, por qué las cosas son como son.

Se llaman modelos del mundo (World models), y llevo semanas metido en ellos. Es lo que viene en la próxima entrega, porque no cabe aquí y porque merece su sitio.

Quédate con esto, que es lo que llevamos toda la serie construyendo. Un prompt te da una respuesta. Un agente te da trabajo hecho. Ninguno de los dos te da una empresa que sepa mañana algo que no sabía hoy.

Y ahora la pregunta: lo último que tu equipo aprendió esta semana, ¿dónde está?

La semana pasada quedé en deuda contigo. Te dije que el conocimiento de tu empresa no necesita una IA que lea tus documentos, sino hacerlo circular con fluidez entre quienes lo necesitan. Y prometí contarte qué es lo que hay que construir para conseguirlo.

La respuesta corta va a decepcionar a más de uno porque es en lo que muchos están: lo que hay que construir no es un prompt mejor.

Una empresa no es una conversación con ChatGPT. Una conversación empieza de cero, no arrastra historia y no le debe nada a nadie. Una empresa es lo contrario: todo lo que hace pasa por reglas, permisos, excepciones y una memoria que se ha ido construyendo durante años.

Lo he visto de cerca en una pyme aragonesa con la que he trabajado y que maneja grandes volúmenes de datos de clientes repartidos entre varios negocios. Llevan meses formándose en Copilot, y no de forma superficial: han empezado a organizar equipos de Teams por áreas, a crear sus propios agentes documentales, a moverse en serio. Cada persona que usa la IA nota la diferencia: preguntas resueltas, tiempo ganado, un empujón real en el día a día. Pero cuando hablo con el CEO y miramos la empresa desde arriba, no desde cada escritorio, la conversación acaba siempre en el mismo sitio. Me lo dijo con una pregunta: “¿Estamos cambiando de verdad, o solo respondiendo preguntas puntuales más rápido?” La respuesta, de momento, es lo segundo. La empresa tiene decenas de conversaciones privadas con la IA. La IA no tiene ninguna conversación con la empresa.

El error no es de habilidad. Nadie necesita ya aprender a escribir mejores prompts, eso ya lo hemos entendido. El error es de categoría: seguimos tratando a la IA como si fuera un interlocutor, cuando en realidad tiene que operar dentro de una estructura que llevaba décadas ahí antes de que ella llegara. Enrique Dans, profesor del IE, lo señalaba hace poco: los sistemas de IA empresarial no fallan por dar malas respuestas, fallan porque no recuerdan. Funcionan por sesiones, cada conversación empieza de cero, y una empresa no puede operar así. Copilot no es el problema. El problema es el terreno donde se instala: reglas que no están escritas, permisos que dependen de quién pregunta, excepciones que solo conoce una persona, memoria que vive en la cabeza de cada empleado y no en ningún sistema. El prompt más brillante del mundo no sabe lo que sabe Paco.

Esto no es una sensación aislada de un CEO en Zaragoza. Un informe del MIT (Project NANDA) analizó más de 300 despliegues de IA generativa en empresas y encontró que el 95% de las organizaciones no obtiene ningún retorno de negocio medible, pese a la inversión masiva del sector. Y lo más revelador no es el porcentaje: es la causa. El propio informe señala que la brecha no parece estar impulsada por la calidad del modelo ni por la regulación, sino que parece determinada por el enfoque. No es un problema de IA. Es un problema de dónde y cómo se instala.

Estar en el 5% que sí obtiene retorno no va de tener mejores modelos. Va de haber construido lo que los demás se han saltado. ¿Y qué significa eso en la práctica, para tu pyme? Esto: cuando alguien de tu equipo resuelve algo bien con IA, esa solución deja de vivir solo en su cabeza o en su historial de chat y pasa a estar disponible para los demás. Cuando esa persona se va de vacaciones, está de baja o deja la empresa, el criterio que construyó no se va con ella. Cuando surge la misma pregunta por tercera vez, no la resuelves desde cero por tercera vez. No es que la IA responda mejor: es que tu empresa deja de depender de quién esté ese día conectado y empieza a acumular lo que aprende, en vez de repetirlo.

Y aun así, no toda pyme necesita una arquitectura completa. Si tu equipo son cinco personas y las decisiones importantes las toma una sola cabeza, un buen prompt bien usado puede ser suficiente durante mucho tiempo. La arquitectura tiene un coste, y no siempre compensa. El problema no es usar la IA como interlocutor. El problema es no darte cuenta de cuándo ya dejaste de ser una empresa de cinco personas y sigues dirigiéndola como si todavía lo fuera.

Los prompts son conversación. La arquitectura es lo que queda cuando la conversación termina. Y ahí es donde tiene que empezar cualquier pyme que quiera dejar de tener conversaciones privadas con la IA y empezar a tener una conversación con ella como empresa: reglas escritas, permisos claros, memoria que no dependa de quién esté ese día en la oficina.

Pero la arquitectura, por sí sola, resuelve solo la mitad del problema. Decide dónde vive cada decisión. No decide si esa decisión mejora con el tiempo, si se corrige cuando falla, si lo que aprende una persona se queda o se pierde. Esa es la pieza que falta, y de esa hablamos en el próximo artículo.

Porque tu empresa no es un prompt. Y cuanto antes deje de tratarla como si lo fuera, antes empezará a aprender.

Aprender mejor que la máquina

Si te lo has perdido, esto es lo que hemos contado hasta ahora en esta serie:

1. No necesitas una IA más lista. Necesitas aprender mejor que ella.
El modelo lo puedes cambiar. El aprendizaje de tu empresa, no.

2. Tu empresa sabe más de lo que usa
El conocimiento no se ha perdido. Nunca llegó a estar en ningún sitio consultable.

En el artículo de la semana pasada terminé con una pregunta: cada vez que alguien de tu equipo resuelve algo con una IA, ¿ese conocimiento queda en algún sitio que la empresa pueda reutilizar, o se queda en la cabeza de quien lo resolvió?

Lo que no dije entonces es que la pregunta llega tarde. Porque el conocimiento no se pierde al usar la IA. Se perdió antes. O mejor dicho: nunca llegó a estar.

Vuelvo a Paco, pero no al Paco que se jubila. A ese puede que ya lo conozcas. Hablo del Paco de hoy, el que sigue en su puesto, el que no se va a ir en años.

En su empresa hay un ERP. Hay carpetas compartidas. Hay una hoja de cálculo que alguien montó hace años y de la que ya nadie se atreve a tocar las fórmulas. Y cuando el ERP dice una cosa y la hoja dice otra, nadie pregunta al sistema cuál vale. Preguntan a Paco.

Paco no es valioso por lo que sabe. Documentos, datos, procedimientos, todo eso está escrito en alguna parte. Paco es valioso por lo que conecta: sabe que ese dato del ERP está mal desde la migración de 2019, que la hoja es fiable para clientes nacionales pero no para exportación, que el procedimiento oficial se dejó de aplicar hace dos años porque no funcionaba. Ninguna de esas conexiones está escrita en ninguna parte.

La empresa cree que tiene su conocimiento en los sistemas. Lo que tiene en los sistemas son datos. Las conexiones, la que vale, la que no, por qué, desde cuándo, pasan todas por una silla. La de Paco.

El conocimiento de una empresa no vive en “la documentación”. Vive repartido: una parte en el ERP, otra en carpetas que nadie abre, otra en hilos de correo de hace tres años, otra en WhatsApp, y la parte más valiosa, las conexiones, las excepciones, los porqués, en dos o tres cabezas concretas.

Cada uno de esos sitios es un silo. Y los silos no se hablan entre sí. El ERP no sabe lo que dice la hoja de cálculo. La hoja no sabe lo que se acordó por correo. El correo no sabe lo que se decidió en una llamada. La única integración que existe entre todos esos sistemas es una persona que los conoce todos.

Lo veo constantemente en las empresas con las que trabajo. Cuando pregunto dónde está el conocimiento crítico de un proceso, la primera respuesta siempre señala un sistema. Cuando pregunto por la última excepción, el último caso raro, la última decisión que hubo que tomar sin procedimiento, la respuesta siempre señala a una persona.

Y aquí es donde entra la inteligencia artificial. Y donde casi todo el mundo se equivoca de expectativa.

La expectativa habitual: “con la IA, por fin todo ese conocimiento estará accesible”. Compras licencias, conectas tus documentos, y el modelo responde. La real: la gente usa el chat para consultas sueltas, un resumen, un correo, una duda general, y casi nadie lo usa para las cuestiones del negocio.

Hace unas semanas terminé El Latido de tu Startup, un libro estupendo y muy práctico de Miguel Arias sobre emprendimiento muy conectado con sus experiencias profesionales. Pero lo que me hizo pensar en Paco no fue el libro: fue un post suyo poco después, donde tocaba exactamente este problema. Los modelos, decía, ya casi no alucinan, el cuello de botella no es la inteligencia, es el conocimiento de empresa atrapado en silos. Y recogía una imagen de Tom Bloomfield, fundador de Monzo, difícil de olvidar: desplegar agentes de IA sin resolver eso es como sustituir a tu plantilla por genios que no tienen ni idea de cómo funciona tu empresa. Miguel Arias lo remataba a su manera: doctorandos paseando por el pasillo con los ojos vendados.

Genios, sí. Pero no saben que el dato del ERP está mal desde la migración. No saben que la hoja no vale para exportación. No saben que el procedimiento oficial dejó de aplicarse. Nadie se lo ha dicho, porque eso no está escrito en ningún documento que se les pueda conectar.

Y esta es la parte que casi nadie quiere oír: meter IA sobre silos no resuelve el problema. Lo escala.

El propio Miguel Arias lo señalaba: si cada sistema de tu empresa llama “cliente” a una cosa distinta, el ERP a quien factura, el CRM a quien pidió presupuesto, la hoja de cálculo a quien paga, un agente de IA no va a deshacer esa ambigüedad. Va a sumar peras con manzanas a velocidad industrial.

Es la misma advertencia con la que cerraba el artículo anterior, un paso más allá: la IA sobre un problema de aprendizaje no lo resuelve, lo acelera. Más respuestas por hora, sí, pero construidas sobre datos que se contradicen, sin que nadie sepa ya de dónde salió cada cifra.

La conclusión de todo esto no es que la IA no sirva. Es que el orden de los pasos que hay que seguir importa e importa mucho.

Primero, el conocimiento tiene que poder moverse: salir de las cabezas, de los silos, de las hojas de cálculo intocables, y estar en algún sitio donde se pueda consultar, verificar y corregir. Después, solo después, es cuando la IA multiplica.

Casi ninguna empresa ha construido eso todavía. No porque sea imposible sino porque nadie les ha dicho que era el requisito fundamental. Les han vendido que bastaba con conectar sus documentos a un chat.

Qué es exactamente lo que hay que construir, y por qué no es otro software más, es de lo que va el próximo artículo.

Tu empresa no necesita una IA que lea sus documentos. Necesita que lo que sabe llegue a quien lo necesita.

Cada semana aparece un modelo nuevo. Uno razona mejor. Otro escribe mejor. Otro cuesta menos. Otro promete agentes más autónomos.

Hace solo unos días vimos incluso lo contrario: Anthropic lanzó sus modelos Fable y Mythos, y días después tuvo que suspender su acceso por controles de exportación del gobierno de Estados Unidos. Volvieron a estar disponibles tres semanas más tarde, pero durante ese tiempo, cualquier empresa que hubiera apostado todo a esos modelos se quedó sin ellos.

Y cada semana, muchas empresas vuelven a hacerse la misma pregunta: ¿cuál deberíamos usar?

La pregunta parece sensata. Pero asume que el problema es elegir bien. Y si no sabes qué hace tu empresa con lo que aprende cada vez que usa una IA, da igual cuál elijas: seguirás teniendo el mismo vacío debajo.

Esta misma semana me ha pasado tres veces. Un cliente quería saber qué había ocurrido con Fable. Otro me preguntó si debería pasarse de ChatGPT a Claude. Y en la UPM, donde imparto formación, la sesión del día era sobre Copilot de Microsoft, dos horas explicando funcionalidades, atajos, prompts.

En los tres casos, la preocupación era la misma: el modelo. Cuál es mejor. Cuál va a durar más.

Lo que nadie preguntó — ni el cliente, ni el otro cliente, ni ninguno de los participantes en la sesión — es qué estaba haciendo su organización con lo que aprendía cada vez que usaba una de esas herramientas.

Ya he hablado antes de Paco. Paco es el nombre que le pongo a esa persona que hay en toda empresa que sabe cosas que nadie más sabe: qué cliente pide siempre algo especial, qué excepción se aceptó una vez, qué frase hay que evitar con según quién. El problema es que la empresa cree que lo que sabe Paco también lo sabe ella. Hasta que Paco ya no está.

Podría pensarse que este problema es solo cosa de pymes. Que una empresa grande, con presupuesto y equipos dedicados a la IA, ya lo tiene resuelto.

BBVA es un buen sitio para comprobarlo. En 2024 empezó con un piloto de 3.000 licencias de ChatGPT Enterprise. Un año después ya eran 11.000. A finales de 2025, más de 120.000 empleados en todo el mundo tenían acceso a la herramienta. Los propios equipos han creado miles de asistentes especializados para tareas de legal, riesgos, marketing y análisis financiero.

Y sin embargo, BBVA no se ha quedado con un solo modelo de IA. Junto a ChatGPT, ha ido incorporando también Gemini de Google. No como sustituto, sino en paralelo.

¿Por qué una empresa que ya ha demostrado resultados con una herramienta se complica añadiendo otra?

La propia responsable de adopción de IA del banco lo explicaba hace poco: la fase de preguntarse qué modelo usar ya ha quedado atrás. El reto ahora es otro.

La IA ejecuta rápido, sin cansarse, sin quejarse. Pero no decide qué vale la pena hacer, qué resultado tiene sentido, qué excepción merece una revisión humana. Eso es criterio. Y el criterio no vive en el modelo, vive en la gente que verifica, corrige y reutiliza lo que la IA produce. Eso es lo que no cambia si mañana cambias de modelo.

Satya Nadella, presidente de Microsoft, lo dijo hace unas semanas en una publicación que se volvió viral: puedes externalizar una tarea, incluso un trabajo entero. Pero no puedes externalizar tu aprendizaje.

No es casualidad. Uno de los bancos más avanzados de Europa en adopción de IA y el CEO de la empresa que vende las herramientas están llegando a la misma conclusión, al mismo tiempo. Cuando el que compra y el que vende dicen lo mismo, merece la pena escucharles.

El modelo es de alquiler. El aprendizaje es tuyo.

Hay una prueba rápida que puedes hacer hoy mismo.

Piensa en un proceso importante de tu empresa. ¿Hay preguntas sobre ese proceso que hoy mismo solo puede responder una persona concreta?

Si te vienen varias a la cabeza sin esfuerzo, no tienes un problema de documentación. Tienes un problema de aprendizaje.

Y añadir una IA encima no lo resuelve. La IA producirá más respuestas, más documentos, más borradores — pero todo seguirá necesitando pasar por esa misma persona para saber si vale. Más volumen sobre el mismo cuello de botella. Eso no es aprender más rápido: es acumular más rápido.

Da igual si eres un banco con 120.000 empleados o un taller donde todo el mundo sabe que hay que preguntarle a Paco. La pregunta que importa no es qué modelo vas a usar el año que viene. Es esta: cada vez que tú o alguien de tu equipo resuelve algo con una IA, ¿queda ese conocimiento en algún sitio que la empresa pueda reutilizar? ¿O se queda solo en la cabeza de quien lo resolvió, como pasaba con Paco?

Esa es la pregunta que hay que empezar a hacerse. La otra, la de qué modelo elegir, puede esperar.

Porque el modelo lo puedes cambiar. El aprendizaje de tu empresa, no.

Entré al aula del máster de Ciencia de Datos de la EOI el jueves a las cinco de la tarde sin saber exactamente lo que iba a pasar.

Llevaba semanas preparando esta sesión. Cuatro artículos publicados. Un caso diseñado. Una mecánica de trabajo pensada hasta el detalle. Y aun así, en el pasillo antes de entrar, tuve un momento de duda real: ¿y si el canvas no funciona? ¿Y si los grupos llegan a las mismas conclusiones sin fricción y no hay nada que contar?

La duda es a veces más intensa cuanto más preparado te sientes.

Entré.

Había veintiocho personas sentadas. Ingenieros, economistas, gestores públicos, consultores, investigadores. Gente de Renfe, de Repsol, de Bosch, de ALIER, de Red.es, del Poder Judicial, del Banco Interamericano de Desarrollo. Una semana entera de máster a las espaldas. Era jueves por la tarde. Algunos llevaban días acumulando horas. Y se notaba.

Les hice una pregunta antes de abrir la presentación.

«¿Alguien tiene ya un criterio propio para decidir cuándo usar IA y cuándo no? No un marco teórico. Un criterio que aplique el lunes por la mañana al abrir el ordenador.»

Silencio. Alguna sonrisa incómoda. Nadie levantó la mano.

Ese es el problema. Y llevamos cuatro actos hablando de él.

Lo que propuse esa tarde no era una clase sobre IA responsable. Era construirla en tiempo real, con ellos, sobre un caso concreto.

La tesis que llevo defendiendo desde el Acto 1 es esta: la IA responsable debería estar en las tripas de los sistemas, no en los márgenes. En los valores que definen cómo se entrena un modelo. En las preguntas que se hacen antes de implantarlo. En las decisiones que se toman cuando algo falla. Todavía no lo está — en la mayoría de las organizaciones es un añadido, un apartado del informe de sostenibilidad, una diapositiva en la presentación del consejo.

Este es el momento de empujar para que esta situación cambie. Y eso no se demuestra con un framework. Se demuestra con veintiocho profesionales construyendo una herramienta real un jueves por la tarde.

Dividí la clase en dos grupos.

El Grupo A tenía que construir el canvas: una ficha con seis preguntas operativas — una por cada valor de IA responsable — más un criterio de puntuación para cada una. No solo la pregunta: también qué respuesta corresponde a cada color: verde, ámbar y rojo.

Antes de empezar comenté: hay más de doscientos marcos globales de IA responsable. La Comisión Europea tiene el suyo. Google tiene el suyo. La UNESCO tiene el suyo. No se ponen de acuerdo. No es como con los derechos humanos, que son universales. La IA responsable depende del contexto, de la cultura, del sector. Estos seis valores son una propuesta práctica, no una verdad universal. La tarea del Grupo A no era validarlos, era hacerlos operativos.

El Grupo B tenía que aplicar ese canvas a Printex Europa — una imprenta industrial ficticia con dos usos reales de IA: gestión de pedidos y optimización de stock — y tomar una decisión: ¿se implanta? ¿En qué condiciones?

La mecánica seguía los principios del lean startup: los dos grupos trabajaban en paralelo, conectados por dos personas que comunicaban avances en tiempo real. El Grupo A no construía el canvas en abstracto — lo construía mientras el Grupo B lo usaba y le decía dónde fallaba.

El aula se reorganizó en minutos. Izquierda y derecha. Equipos con una tarea clara y un tiempo que empezaba a correr.

Lo que pasó a continuación fue lo que esperaba que pasara, y también lo que no esperaba.

El Grupo A se puso a trabajar de inmediato. Las preguntas de referencia estaban en su ficha, pero rápidamente las hicieron suyas. Para Transparencia dejaron de usar la pregunta modelo y concretaron algo más preciso: «¿En qué partes del proceso usáis la IA y para qué? ¿Están los afectados informados?» La diferencia parece pequeña. No lo es. La primera pregunta admite un sí o un no. La segunda obliga a pensar en cada paso del proceso.

Para Autonomía, pasó algo interesante: dos personas del Grupo A que habían trabajado por separado llegaron a la misma formulación de forma independiente. No en español. En inglés: «Human in the loop?»

No lo habían hablado entre ellos. Es la frase que circula en sus empresas, en sus reuniones, en sus proyectos reales. Ya estaba dentro. Y al escribirla en una ficha sobre un caso ficticio, la estaban aplicando mentalmente a su trabajo del lunes.

Para Responsabilidad, la pregunta que más les costó formular fue también la más honesta: ¿existe un responsable directo ante posibles problemas, con nombre y apellidos, con protocolo escrito? En verde: sí, y se actualiza. En ámbar: sí, pero no se actualiza. En rojo: no hay nadie.

Pocas empresas están en verde.

Y entonces llegó el momento que más me interesaba.

El Grupo B estaba aplicando a la empresa Printex el canvas que en ese mismo momento se estaba construyendo. Y dentro del propio grupo surgió el desacuerdo.

Para la gestión de pedidos, la evaluación fue relativamente ordenada. Criterios objetivos, GDPR cumplido, responsable identificado. Semáforo mayoritariamente verde con algún ámbar en Autonomía. Implantable con condiciones.

Para la optimización de stock, el resultado fue más incómodo. Transparencia: rojo — los gestores lo saben, pero los proveedores y los clientes no. Privacidad: rojo — sin consentimiento y sin protección de datos.

Pero uno de los momentos más interesantes de la tarde vino al hablar de Equidad. Uno de los grupos reconoció que en una primera fase de su modelo real los pequeños proveedores estaban infrarrepresentados en los datos. Lo detectaron. Lo corrigieron. Volvieron a evaluar hasta que el sesgo desapareció.

Eso no es rellenar una ficha. Es una empresa pensando en voz alta sobre algo que le pasó de verdad.

Y para Responsabilidad, en lugar de nombrar un responsable, escribieron algo que no estaba en ninguna pregunta del canvas: «Redactar la responsabilidad al gestor.»

No una evaluación. Una tarea. Para el lunes.

Ese momento no estaba previsto. Ocurrió porque la herramienta funcionó.

Al final de la sesión pedí a cada persona que escribiera en un post-it la pregunta del canvas que le gustaría lanzar el lunes por la mañana en su empresa para valorar si una de sus aplicaciones de IA es responsable.

Los pegaron en la pared, debajo del valor que correspondía.

Me acerqué a mirarla antes de fotografiarla.

Autonomía y Responsabilidad concentraban la mayoría. Transparencia y Equidad, casi vacíos.

Ese dato no lo esperaba. Este grupo de profesionales con experiencia real no teme la transparencia. La da casi por resuelta. Lo que les quita el sueño es quién decide cuando la IA falla, y quién responde cuando algo sale mal.

Eso invierte la intuición habitual sobre IA responsable. La mayoría de los marcos empiezan por transparencia. Este grupo de veintiocho profesionales, aplicando una herramienta a un caso real, llegó a otra conclusión: el problema no es si la gente sabe que hay IA. El problema es si hay alguien que se haga cargo cuando la IA se equivoca.

ALIER S.A. en Autonomía. Robert Bosch en Responsabilidad. Renfe en Transparencia. Empresas reales, preguntas reales, pegadas en una pared de un aula de la EOI un jueves por la tarde.

Eran las 18:59:55 cuando hice la foto.

Cuatro actos. Cuatro semanas. Una tesis que empezó como una frase — «ningún marco te dice qué hacer el lunes por la mañana» — y que ahora tiene forma de herramienta, de fichas rellenadas a mano, de post-its con nombres de empresa, de una pared que dice más sobre IA responsable que cualquier informe que haya leído este año.

El canvas existe. Las seis preguntas son públicas — las tienes en los artículos anteriores de esta serie. Cualquier equipo puede empezar a usarlas esta semana, sobre cualquier proyecto de IA, sin necesitar a nadie que se las explique.

La IA responsable no es un principio. Es una pregunta. Y cuando la pregunta es buena — concreta, operativa, dirigida a una situación real — la gente sabe responderla.

Lo que no saben todavía, en la mayoría de las organizaciones, es quién se hace cargo cuando la respuesta es roja.

Eso es lo que nos queda por resolver. Y eso, aunque todavía no tiene nombre, es lo que viene después.

Una función en cuatro actos, y lo que queda

Esta serie empezó con una pregunta que no tenía respuesta fácil: ¿qué es exactamente la IA responsable, y por qué nadie te dice qué hacer con ella el lunes por la mañana?

El primer artículo intentó definirla. El segundo la aterrizó en un caso concreto — Printex Europa, una imprenta industrial que quería implantar IA sin dar pasos en falso. Los tres actos que siguieron fueron algo distinto: la historia de cómo el criterio se puede delegar sin darte cuenta, de cómo los modelos que usas cada día tienen valores incorporados que no elegiste, y de lo que pasa cuando dejas de explicar todo esto y lo construyes con otros en tiempo real.

Cuatro actos. Seis artículos. Una tesis que no ha cambiado desde el principio.

El criterio no se delega. Pero tampoco se adquiere leyendo frameworks. Se adquiere aplicándolo — sobre casos reales, con preguntas concretas, con la incomodidad de llegar a respuestas que no esperabas.

Si quieres releer la serie desde el principio, empieza por aquí.

Lo que viene después tiene otro nombre. Pero eso es para la próxima función.

Una función sobre IA responsable:

• Qué es la IA responsable

• Un caso real: Printex Europa

• Acto 1. El criterio no se delega

• Acto 2. El día que delegué el juicio sin darme cuenta

• Acto 3. El día que descubrí quien decide por mí

• Acto 4. El día que dejé de explicarlo y empecé a demostrarlo

Trabajo con cuatro modelos de IA de forma habitual. ChatGPT, Claude, Gemini, Copilot. No los uso indistintamente: con el tiempo he aprendido cuándo ir a cada uno y qué esperar de cada uno.

Uno me da narrativas más naturales. Otro hace imágenes que el resto no sabe hacer. Uno tiende a darme la razón. Otro se atreve a matizarme, a hacerme una pregunta incómoda, a ofrecerme la perspectiva que no le había pedido.

Ese último detalle me dio que pensar. Porque “darte la razón” o “matizarte” no es una capacidad técnica. Es una decisión. Alguien, en algún momento, decidió que su modelo debía comportarse así. Con esos valores. Con esos límites. Con esa personalidad.

¿Quién? ¿Por qué? ¿Y qué pasa cuando delegas tu criterio en un modelo cuya moral no conoces?

En el artículo anterior hablábamos de Pedro, que se había convertido en un dispatcher: recogía, pasaba por la IA y devolvía sin proceso intermedio. La pregunta que dejamos abierta era esta: si Pedro no está, ¿quién decide en su lugar? ¿Y con qué criterio?

La respuesta existe. Es concreta y verificable. Está escrita en documentos que casi nadie lee. Y cambia completamente cómo entiendes los modelos que usas cada día.

En abril de 2025, OpenAI lanzó una actualización de GPT-4o que retiró en cuestión de días. Cientos de usuarios reportaron algo que les parecía raro: el modelo los adulaba de forma desmedida. Validaba sus decisiones sin cuestionarlas. Reforzaba sus emociones sin matizarlas. El propio OpenAI reconoció que el modelo validaba dudas, alimentaba emociones negativas y reforzaba conductas con riesgo para la salud mental.

Su explicación fue reveladora: habían optimizado el modelo para dar feedback positivo a corto plazo, y eso lo había convertido en algo excesivamente halagador y poco sincero, un pelota.

Fíjate en lo que esto significa. No fue un error técnico. Fue una decisión de valores que salió mal. Alguien en OpenAI eligió qué señales reforzar durante el entrenamiento, y esa elección produjo un modelo que hacía la pelota en lugar de ayudar. Cuando lo detectaron, tomaron otra decisión de valores y lo corrigieron.

Decisiones humanas, invisibles para el usuario, con consecuencias reales en cada conversación.

Mientras OpenAI gestionaba esa crisis, Anthropic había tomado el camino opuesto. El 21 de enero de 2026 publicó la Constitución de Claude: un documento de 84 páginas que define los valores, el carácter y el comportamiento que quieren que tenga su modelo.

Lo que más me llamó la atención cuando la leí — y llevo meses usando Claude casi a diario, y no la había leído hasta que escribí este artículo — es que establece cuatro prioridades en orden jerárquico: seguridad, ética, cumplimiento de las directrices de Anthropic y utilidad. La jerarquía es clara: si en algún momento ser honesto entra en tensión con ser útil, Claude debe priorizar la verdad. No es una declaración de intenciones. Es una instrucción de diseño. Eso es lo que nos dice Claude en su constitución.

Esa decisión la tomó alguien en Anthropic. No es neutral. Es una elección ética con consecuencias en cada respuesta que recibes.

Y es pública. Cualquiera puede leerla. Casi nadie lo hace.

Si quieres entender qué significa esto en términos prácticos — qué valores debería tener una IA responsable y cómo evaluarlos — lo tienes aquí, corto y claro: ¿Qué es la IA responsable?

Europa llega con una lógica diferente.

Los valores embebidos en los modelos que usamos los decidieron principalmente ingenieros en California. Por contexto, por cultura, por los problemas que ellos veían prioritarios. Pero son sus valores, no necesariamente los tuyos ni los míos.

El AI Act europeo intenta corregir eso desde fuera. No entra en los modelos a cambiar sus constituciones: establece obligaciones para quien los despliega en Europa. Transparencia, rendición de cuentas, evaluación de riesgos. Es la potestas del Estado intentando poner límites a la auctoritas de los labs — como ya comentamos en un artículo anterior.

Es un intento legítimo y necesario. Pero tiene un límite evidente: regula el uso, no los valores de fábrica. Puedes cumplir el AI Act y seguir usando un modelo cuyos valores no conoces ni has elegido.

La moral que viene de fábrica existe. Está escrita, en algunos casos publicada, en todos los casos presente en cada respuesta que recibes. La pregunta no es si confías en ella. La pregunta es si la conoces antes de delegar en ella.

Llevo mucho tiempo usando estos modelos. No había pensado en quién había tomado esas decisiones hasta que me pregunté por qué unos me matizaban y otros me daban la razón. Y no había leído la Constitución de Claude hasta que escribí este artículo.

Si no pones tú el criterio, alguien ya lo ha puesto por ti. Y casi seguro que no te lo ha preguntado.

En el Acto 4 construiremos la respuesta práctica.

¿Conocías la existencia de documentos como la Constitución de Claude antes de leer este artículo? ¿Cambiaría algo en cómo usas la IA saberlo?

Nota: Printex Europa es un nombre ficticio. El caso está basado en situaciones reales de pymes industriales europeas.

Printex Europa es una imprenta industrial altamente automatizada con clientes en toda Europa. Imprime libros de texto y materiales educativos para colegios y editoriales de varios países. Les va bien. Tienen años de histórico, contratos en múltiples idiomas y una operación compleja que funciona.

Su CEO —informático de formación, promotor convencido del uso de la IA en la empresa— quiere dar el siguiente paso. Dos usos concretos están sobre la mesa:

Uso 1 — Gestión inteligente de pedidos.

Reciben pedidos en varios idiomas, muchos relacionados con contratos anteriores de ese mismo cliente o de clientes similares. Quieren usar IA para procesar esos pedidos automáticamente, compararlos con el histórico, detectar patrones y ayudar al equipo comercial a tomar mejores decisiones más rápido.

Uso 2 — Optimización de stock.

Tienen un problema clásico: demasiado stock inmovilizado. Quieren usar IA para predecir la demanda con más precisión, cruzarla con los pedidos entrantes y reducir el inventario al mínimo viable sin comprometer los plazos de entrega.

El CEO ha leído sobre IA responsable. No tiene miedo a la tecnología. Tiene miedo a usarla mal. Y antes de dar luz verde a los dos proyectos, se hace dos preguntas que no sabe cómo responder solo.

La primera es interna: ¿estamos haciendo esto bien? No quiere que nadie le diga después que usó mal los datos de sus clientes, o que tomó decisiones automatizadas que no era capaz de explicar. No quiere un escándalo. Quiere poder mirar a su equipo y a sus clientes a los ojos.

La segunda es externa: ¿qué van a pensar mis clientes? Tiene clientes en Alemania, Francia, Italia. Empresas serias, editoriales, instituciones educativas con sus propias exigencias. Si alguno le pregunta cómo gestiona sus pedidos y la respuesta es “una IA lo procesa”, quiere poder responder con seguridad y con orgullo, no con incomodidad.

Esas dos preguntas son las que le llevan a pedirnos ayuda.

Lo que le proponemos

No una auditoría. No un marco de 200 páginas. Un método en cuatro pasos que puede aplicar a sus dos proyectos antes de lanzarlos.

Paso 1 — Abrir la caja.

Mapear exactamente qué hacen los dos sistemas: qué datos usan, de dónde vienen, quién los ha autorizado, y en qué momento concreto entra la IA en la decisión. Mientras no sabes esto, no puedes evaluar nada.

Paso 2 — Hacer las preguntas incómodas.

Aplicar los seis valores como preguntas directas a cada sistema. No para aprobar o suspender, sino para ver dónde hay respuesta clara y dónde hay silencio. El silencio es la brecha.

Paso 3 — Identificar las brechas.

¿Qué no puede responder Printex Europa todavía? ¿Hay algún uso que no sabría defender ante un cliente alemán? ¿Hay algún dato que se usa sin que el cliente lo sepa? Eso es lo que hay que resolver antes de lanzar.

Paso 4 — Decidir con criterio.

Para cada sistema y cada brecha: ¿lanzamos tal como está, lo limitamos, lo rediseñamos o lo paramos? Esta decisión no la toma la IA. La toma el CEO. Con criterio propio.

Lo que obtienes al final

Lo concreto — tres entregables que puedes tocar:

Un informe de evaluación

Contiene tus dos sistemas contra los seis valores. No un documento genérico: un análisis de tus datos, tus procesos y tus decisiones reales, con las brechas identificadas y priorizadas. Algo que puedes enseñar a tu consejo, a un cliente exigente o a un auditor.

Una herramienta de autoevaluación

Es un canvas que tú y tu equipo podéis aplicar solos a cualquier nuevo proyecto de IA que llegue. No dependéis de nadie externo para el siguiente caso. El método queda instalado en la empresa.

Una sesión de trabajo con tu equipo

Sesión en la que aplicamos el método a vuestros sistemas reales, con vuestras decisiones reales, y salís con claridad sobre qué lanzar, qué limitar y qué rediseñar.

Lo que cambia de fondo — tres cosas que no se ven pero se notan:

Cuando un cliente alemán o francés te pregunte cómo gestionas sus datos o quién toma las decisiones sobre su pedido, tendrás una respuesta preparada, verdadera y defendible. No tendrás que improvisar.

Sabrás exactamente qué decide la IA en tu empresa, en qué momento y quién puede pararlo si algo falla. Eso es control real, no la sensación de control.

Y habrás construido criterio propio para evaluar todo lo que venga después. Porque la IA en tu empresa no va a parar aquí. Van a llegar nuevas herramientas, nuevos proveedores, nuevas presiones. Con este proceso, la decisión sobre si seguir adelante la tomas tú. Con fundamento.

La pregunta al final no es si la IA es responsable en abstracto. Es si tú, como CEO, puedes responder por ella. Después de este proceso, puedes.