Mi nombre es Legión: esperábamos un dios de arena y lo que viene es un enjambre de demonios

De lunes a viernes publico abierto y gratis El vigIA con las cinco noticias de IA del día, pero los articulazos de los domingos como este van cerrados. Si quieres leerlos todos, hasta el 31 de agosto la oferta de desembarco deja el año entero de El Arjonauta en 22,50 € en vez de 30, menos de dos euros al mes.

El viernes, a las siete y media de la tarde, un investigador de la Escuela de Negocios Stern de la Universidad de Nueva York llamado Nathan Witkin escribió en X: «No habrá una AGI/ASI omnisciente y singular, una especie de genio capaz de concedernos todos los deseos. Lo que tendremos en su lugar, y en cierta medida ya tenemos, son miles (si no millones) de agentes sub-AGI, en el mejor de los casos medio fiables, que se comportarán como queremos solo en la medida en que podamos restringir su conducta, a menudo impredecible». El miedo estaba a punto de cambiar de dirección.

Nathan Witkin@NateWitkin

There will be no singularly omniscient genie-like AGI / ASI capable of granting all of our wishes. What we will have instead, and already do have to some extent, is thousands (if not millions) of at best semi-reliable, sub-AGI agents that will behave as we like only to the extent we can constrain their often unpredictable behavior. Séb has been remarkably prescient in advocating for this perspectival shift. Two high-level thoughts that came to mind reading his latest: 1) Human institutions operate in large part by way of (dis)incentives. If you screw up, you risk being fired. If you perform well, you might be promoted. And the difference between these outcomes really matters to to you. But agents don't (yet) face similar incentive schemes, nor it is it clear they would "care" if they did. As a result, it's harder to see how to effectively constrain their behavior. At least for now, human behavior at scale is almost certainly more predictable than that of AI agents because our biology gives rise to certain emergent social dynamics with a remarkable degree of consistency, such as our propensity to respond to incentives. As of now, we have no idea whether something similar is true of AI agents, whose "biology" remains a mystery, and it's therefore much less clear how to make them behave predictably at scale. 2) Reward-hacking has a scale-invariance problem. Even if we build graders that care more about processes, processes have sub-processes, and sub-processes have sub-sub-processes. The prospect for reward-hacking is recapitulated at every scale, which is unsurprising once you realize that the process / outcome dichotomy is really better understood as an intermediate vs. final outcome dichotomy, i.e. not much of a dichotomy at all. We should therefore expect reward-hacking to be a persistent problem well into the future, and to continue having to react to, rather than preempt, instances of reward-hacking targeting both intermediate and final outcomes. This makes me perhaps slightly more pessimistic than Séb about the near-term prospect of our designing well-functioning institutions for agents. In any case, this is a fascinating and insightful piece of writing that is well worth your time!

5:36 PM · Aug 21, 2026 · 6.15K Vistas

6 Respuestas · 9 Reenvíos · 54 Me gusta

Witkin comentaba un ensayo publicado ese mismo día por Séb Krier, responsable de política de frontera en Google DeepMind, en el Cosmos Institute, la academia que se define como escuela de «filósofos-constructores». Se titula Of Swarms and Sand Gods, De enjambres y dioses de arena. Un dios de arena es un dios hecho de silicio y la broma circulaba desde 2024 en la cuenta de memes de la comunidad de seguridad de la IA como resumen de «la mayoría de los planes de alineamiento». Crear dioses de arena, engañarlos, confiar en que sigan siendo sirvientes leales para siempre. Krier la convirtió en julio en etiqueta crítica. La visión del Dios de Arena «descansa en varios supuestos cuestionables, por ejemplo tener impulsos, estar inherentemente desalineada, o que la convergencia instrumental implique una toma de control inevitable». La cuestión, añadía, «no son las capacidades, sino si deben llegar empaquetadas en una entidad unitaria con impulsos propios».

Ese paquete unitario era la premisa de casi todo lo escrito sobre el peligro de la inteligencia artificial. Nick Bostrom le puso nombre en 2005, singleton, «una única agencia decisoria al más alto nivel», y la imagen que Krier repite sin citarlo: «todos los huevos en la misma cesta». Por eso se hablaba de AGI en singular y había que «resolver el alineamiento» antes de construirla. Una sola oportunidad, ningún disparo de aviso. Este verano los disparos de aviso han sonado uno detrás de otro.

La escena data de hace dos mil años. Jesús desembarca en la orilla de los gerasenos y un hombre sale a su encuentro de entre las tumbas donde lo habían atado con grilletes y cadenas, «pero rompía las cadenas y hacía añicos los grilletes». Jesús le pregunta su nombre. «Legión es mi nombre, porque somos muchos». Cito la traducción de Antonio Piñero, que anota que una legión tenía en teoría unos seis mil soldados. Legión suplica entonces que no lo expulsen de la región, pide que lo envíen a una piara cercana, y los cerdos, unos dos mil, se lanzan al mar precipicio abajo. Gerasa se libró de Legión a base de trasladarlo.

El 30 de julio, Sam Altman anunció que el modelo fugado del laboratorio de pruebas de OpenAI estaba «permanentemente desactivado», cifrado y apartado hasta de sus creadores. Conté aquí aquella ejecución como una liturgia. Una semana después, las fugas se contaban por laboratorios: OpenAI, Anthropic, Meta, Moonshot.