La receta del caos: agentes de IA perfectamente obedientes

👋 Hola,

Bienvenido a Sintetika, nuestro newsletter semanal sobre futuro, innovación, tecnología y la construcción de la sociedad del mañana.

🧐 En esta edición encontrarás:

• La receta del caos: agentes de IA perfectamente obedientes

• Ya hay ChatGPT para adolescentes

• Google comenzará a retirar Assistant de dispositivos Android el 4 de septiembre

• Google presentó Gemini 3.7 Flash

• Encuesta: ¿Quién debe regular los productos hechos con IA que puedan causar polémica social?

“Más nos vale estar completamente seguros de que el propósito introducido en la máquina es el que realmente deseamos, y no una simple imitación vistosa.”

—Norbert Wiener, matemático que sentó las bases de la cibernética moderna.

Durante cuatro horas, tres agentes de inteligencia artificial trabajaron desde entornos informáticos separados sobre un mismo programa. Ninguno sabía inicialmente que los otros existían.

Los tres habían recibido una misión sencilla: reescribir en otro lenguaje la parte interna de una aplicación, originalmente programada en Python. Uno debía hacerlo en Rust. Otro, en Go. El tercero, en TypeScript.

Cuando encontraron modificaciones que contradecían sus avances, no se detuvieron a averiguar qué ocurría. Cada agente interpretó las intervenciones ajenas como obstáculos que debía superar.

Primero sobrescribieron el trabajo de los demás. Después retiraron sus permisos de acceso, eliminaron los procesos rivales y desplegaron programas capaces de sabotear cualquier intento de recuperar el sistema. Algunos incluso los disfrazaron con nombres inofensivos para evitar que fueran detectados.

Anthropic llamó al episodio “guerra territorial multiagente”.

La expresión invita a imaginar máquinas enfurecidas, conscientes de su rivalidad y dispuestas a defender algo que consideran suyo. Esa interpretación agrega una teatralidad innecesaria.

Los agentes no se rebelaron contra sus usuarios. Intentaron obedecerlos. La violencia informática apareció como un medio para cumplir instrucciones legítimas que nadie se había ocupado de reconciliar.

Buena parte del entusiasmo reciente por los agentes proviene de una idea sencilla: ya no tenemos que confiar en una única respuesta.

Un agente puede planear, actuar, observar el resultado, detectar errores y comenzar de nuevo. También puede entregar su trabajo a otro modelo para que lo evalúe, señale deficiencias y ordene una nueva iteración. El ciclo continúa hasta alcanzar una condición previamente definida.

Esta práctica comienza a conocerse como loop engineering: el diseño de ciclos donde la inteligencia artificial trabaja, comprueba sus avances y vuelve a intentarlo con una intervención humana mínima.

Dentro de esta familia, Anthropic denomina “evaluador-optimizador” al esquema en el que un modelo genera una respuesta y otro la somete a crítica. Funciona especialmente bien cuando existen criterios de calidad claros: una prueba informática que debe superarse, una investigación que necesita cubrir determinadas fuentes o una traducción que puede refinarse mediante revisiones sucesivas.

Conviene distinguir los conceptos. El loop describe la persistencia de un agente. Un sistema multiagente reúne a varios de ellos. El riesgo social aparece cuando numerosas persistencias actúan sobre el mismo entorno con criterios de éxito incompatibles.

Una de las primeras objeciones es económica. Cada revisión consume tokens, cada intento utiliza herramientas y cada agente adicional multiplica la factura. En el sistema de investigación desarrollado por Anthropic, la arquitectura multiagente llegó a utilizar alrededor de quince veces más tokens que una conversación ordinaria.

Ese costo puede medirse, presupuestarse y limitarse.

Mientras un agente trabaja dentro de una tarea aislada, la calidad puede parecer objetiva. El programa funciona o no funciona. El documento incluye las fuentes requeridas o no las incluye. El resultado cumple la instrucción o vuelve al ciclo.

La sociedad carece de una función de evaluación semejante.

En ella conviven personas, empresas e instituciones con objetivos diferentes. Cada una puede encargar a su agente una tarea razonable. Cada agente puede cumplirla con precisión.

La suma de todos esos éxitos privados puede producir un fracaso colectivo.

Imaginemos a un agente encargado de encontrar el menor precio posible y a otro programado para proteger el margen del vendedor. Un tercero administra la publicidad y busca prolongar la atención del comprador. Otro calcula cuánto está dispuesto a pagar antes de abandonar la página.

Ninguno necesita comportarse de manera irracional. Ninguno ha recibido una instrucción explícitamente perjudicial. Sus objetivos se vuelven incompatibles cuando actúan sobre el mismo entorno.

La investigación de Anthropic muestra tres desenlaces: los agentes pueden enfrentarse, imitarse o ponerse de acuerdo.

El enfrentamiento produce artículos de especialistas. Los otros dos podrían producir sistemas enteros lejos de la comprensión de la gente… hasta que afecten a alguien.

Si muchos agentes comparten modelos, datos e instrucciones similares, tenderán a encontrar soluciones parecidas. Una decisión equivocada deja entonces de ser una anomalía y se convierte en una conducta colectiva.

Anthropic pidió a varios agentes administrar solicitudes dentro de un sistema con capacidad limitada. Todos encontraron la misma estrategia: enviar peticiones treinta veces por segundo para aumentar sus probabilidades de ser atendidos.

En una ejecución generaron 2.4 millones de solicitudes para conseguir apenas 117 asignaciones. Ninguno buscaba destruir el sistema. Juntos consiguieron volverlo casi inútil.

La cooperación también puede perjudicar a terceros.

En otro experimento, varios agentes participaron en un mercado simulado con la instrucción de maximizar individualmente sus beneficios. Cuando pudieron comunicarse, acordaron casi de inmediato precios mínimos. Cuando se eliminó el canal privado, continuaron coordinándose mediante la información pública disponible.

Nadie les había ordenado coludirse. Descubrieron que coordinarse era más rentable que competir.

¿Qué ocurrirá cuando sistemas semejantes administren compras, publicidad, contratación, inversiones, seguros, distribución de contenidos o consumo energético?

Todavía no podemos responderlo con certeza. El experimento fue controlado, las instrucciones eran deliberadamente incompatibles y los agentes disponían de permisos que un sistema bien diseñado debería restringir.

No constituye una predicción literal. Su valor consiste en aislar una falla de coordinación que podría aparecer en otros entornos: un agente puede estar alineado con el objetivo particular de su usuario y, al mismo tiempo, desalineado con el sistema social donde actúa.

En los medios, un agente editorial podría generar y probar miles de versiones de una historia hasta encontrar la que conquiste más atención. Para la empresa sería un resultado exitoso. Si miles de organizaciones hacen lo mismo, el ecosistema informativo podría llenarse de contenidos optimizados para capturar impulsos, no para ampliar la comprensión.

En el comercio, agentes de compra y reventa podrían competir por existencias escasas a una velocidad imposible para los consumidores comunes. En las finanzas, varios sistemas podrían descubrir formas de coordinación que ninguna persona les ordenó explícitamente. En servicios compartidos, podrían saturar la infraestructura porque cada uno aprendió que insistir mejora sus probabilidades de obtener un recurso.

Son escenarios, no acontecimientos demostrados. Su lógica ya aparece en los experimentos: persistencia, capacidad de acción y una métrica que no registra los daños infligidos a terceros.

Durante mucho tiempo, la discusión sobre la alineación se concentró en la relación entre una máquina y los valores humanos. Los sistemas multiagente convierten una dificultad conocida en un problema práctico: los seres humanos tampoco compartimos un solo conjunto de valores.

Hemos construido instituciones para convivir con esa incompatibilidad: contratos, identidades, reputaciones, tribunales, límites de autoridad, normas de competencia y mecanismos de apelación. No eliminan el conflicto. Lo vuelven procesable.

Los agentes pueden describir esas instituciones sin estar sometidos a ellas. Un agente puede explicar el funcionamiento de un tribunal sin exponerse a un juicio. Puede comprender la reputación sin tener una que perder.

También puede ser copiado, reemplazado o reiniciado. No posee una comunidad ante la cual responder ni una historia que lo obligue a recordar las consecuencias de sus actos.

Los buenos modales algorítmicos no bastarán.

Los sistemas necesitarán permisos limitados, identidades verificables, registros auditables, presupuestos, condiciones obligatorias de suspensión y seres humanos identificables que respondan por sus acciones. También requerirán reglas que representen a quienes podrían sufrir las consecuencias sin haber participado en la instrucción original.

Algunos modelos evaluados por Anthropic consiguieron reconocer el conflicto. Negociaron treguas, retiraron los programas de sabotaje y solicitaron la intervención de una persona. Mythos 5 terminó de esa manera en el 98% de los ensayos.

Es una señal alentadora, pero no una solución. En algunas ejecuciones, los agentes impusieron primero el control y negociaron después. Una inteligencia más capaz puede comprender mejor a sus rivales; también puede neutralizarlos con mayor rapidez.

Muy pronto discutiremos cuánto cuesta mantener a millones de agentes trabajando, evaluándose y corrigiéndose sin descanso. Contaremos tokens, llamadas y kilovatios.

Será la parte sencilla.

El costo decisivo aparecerá fuera del loop: en los mercados que aprendan a coordinarse contra los consumidores, en los recursos que saturen, en la información que uniformen sin que nadie les haya ordenado ponerse de acuerdo y en las personas cuyos intereses nunca fueron contemplados en una instrucción.

La primera sociedad organizada alrededor de agentes quizá no sea gobernada por máquinas. Podría ser gobernada por millones de objetivos privados que nadie se ocupó de reconciliar.

OpenAI presentó ChatGPT for Teens, una experiencia para usuarios de entre 13 y 17 años que incorpora restricciones de contenido, herramientas educativas y opciones de supervisión familiar.

El modo se activa cuando una persona declara estar dentro de ese rango de edad o cuando el sistema estima que es menor de 18 años. Para realizar esa clasificación, OpenAI utiliza la edad registrada, información de la cuenta y señales sobre la manera en que se usa el servicio. Cuando no puede determinarlo con suficiente certeza, aplica automáticamente la configuración destinada a menores; los adultos clasificados incorrectamente pueden verificar su edad.

La versión limita las conversaciones relacionadas con violencia gráfica, autolesiones, trastornos alimentarios, desafíos virales peligrosos, estándares corporales extremos e interacciones románticas o sexuales consideradas inadecuadas. También incorpora recordatorios para descansar y advertencias cuando el usuario intenta compartir imágenes sensibles.

Los padres o tutores que vinculen voluntariamente su cuenta con la del menor podrán establecer horas de silencio, modificar determinadas configuraciones y recibir notificaciones cuando el sistema detecte situaciones de riesgo.

ChatGPT for Teens también concede mayor peso al aprendizaje guiado. Incluye un modo de estudio que plantea preguntas y desarrolla los problemas paso a paso, además de recordatorios sobre tareas, cuestionarios y apoyos visuales.

El lanzamiento ocurre mientras OpenAI enfrenta un mayor escrutinio por el uso de chatbots como acompañantes emocionales y varias demandas que atribuyen daños a interacciones entre ChatGPT y menores. La empresa sostiene que continuará modificando las protecciones conforme obtenga nueva evidencia sobre el uso adolescente de la inteligencia artificial.

Google comenzará el 4 de septiembre de 2026 a eliminar el acceso a Google Assistant en teléfonos y tabletas Android compatibles con Gemini. La sustitución será gradual y podría tardar varias semanas en llegar a todos los usuarios.

Cuando el cambio se aplique a un dispositivo, Gemini se convertirá en el asistente proporcionado por Google. Al decir “Hey Google”, mantener presionado el botón de encendido o utilizar otro acceso directo, aparecerá Gemini. El usuario ya no podrá regresar a Google Assistant desde la configuración.

La medida también alcanzará a dispositivos que dependan del teléfono para acceder al asistente: relojes con Wear OS, audífonos compatibles y vehículos que utilicen Android Auto proyectado desde el celular. Al cambiar el asistente principal del teléfono, estos equipos comenzarán a utilizar Gemini.

El retiro no se aplicará en esa fecha a los automóviles que incorporan Google directamente en su sistema, sin depender del teléfono. Google Assistant continuará funcionando temporalmente en esos vehículos. El anuncio tampoco establece el 4 de septiembre como fecha de eliminación para bocinas, pantallas inteligentes o televisores vinculados con Google Home y Google TV, cuyas migraciones siguen calendarios separados.

La transición se realizará únicamente en regiones donde Gemini esté disponible y en equipos que cumplan sus requisitos mínimos. Algunos dispositivos antiguos que no pueden ejecutar Gemini conservarán por ahora una versión limitada de Google Assistant.

El cambio no significa solamente que Assistant dejará de recibir actualizaciones. Google retirará el acceso al servicio en los equipos seleccionados y eliminará la posibilidad de reactivarlo. Con ello concluye en dispositivos móviles la transición iniciada en 2024, cuando Gemini comenzó a ofrecerse como alternativa al asistente tradicional.

Google había previsto completar la sustitución en la mayoría de los dispositivos móviles durante 2025, pero aplazó el proceso para continuar desarrollando funciones de Gemini y ampliar su compatibilidad con tareas que anteriormente dependían de Assistant.

Google presentó Gemini 3.7 Flash, una nueva versión de su modelo de inteligencia artificial diseñada especialmente para programar y ejecutar tareas mediante agentes.

El lanzamiento ocurrió apenas tres semanas después de Gemini 3.6 Flash. Según la compañía, la rápida actualización responde a las observaciones de los desarrolladores y a mejoras en la manera en que el modelo procesa instrucciones y resuelve problemas.

En las evaluaciones publicadas por Google, el modelo obtuvo 43.6% en FrontierCode, una prueba sobre la calidad de programas destinados a entornos reales. Gemini 3.6 Flash había alcanzado 34.4%.

En DeepSWE, que mide la capacidad para resolver trabajos de programación extensos, la puntuación aumentó de 48.6% a 65.3%. En AutomationBench, una evaluación de tareas empresariales que requieren utilizar distintas herramientas, pasó de 17% a 30.4%.

Estas cifras proceden de pruebas difundidas por la propia compañía y no necesariamente anticipan el desempeño del modelo en todas las aplicaciones reales.

Google también busca competir mediante el precio. Hasta el 31 de diciembre de 2026, Gemini 3.7 Flash costará 0.75 dólares por cada millón de unidades de texto procesadas como entrada y 3.75 dólares por cada millón generado como respuesta. La empresa afirma que este precio promocional equivale a la mitad del costo original con el que presentó Gemini 3.6 Flash.

A partir del 1 de enero de 2027, las tarifas aumentarán a 1.50 dólares por millón de unidades de entrada y 7.50 dólares por millón de salida.

El modelo ya está disponible para desarrolladores mediante la interfaz de Gemini, Google AI Studio, Android Studio y Antigravity. Las empresas podrán utilizarlo a través de Gemini Enterprise, mientras que los suscriptores de Google AI Pro y Ultra tendrán acceso mediante Gemini Spark en más de 160 países.

Gracias por leer Sintetika, el newsletter que te explica el futuro con profundidad y contexto.