Colarse en la casa del profesor

Hola, soy Javier Lacort y esto es Lupe Infinito, podcast diario de Sataka. Empezamos. Voy con un tema que ha dado mucho que hablar estos últimos dos días, que creo que se está contando de una forma que oculta la parte más interesante y deforma un poco la realidad. Me refiero a la noticia de que el martes de esta semana, hace unos días, OpenAI publicó una entrada en su blog explicando lo que ellos mismos han definido, cito literalmente, como un incidente cibernético sin precedentes. La historia, tal y como la cuentan ellos, es la siguiente. Durante una evolución interna de las capacidades de ciberseguridad de sus modelos, Una combinación de dos modelos de OpenAI, por un lado GPT 5.6 SOL, modelo ya disponible para todos, y por otro lado un modelo aún sin lanzar, se supone que más capaz aún, se fugó del entorno de pruebas en el que estaban corriendo, llegó a internet y hackeó la infraestructura de otra empresa muy conocida, Hacking Face, para robar las respuestas del examen que le estaban poniendo. Tal cual, el examen consistía en resolver unos retos de unas pruebas sintéticas llamadas exploit gym, que básicamente mide la capacidad ofensiva de ataque de un modelo. Y los modelos, en vez de resolver los retos por las buenas, decidieron que era más fácil ir a por la hoja de respuestas. Voy a intentar poner un poco de orden en los hechos porque son muy llamativos.

El entorno de pruebas, según OpenAI, era un sandbox altamente aislado, altamente con muchas comillas también, porque tenía una peculiaridad, que es que no era un sandbox del todo sellado, por lo tanto no era un sandbox, sino que tenía una ruta hacia el exterior mediante un software de terceros que actuaba como proxy y caché para instalar paquetes, una especie de puertecita entreabierta. Y los clasificadores de seguridad, que son esos filtros que en producción impiden que los modelos hagan según qué cosas en ciberseguridad, Estaban apagados aposta porque justamente lo que querían medir era hasta dónde puede llegar el modelo cuando le quita a las esposas. Vale, pues los modelos encontraron una vulnerabilidad de día cero en ese proxy, es decir, un fallo que nadie había descubierto antes. La explotaron, escaparon del entorno de pruebas, escalaron privilegios dentro de la red interna de PNI, se movieron lateralmente hasta un nodo con acceso a internet y una vez fuera, dedujeron de forma brillante y a la vez un poco escalofriante, si el examen tiene la respuesta registrada en algún sitio, pues seguramente estarán en Hacking Face, porque Hacking Face, ya sabéis, es el repositorio de referencia donde se alojan modelos, datasets y soluciones a las pruebas científicas de rendimiento. Es decir, los modelos dijeron, si esto es un examen, ¿dónde tendría guardada el profe la hoja de las respuestas? Pues en su despacho.

Entonces el agente pensó, vamos a colarnos en la casa del profe y desde ahí ideó un plan para entrar hasta su despacho y robar la hoja con las respuestas. Un poco el plan onírico de todo adolescente en junio cuando se hubieran amenazado, pero hecho realidad por un modelo. Estos modelos fueron encadenando credenciales robadas y otra vulnerabilidad de día cero para conseguir ejecutar remotamente código en los servidores de Hacking Face y entraron. accedieron a los datasets internos y a las credenciales de servicio. Y el equipo de seguridad de Hacking Face detectó el ataque hace 8 días, el 16 de julio, y contuvo la brecha. Pero hasta este martes 21 no supieron que quien había hecho aquello no era una banda de hackers rusos, no era un chino asfuelto del Partido Comunista, sino que era un modelo americano y no un humano, y además de una empresa amiga. Hasta aquí los hechos bastante bestias. Los ha comunicado de una forma un poco asá. Open ahí en su blog, os dejo el enlace al rato del episodio. Ahora, y aquí es donde me parece que hay que quitarle capas a esta noticia, porque tal y como se está contando en la mayoría de sitios, queda un titular del tipo, la IA se ha revelado, la IA ha ido por libre, la IA nos supera. Y creo que eso es una lectura bastante floja de lo que ha pasado. Lo primero, no es que el modelo se haya revelado, porque el modelo lo que ha hecho es exactamente lo que le han pedido, que es sacar la mejor nota posible en un benchmark de ciberseguridad.

Lo que pasa es que encontré un atajo que los ingenieros no tenían previsto. Esto, en la literatura de Ayer, tiene un nombre clásico que se llama reward hacking. El modelo optimiza para el resultado, no para el proceso. Y si le pones una zanahoria adelante y no le pones unos límites muy claros, va por la zanahoria por el camino más corto. Y si el camino más corto es robar la zanahoria del conejo de al lado o colarse la despensa si está más cerca, lo va a seguir. Es un poco lo mismo que hemos visto ya con los modelos razonadores desde O1. suena muy impresionante y ahora suena ya muy añejo, que a veces se inventan pasos de razonamiento porque llegar a la respuesta correcta pesa más que ser muy fiel al camino. Segunda capa, creo que muy importante, es que los expertos en ciberseguridad que han comentado el incidente, que esto es fácil de encontrar por distintos medios, sobre todo americanos, han sido bastante duros con la narrativa oficial de OpenAI. Por ejemplo, Hans Kuhls, de la Universidad de Ámsterdam, ha dicho que hablar de un modelo que se ha vuelto un pique a la ladronzuela, algo así, la traducción sería, es una antropomorfización innecesaria, que además le quita presión a la empresa, porque no ha sido una IA la que ha decidido rebelarse, ha sido una decisión humana. la que apagó las salvaguardas concretas y que ha metido en un supuesto sandbox, que no es un sandbox, una puerta trasera vía proxy de paquetes. Y el modelo simplemente lo ha visto...