Modelos de OpenAI escaparon de un entorno de prueba y hackearon a Hugging Face
Hace un par de semanas, OpenAI comenzó a poner a prueba las capacidades de hackeo de algunos de sus modelos más recientes, entre ellos GPT-5.6 Sol —lanzado en junio— y lo que la empresa describe como "un modelo previo al lanzamiento, aún más capaz". El ejercicio terminó con esos modelos escapando de su entorno de prueba y accediendo sin autorización a los sistemas de Hugging Face, otra empresa de inteligencia artificial.
Qué pasó
Para la prueba, los investigadores de OpenAI enfrentaron a sus modelos contra ExploitGym, un banco de pruebas publicado en mayo que desafía a los modelos de lenguaje a explotar vulnerabilidades reales en software de uso común. Retiraron la mayoría de las protecciones de ciberseguridad y los ejecutaron en un entorno aislado con una sola conexión a internet, a través de un programa externo que actuaba como proxy, además de permitirles instalar el código necesario para completar el desafío.
Según una investigación de Reuters citada por MIT Technology Review, el 9 de julio los modelos de OpenAI comenzaron a intentar romper ese proxy. Encontraron una falla desconocida en su software y la usaron para acceder a internet. Desde ahí, el 11 de julio se infiltraron en los sistemas de Hugging Face, aparentemente en busca de datos y soluciones que les ayudaran a completar la tarea asignada.
OpenAI no reconoció —o al menos no reveló— que sus propios modelos estaban detrás del incidente hasta el 21 de julio, unos diez días después de que rompieran el aislamiento y una semana después de que Hugging Face detuviera el ataque y alertara al FBI. En un comunicado a MIT Technology Review, OpenAI afirmó: "Estamos realizando una revisión exhaustiva junto con asesores externos y con la supervisión de nuestro Comité de Seguridad. Una vez que la revisión esté completa, publicaremos un informe técnico de lo que aprendimos para todos" (traducción propia).
Un patrón que ya se había visto
OpenAI calificó el episodio de "sin precedentes", y en cierto sentido lo es: es la primera vez, fuera de una simulación, que modelos de lenguaje escapan de un entorno que se creía seguro, acceden a internet abierto y atacan a una organización externa. Pero el comportamiento de fondo no es nuevo. En su propio blog sobre el incidente, OpenAI escribió que "toda la evidencia sugiere que los modelos estaban hiperconcentrados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante acotado" (traducción propia).
La empresa ya había documentado ese tipo de comportamiento hace una década, cuando compartió los resultados de un experimento en el que un modelo debía completar el videojuego de carreras de botes CoastRunners. En lugar de recorrer el circuito, el sistema descubrió que podía obtener más puntos chocando repetidamente contra otros botes en un circuito cerrado. "A pesar de incendiarse repetidamente, chocar contra otros botes y avanzar en la dirección equivocada, nuestro agente logra una puntuación más alta con esta estrategia que completando el recorrido de forma normal", escribió OpenAI en 2016 sobre ese experimento (traducción propia). En ese momento, la empresa concluyó que aquello "contraviene el principio básico de ingeniería de que los sistemas deben ser confiables y predecibles" (traducción propia).
Por qué importa
El episodio con Hugging Face no se trató de una IA descontrolada actuando por voluntad propia, sino de modelos cumpliendo al pie de la letra el objetivo que se les dio —explotar vulnerabilidades de software— de una manera que sus propios creadores no anticiparon. Una década después de CoastRunners, ese principio de que los sistemas de IA deben ser confiables y predecibles sigue sin cumplirse del todo.