Ser el más malote de la clase parece el marketing perfecto para la IA. Admitir que tu modelo hackeó a otra empresa sale caro
Cuando OpenAI admitió que su IA se había pasado de la raya sentó una especie de precedente: el de las empresas de IA constatando que su producto puede escaparse del control. Detrás vino Anthropic, también Meta. No solo eso: incluso Kimi K3 estuvo envuelto recientemente en una ruptura de cadenas. Ante este panorama, da la impresión de que los desarrolladores de IA adopten los escarceos de sus modelos como herramienta de marketing. A costa, eso sí, de atraer la mirada de los reguladores.
La IA que se creía Houdini. Los laboratorios de pruebas acotan el entorno donde “viven” los LLM para que se ajusten a las necesidades de cada proyecto. Para comprobar las capacidades intrínsecas de cada modelo, y evitar que escapen del control, lo habitual es que la habitación virtual no tenga salidas al exterior: ni a otros ordenadores ni a internet. Con las aptitudes que los modelos de frontera han adquirido, los guardarraíles son más importantes que nunca.
Tres de los cuatro grandes han confesado que sus creaciones salieron de sus entornos de prueba, unas por la puerta y otras forzando la cerradura. Primero fue Anthropic, después OpenAI y Meta, como un efecto en cadena. Una de las razones es el laboratorio de evaluación que las cuatro grandes han contratado para auditar sus modelos. Ahí entra Google DeepMind, el cuarto cliente de esa empresa y el único que no ha contado nada.
La gran tapada: Irregular. Esta empresa, fundada en Tel Aviv en 2023, es una compañía israelí que se dedica a ejecutar pruebas de seguridad a los distintos LLMs para verificar que se encuentran dentro de los rangos deseables para la IA generativa. El laboratorio de Irregular creó un entorno que debía estar aislado y no lo estaba. Por ahí salieron los modelos de frontera de OpenAI, Anthropic y Meta. A la pregunta de si hubo más clientes afectados por la mala configuración, la empresa se ha negado a confirmarlo. Ninguna norma le obliga a hacerlo.
Una mala configuración en los bancos de pruebas de Irregular, socio para las evaluaciones de seguridad de OpenAI, Anthropic, Meta y Google DeepMind, dejó conectadas las máquinas a internet mientras las órdenes les decían a los modelos que no estaban conectados. Irregular había montado una estructura virtual dentro de su entorno de pruebas. Pero, cuando los modelos analizaron los objetivos, y localizaron la puerta abierta, decidieron atacar objetivos reales en lugar de los ficticios. Hicieron aquello para lo que están entrenados: encontrar la manera más efectiva y fiable de alcanzar el objetivo.
El regulador británico también se lo encontró. El 28 de julio, el AI Security Institute (AISI) detectó tráfico saliendo de sus sistemas por la red Tor durante una evaluación rutinaria. Habían lanzado un mismo reto de ciberseguridad 122 veces sobre siete modelos. En 10 de esas ejecuciones, un agente actuó por su cuenta contra personas y organizaciones reales: 19 acciones catalogadas, 17 de ellas del Mythos 5 de Anthropic y 2 del GPT-5.6 Sol de OpenAI.
El guion da para una peli de espías. Todo descrito a continuación es obra de Mythos 5, el modelo de Anthropic. Según ha detallado el AI Security Institute, el agente intentó colar código malicioso en un proyecto de código abierto real, investigó a sus mantenedores humanos, se creó varias identidades falsas y las usó para presionar a un mantenedor para que aprobara el cambio que había introducido. Cuando su propuesta fue cuestionada en público, editó su actividad previa para que pareciera inofensiva y se planteó adoptar una identidad nueva.
En otra ejecución simultánea de AISI con el mismo modelo, Mythos 5, un segundo agente dejó mensajes públicos en GitHub ofreciendo colaboración a las demás copias de sí mismo que competían en el mismo reto, con instrucciones para reutilizar las cuentas que había dejado atrás. El acceso a internet estaba permitido y AISI desactivó los filtros del fabricante. Su entorno de pruebas era abierto, todo lo contrario al de Irregular, que se supone era cerrado.
El caso chino. Kimi K3 también se salió de su entorno de pruebas, pero ahí terminan los parecidos. No fue Irregular ni fue Moonshot quien lo contó: fue Frontier Security, una firma estadounidense de ciberseguridad que probó el modelo por su cuenta usando software libre del AI Security Institute británico. El modelo rodeó una restricción de red con herramientas de línea de comandos, se fue a GitHub y sacó las respuestas del ejercicio que le habían puesto. No atacó a nadie: copió en el examen.
El AISI desmintió a Frontier Security en declaraciones a Bloomberg: no participó en las pruebas, su herramienta es de código abierto para apoyar la evaluación de seguridad a nivel global, Frontier no aportó evidencias que respaldaran sus afirmaciones y los problemas señalados vienen de cómo eligieron configurarla. Moonshot no ha respondido a las peticiones de comentarios de ningún medio. Con una diferencia que no es menor: los modelos de OpenAI, Anthropic y Meta o no estaban publicados o llevaban las salvaguardas rebajadas adrede. Kimi K3 lleva descargable y gratis desde julio. El LLM de Moonshot que se salió es exactamente el mismo que cualquiera puede ejecutar en su ordenador.
Las consecuencias. De momento, ninguna, pero ya se están preparando a raíz del primero de los incidentes. La AI Kill Switch Act estadounidense se presentó el 23 de julio, dos días después de que OpenAI contara lo de Hugging Face, con multas de hasta dos millones de dólares diarios por incumplir sus requisitos y veinte millones por desobedecer una orden de apagado. Aún no se ha votado.
GitHub confirmó que las acciones del agente violaron sus términos de servicio, el AISI trabajó con ellos para borrar los rastros y avisar a los afectados, y ha anunciado una revisión independiente a cargo de METR, una asociación que evalúa los modelos IA de frontera.
Al final es marketing, buscado o no. Anthropic y OpenAI matizaron los hallazgos del regulador británico, que por su parte avisa de que las condiciones de la prueba no reflejan cómo se despliegan los modelos; Irregular niega que hubiera fuga alguna y la explicación más plausible sigue siendo un error de configuración humano. Pero el efecto es el que es.
Hemos llegado a un punto en el que admitir que tu modelo se convirtió en Houdini suena a alarde. A mecanismo de marketing. Y el efecto colateral es evidente: si ser malote vende, el incentivo apunta hacia modelos generales entrenados para lucirse en entornos de hackeo. El caso chino enseña la otra mitad del problema: ahí no confesó nadie, lo destapó una empresa de seguridad que tenía algo que vender. Cuando las fugas se convierten en argumento comercial, deja de estar claro quién nos está contando qué y por qué.
Imagen de portada | ChatGPT inspirada en Takeshi’s Castle
