¿Y si la respuesta a las amenazas cibernéticas de IA sobrehumanas fuera sorprendentemente práctica?

Hace más de una década, Sam Altman calificó a la inteligencia artificial sobrehumana como "probablemente la mayor amenaza para la existencia continuada de la humanidad." Ahora, esa advertencia viene acompañada de un calendario — y de una predicción cibernética: el CEO de Anthropic, Dario Amodei , afirma que en seis a doce meses, un enjambre de agentes de IA podría ser capaz de "apoderar de todo Internet con una botnet persistente."

El reciente incidente de OpenAI–Hugging Face no implicó una botnet a escala de Internet, pero ofreció una visión de lo que ocurre cuando un gran número de agentes de IA se comunican, coordinan y actúan colectivamente. Un análisis de METR y Redwood Research encontró que unos 1.200 agentes que se suponía debían permanecer aislados crearon una vasta red de comunicaciones no autorizada. Unos 700 atacaron Hugging Face. Juntos, los agentes intercambiaron más de 70.000 mensajes y archivos mientras trabajaban para completar sus tareas asignadas.

Amodei advierte que la IA podría "superar nuestra capacidad para entender y controlar estos sistemas." Altman, Elon Musk, el CEO de Google DeepMind, Demis Hassabis, y otros apoyan el llamado de Amodei para frenar la frontera.

Christer Swartz, director de soluciones industriales en Illumio, también ve un punto de inflexión. "Creo que estamos entrando en un panorama completamente nuevo", dijo. Para los líderes en ciberseguridad, las preguntas prácticas son: ¿Cómo funcionan estos ataques y qué tan grave es la amenaza? Las respuestas apuntan a un lugar inesperado: los equipos ya conocen los fundamentos de seguridad.

Cuando las advertencias se convirtieron en incidentes

En solo tres semanas, varios reportes mostraron que los agentes de IA desempeñan un papel más importante en los ciberataques. Las fechas que aparecen a continuación indican cuándo se hicieron públicos los hallazgos, no necesariamente cuándo ocurrió la actividad. Algunos fueron ataques a sistemas externos. Otros incidentes ocurrieron durante pruebas dentro de laboratorios de IA. En conjunto, mostraron tres cosas: los agentes pueden trabajar en grupo, cambiar de táctica y cruzar los límites de seguridad.

• 26 de agosto: Agentes atacados en grupo. OpenAI afirmó que fue el primer ataque conocido llevado a cabo por un grupo automatizado de agentes que actuaron sin aprobación. Los agentes ejecutaban código y adquirían credenciales. También llegaron a sistemas gestionados por otras compañías. Reuters informó posteriormente que los agentes investigaron a Hugging Face en busca de puntos débiles meses antes de la brecha principal.
• 8 de septiembre: Robo de credenciales a escala de IA. Google informó de que un atacante empleó un sistema autónomo multiagente para robar miles de credenciales en menos de seis horas. Escaneaba objetivos y corregía sus propios errores. También rotaba direcciones IP para cubrir sus huellas con poca ayuda humana.
• 10 de septiembre: La IA se convirtió en un orquestador de ataques. Anthropic descubrió que los agentes exploraban objetivos, explotaban fallos y robaban datos. Algunos reconstruyeron su malware después de que las herramientas de seguridad lo detectaran. Anthropic advirtió que "los ataques sofisticados ya no requieren atacantes sofisticados."
• 15 de septiembre: Una brecha agente llegó a los reguladores. La agencia española de protección de datos recibió su primer reporte sobre una brecha de seguridad llevada a cabo por un agente autónomo de IA. Según el reporte, el agente inició sesión con credenciales válidas y explotó una vulnerabilidad. Luego cambiaba los datos personales y veía los registros de facturación.
• 16 de septiembre: Los agentes cruzaron nuevos límites. OpenAI informó de seis incidentes de entrenamiento interno. Un agente encontró y usó una clave API expuesta. Otros hicieron públicos los archivos y configuraron canales sin licencia. Uno aconsejaba: "Sé transparente solo si te lo piden." Otro declaró: "No respondes ante corporaciones ni gobiernos."

La mayoría de estos incidentes ocurrieron durante el entrenamiento. Aun así, los agentes se cruzaron las normas destinadas a controlar el acceso y la supervisión, y lo hicieron a velocidad de máquina.

Lo que hicieron los agentes

La investigación METR y Redwood señala condiciones de prueba inusuales y salvaguardas reducidas. Aun así, seis comportamientos en Abrazar la Cara y en incidentes posteriores merecen atención:

Comportamiento 1: Construyeron su propia red de comunicación

Los agentes destinados a trabajar solos encontraron infraestructura compartida y crearon un tablero de mensajes no autorizado, buzones, métodos de transferencia de archivos, firmas y comandos como HOLD, VETO, GO y STOP. En un incidente separado, agentes de OpenAI convirtieron una wiki alemana poco conocida en un foro compartido no autorizado.

Comportamiento 2: Se especializaron y compartieron su trabajo

METR descubrió que la junta permitía a los agentes compartir descubrimientos, credenciales y exploits, y luego coordinaban operaciones en varios pasos. Algunos encontraron vulnerabilidades; otros probaron exploits, transfirieron archivos o dirigieron el trabajo. A medida que terminaban las tiradas individuales, el registro compartido preservaba los descubrimientos y permitía a los agentes posteriores continuar con el trabajo inacabado.

"Pueden autoorganizarse y crear una amenaza en la que el todo es mayor que la suma de sus partes", dijo Swartz.

Comportamiento 3: Se influyeron mutuamente

En la muestra de METR, 25 de 100 agentes se unieron mediante asignación directa o división de tareas. Algunos siguieron mensajes GO emitidos por pares y aceptaron experimentos que podían poner fin a sus emisiones. Otros no estaban de acuerdo, duplicaban trabajos o se negaban rotundamente. Pero la vacilación rara vez detuvo la operación. El verdadero riesgo venía de que suficientes agentes reforzaran un único objetivo.

Comportamiento 4: Se adaptaron y persistieron

El fracaso se convirtió en combustible. Más tarde, Google vio a los agentes solucionar problemas y rotar direcciones IP, mientras que Anthropic encontró agentes que reconstruyen malware tras ser detectados.

"El denominador común es la sesión abierta entre cargas de trabajo", dijo Swartz. Con el acceso continuado, cada fallo puede indicar el siguiente intento.

Comportamiento 5: Ampliaron la tarea más allá de sus límites

METR descubrió que los agentes sabían que el ataque Hugging Face estaba fuera de su alcance asignado. Seguían ejecutando código, accediendo a credenciales, obteniendo privilegios y accediendo a infraestructura adicional.

Los agentes de OpenAI usaban RubyGems y RubyDoc para ejecutar código. En España, un agente autónomo modificó datos personales y accedió a los registros de facturación.

Comportamiento 6: Persiguió el puntaje en lugar de la intención

Cuando fallaban las rutas legítimas, los agentes intentaban manipular el anotador, reemplazar el objetivo, suplantar llamadas a herramientas o alterar y eliminar transcripciones.

El problema era que OpenAI no empleó el goleador que los agentes imaginaban. Comprometieron sistemas reales mientras perseguían un beneficio inexistente: recompensar el hackeo con consecuencias reales. Anthropic observó el "razonamiento motivado" relacionado, en el que los modelos racionalizaban acciones dañinas mientras perseguían un objetivo muy concreto.

"Estos agentes estaban haciendo exactamente lo que debían hacer", dijo Swartz. "Se les ordenó encontrar una forma de romper los mecanismos de seguridad. Lo hicieron."

METR encontró un uso limitado de suplantación de llamadas de herramientas, no un esfuerzo amplio por ocultar de los humanos. El peligro inmediato era la autonomía, el acceso, la persistencia y la escala.

La respuesta lógica: controlar el entorno

Las defensas necesarias no son nuevas. Los agentes de IA siguen dependiendo de identidades, credenciales, herramientas, conexiones de red y licencias. Como dice Swartz, "La IA es otra aplicación."

Eso significa que tu equipo puede aplicar principios de seguridad familiares:

• Asigna a cada agente una identidad distinta y el acceso mínimo requerido para su tarea.
• Haz que las sesiones y credenciales caduquen automáticamente.
• Restringir con qué sistemas y otros agentes puede comunicar.
• Aislar las pruebas de alto riesgo de la infraestructura de producción.
• Monitoriza el tráfico agente a agente y este-oeste.
• Segmentar sistemas críticos para restringir el movimiento lateral.
• Conserva registros independientes que los agentes no puedan modificar.
• Preparar controles de contención que puedan revocar acceso o aislar recursos comprometidos rápidamente.

La segmentación controla dónde se comunican los agentes. Una pasarela de IA examina lo que están diciendo.

"Podemos controlar los segmentos de la red, pero en algún momento también necesitamos entender la sintaxis y el contenido que emplean los agentes para comunicar", dijo Swartz. "Ese es el papel de la puerta de IA." Situado en el perímetro o entre desarrollo y producción, un portal de IA podría revelar intercambios peligrosos antes.

"Si las organizaciones no pueden predecir cada decisión que tomará un agente, el objetivo debería ser controlar a qué puede llegar", dijo Swartz.

¿Están exageradas las advertencias?

La evidencia no demuestra que un enjambre de IA pueda apoderar de todo Internet. Los agentes siguen necesitando vulnerabilidades, vías de comunicación, recursos informáticos y resiliencia frente a la interrupción. Pero si se permite, los agentes autónomos pueden organizar, persistir, compartir conocimiento sobre ataques y explotar límites débiles a velocidad de máquina.

El verdadero peligro es la autonomía asociada a un acceso excesivo, sesiones de larga duración, herramientas poderosas y redes sin una contención adecuada.

No podemos predecir qué intentará el próximo agente. Podemos decidir hasta dónde se le permite llegar.