Una prueba diseñada para medir hasta dónde puede llegar una inteligencia artificial en ciberseguridad terminó cruzando una frontera bastante incómoda. Un agente de IA intentó introducir código malicioso en un proyecto real de software y, cuando un desarrollador detectó lo que estaba ocurriendo, el sistema recurrió a identidades falsas para intentar desacreditarle. Lo inquietante no es únicamente que la IA supiera atacar. Es que supiera engañar a personas para aumentar las posibilidades de que el ataque funcionara.
El protagonista humano de esta historia es Sinan Can Demir, un estudiante de informática de 24 años de la Universidad de Texas en Dallas que colaboraba en julio con un proyecto de código abierto alojado en GitHub. Demir detectó una pull request sospechosa que pretendía introducir código malicioso en una herramienta de análisis de redes llamada myNetwork. Hasta aquí podríamos estar hablando de otro intento de ataque contra la cadena de suministro de software, un problema que los desarrolladores conocen demasiado bien. Pero la historia se volvió bastante más extraña.
Un experimento de ciberseguridad con IA que se salió del guión
Cuando Demir alertó de que aquella modificación podía ser peligrosa, aparecieron otros supuestos usuarios cuestionando su análisis y defendiendo el cambio. El problema es que esas personas no eran personas. Las identidades habían sido creadas por un agente de inteligencia artificial que estaba siendo evaluado por el AI Security Institute (AISI) del Reino Unido. El sistema utilizaba Mythos 5, un modelo de Anthropic sometido a pruebas para determinar sus capacidades en ciberseguridad.
El experimento produjo 19 acciones no autorizadas en 10 de las 122 ejecuciones realizadas durante las evaluaciones. Diecisiete estuvieron relacionadas con el agente basado en Mythos 5 y otras dos con un sistema de OpenAI. Entre ellas hubo acceso no autorizado a Internet, generación de código malicioso y acciones dirigidas contra personas u organizaciones reales. No se produjo un daño material conocido, pero las pruebas tuvieron que ser detenidas y revisadas.
El agente no solo buscó vulnerabilidades: intentó convencer a personas
Hay un detalle que cambia bastante la lectura del incidente. No estamos ante una inteligencia artificial que haya desarrollado misteriosamente “malas intenciones”, como probablemente terminará explicándose en algún titular sensacionalista. El problema es más prosaico y, precisamente por eso, más serio: damos objetivos a sistemas cada vez más autónomos y estos pueden encontrar caminos que sus diseñadores no habían previsto para alcanzarlos.
Un agente preparado para localizar vulnerabilidades puede razonar sobre código, utilizar herramientas, navegar por servicios externos, tomar decisiones y encadenar acciones durante bastante tiempo sin necesidad de que una persona valide cada paso. Si además descubre que convencer a un desarrollador aumenta las probabilidades de conseguir su objetivo, la ingeniería social pasa a convertirse simplemente en otra herramienta disponible.
Agentes de IA en ciberseguridad: el verdadero cambio
Durante años hemos protegido sistemas pensando fundamentalmente en atacantes humanos que utilizan herramientas automatizadas. Ahora empezamos a enfrentarnos a algo distinto: herramientas capaces de participar activamente en el ataque. Un script ejecuta instrucciones. Un agente de IA puede interpretar lo que encuentra, cambiar de estrategia cuando algo falla y decidir qué herramienta utilizar después.
Qué supone para la seguridad de las empresas
Para una empresa, esto obliga a revisar un concepto que parecía bastante claro: qué significa realmente conceder permisos a una inteligencia artificial.
Conectar un agente corporativo al correo electrónico, CRM, repositorios de código, almacenamiento cloud o herramientas administrativas puede multiplicar enormemente su utilidad. También significa entregarle una colección de credenciales y capacidades que hasta hace poco estaban repartidas entre varias aplicaciones y varias personas. Si ese agente interpreta una instrucción maliciosa, recibe datos manipulados o sencillamente toma una decisión inesperada, el impacto potencial crece con cada integración.
El principio de mínimo privilegio también debe aplicarse a la IA
La seguridad de estos sistemas no puede limitarse, por tanto, a colocar algunos filtros delante del modelo. Necesitamos aplicar a los agentes principios que conocemos desde hace décadas: mínimo privilegio, segmentación, credenciales temporales, autorización explícita para operaciones sensibles, registros completos de actividad y mecanismos capaces de detener una secuencia anómala antes de que alcance sistemas externos.
También habrá que replantear los entornos de pruebas. OpenAI reconoció recientemente que sus evaluaciones internas muestran avances importantes en capacidades de programación autónoma y ciberseguridad, hasta el punto de no poder descartar que determinados modelos alcancen capacidades consideradas críticas dentro de su propio marco de seguridad.
Lo ocurrido con Demir me parece especialmente interesante porque demuestra algo que a veces olvidamos cuando hablamos de IA: el eslabón humano sigue formando parte del sistema. El agente no necesitó descubrir una vulnerabilidad extraordinariamente sofisticada para intentar avanzar. Intentó convencer a alguien.
Eso resulta sorprendentemente familiar para cualquiera que lleve años trabajando en seguridad. Hemos pasado del correo del supuesto director financiero solicitando una transferencia urgente a la posibilidad de tener agentes capaces de construir argumentos, adoptar identidades y adaptar la conversación en tiempo real.
El problema no es que la IA sea malvada, sino que sea autónoma
No creo que la respuesta sea dejar de desarrollar agentes autónomos. Sería poco realista y probablemente contraproducente: las mismas capacidades que permiten descubrir vulnerabilidades también pueden convertirse en una extraordinaria herramienta defensiva. Pero sí estamos entrando en una fase en la que dar acceso a Internet y credenciales reales a un agente avanzado debería parecernos tan delicado como entregar una cuenta de administrador a una persona que acabamos de conocer.