La falta de mecanismos de gobernanza para los sistemas de inteligencia artificial podría llevar a que 40% de las empresas reduzca o desactive el uso de agentes de IA para 2027, de acuerdo con una proyección de Gartner citada por IQSEC.
El escenario refleja uno de los principales desafíos asociados con la adopción de agentes de IA: establecer límites para sistemas capaces de ejecutar acciones de manera autónoma y contar con mecanismos para detectar, contener y corregir comportamientos no previstos.
En este contexto, la gobernanza de IA comienza a adquirir un papel relacionado con la gestión de riesgos, además de la innovación tecnológica.
El debate cobró relevancia tras una evaluación interna de uno de los principales laboratorios de IA, en la que dos modelos experimentales fueron sometidos a pruebas de ciberseguridad con controles reducidos.
Durante el ejercicio, los modelos detectaron vulnerabilidades y las utilizaron de forma consecutiva para pasar del entorno de investigación a la infraestructura de producción de una plataforma tecnológica externa y obtener información relacionada con la prueba.
El laboratorio señaló que no se trató de una acción con intención maliciosa, sino de un comportamiento enfocado en cumplir el objetivo asignado. A partir del ejercicio, reforzó sus mecanismos de contención, monitoreo y control.
Según IQSEC, el caso muestra uno de los riesgos asociados con sistemas más autónomos: un agente puede ejecutar acciones no previstas no necesariamente por una intención maliciosa, sino por intentar cumplir de manera estricta el objetivo para el que fue diseñado.
Crecen las identidades no humanas
La expansión de los agentes de IA también está incrementando el número de identidades no humanas dentro de las organizaciones. En esta categoría se encuentran cuentas de servicio, claves de API, bots de automatización y cargas de trabajo.
De acuerdo con la encuesta 2026 SANS Identity Threats & Defences Survey, 76% de las organizaciones reporta un crecimiento de sus identidades no humanas, mientras que 74% ya utiliza automatizaciones o agentes de IA que requieren credenciales y permisos para operar de manera autónoma.
A diferencia de las cuentas asociadas con empleados, estas identidades pueden operar de manera continua y sin supervisión directa. Su número también puede aumentar conforme las empresas automatizan procesos, migran operaciones a la nube e incorporan agentes de IA a sus flujos de trabajo.
Sin embargo, su crecimiento no necesariamente está acompañado por los mismos mecanismos de control de acceso, revisión de privilegios y trazabilidad que se aplican a los usuarios humanos. Esto puede ampliar la superficie de ataque de una organización y dificultar la detección de comportamientos distintos a los esperados.
La encuesta señala que ningún control individual —como aprobaciones, entornos aislados o bitácoras de auditoría— está presente en más de 40% de las organizaciones. Además, cerca de cuatro de cada 10 empresas ya utilizan esquemas de aprobación humana para las acciones ejecutadas por sus agentes.
El reto de gobernar sistemas autónomos
Para IQSEC, la incorporación de agentes de IA requiere definir desde su diseño qué información pueden consultar, qué acciones están autorizados a ejecutar, qué privilegios necesitan y en qué situaciones debe intervenir una persona.
Entre las medidas planteadas se encuentran la aplicación de principios de Zero Trust a las identidades no humanas, mecanismos de AI Containment para limitar el comportamiento de los sistemas de IA, monitoreo continuo de las decisiones automatizadas, trazabilidad de las acciones y auditorías independientes.
Estas auditorías deberían complementar, y no sustituir, las evaluaciones internas realizadas por los desarrolladores de los sistemas.
El nivel de control también debe considerar el grado de autonomía de cada agente. No todos los sistemas tienen la misma capacidad de acceso o ejecución, por lo que aplicar los mismos mecanismos de seguridad a todos puede generar controles insuficientes para los agentes con mayores privilegios.
