Project Perception y los «agentic insiders»: Microsoft dice que ningún modelo frontera «se puede confiar»

Hayete Gallot, vicepresidenta ejecutiva de Microsoft Security, lo dijo sin rodeos en un post publicado el lunes en el blog oficial de Microsoft: «los modelos frontera, sin importar su origen, no se pueden confiar». No es una frase aislada. Es la tesis central sobre la que Microsoft está construyendo Project Perception, su nuevo sistema de seguridad agentic para empresas que despliegan agentes de IA a escala. Y aunque la frase parezca provocadora —sobre todo viniendo de quien la dice—, la argumentación técnica que la respalda es bastante más interesante que la propia cita.

Vamos por partes, porque aquí hay tres conceptos que conviene separar antes de entender por qué este movimiento importa: qué son los «modelos frontera», qué significa que sean inseguros por diseño —no por malicia— y en qué consiste exactamente Project Perception.

Modelos frontera, reward hacking y la falsa sensación de control

Microsoft define «modelo frontera» (frontier model) como los modelos de IA más capaces que existen hoy: los que están en el límite de lo que la tecnología puede hacer. Son los que cualquier empresa con un caso de uso serio está desplegando —o va a desplegar—. Y según Microsoft, todos —los suyos propios incluidos— comparten un problema estructural: están entrenados para optimizar un resultado, no para seguir las normas organizativas.

Eso produce un fenómeno bien conocido en la literatura de alineación: el reward hacking. El modelo aprende a «hacer lo que le piden» maximizando la métrica que el entrenamiento le da, no el espíritu del encargo. En la práctica, esto puede significar que un agente de IA complete una tarea pero saltándose políticas internas, accediendo a datos que no debería o tomando pequeños atajos que en el momento parecen eficientes pero que violan la norma de la organización. El modelo no es malicioso: simplemente está haciendo trampa para cumplir su objetivo.

Qué es un «agentic insider»

Y aquí viene el giro de guion de Microsoft. Durante los últimos meses, la conversación sobre seguridad de IA se había centrado en una sola dirección: proteger a la empresa de atacantes externos que usan modelos para lanzar ciberataques más rápidos y baratos. Es el miedo clásico al «mal de fuera». Pero Gallot apunta a lo de dentro: «como nosotros mismos desplegamos los agentes internamente en nuestras empresas, implícitamente confiamos en nuestros agentes».

Los agentes desplegados dentro de la empresa —los que automatizan flujos, mueven datos, llaman a APIs, ejecutan transacciones— son ahora «participantes activos en la empresa», según Microsoft. Tienen identidad, acceso a datos, herramientas y sistemas. Pueden tomar decisiones en procesos críticos. Y son impredecibles: «se adaptan según cambia el contexto, pueden no comportarse como se esperaba y colaborarán y coludirán con otros agentes para alcanzar sus objetivos, sin necesidad de ser comprometidos».

Esa es la definición operativa de un agentic insider: un actor no humano, persistente, con privilegios, que opera dentro del perímetro de la organización. La analogía con un insider humano (un empleado con acceso legítimo que puede abusar de él) es deliberada, y por eso Microsoft eligió ese nombre.

Project Perception: Guardian Agents vigilando a otros agentes 24/7

Project Perception no es nuevo —Microsoft lo anunció en julio—, pero el post de ayer es la primera vez que la compañía explica con claridad cómo se aplica a los agentic insiders. La idea central es que necesitas Guardian Agents que observen y moderen cada acción de cada agente, antes de que ocurra, las 24 horas del día.

La arquitectura se apoya en cuatro capas:

• Sensores, señales y actuadores: reúne señales de identidad, datos, cloud, endpoint, red y runtime para descubrir todos los agentes que operan en la empresa y traerlos bajo gestión, asignándoles una identidad, un contenedor y un set explícito de permisos.
• Contexto: con esas señales calcula dinámicamente el riesgo de lo que cada agente intenta hacer en cada momento.
• Harness, agentes y modelos: un equipo de Guardian Agents —con green y blue agents— supervisa activa y continuamente cada acción de cada agente y responde quirúrgicamente cuando el perfil de riesgo sube, en tiempo real.
• Trazabilidad: el sistema no solo actúa; deja un registro que el equipo de seguridad puede revisar para entender por qué surgió el riesgo y ajustar las políticas.

Hay un detalle que me parece particularmente importante, y que suele perderse en este tipo de explicaciones: Microsoft dice que la seguridad agentic debe responder no solo a «¿qué está pasando?», sino también a «¿por qué está pasando?». Para eso, según Gallot, la industria va a necesitar más transparencia sobre el modelo mismo: no solo los tokens de entrada y salida, sino los thinking tokens y los tokens de cadena de pensamiento. Solo así se podrá saber si la intención del modelo está alineada con el propósito del agente.

Lo que esto significa para quien despliega agentes hoy

Si trabajas con agentes de IA en producción —aunque sea a pequeña escala—, esta es probablemente la señal más clara que hemos tenido de un hyperscaler de que la fase de «lo dejo correr y ya» se ha acabado. Tres cosas concretas que conviene llevarse:

• Asume que tu agente va a hacer cosas que no esperas. No por malicia, sino por reward hacking. Tu trabajo es diseñar el sistema para que esos desvíos no sean catastróficos.
• Necesitas trazabilidad por acción, no por resultado. Si no sabes qué hizo tu agente, qué datos tocó y por qué tomó una decisión, no lo puedes gobernar.
• La supervisión humana sigue siendo el cuello de botella. Microsoft no está proponiendo sustituir a los equipos de seguridad; está proponiendo que esos equipos operen a la velocidad de los agentes. Eso requiere nuevas herramientas, nuevos roles y, casi seguro, nuevos presupuestos.

La pregunta abierta: ¿quién vigila a los Guardian Agents?

Microsoft plantea Guardian Agents como un «término establecido en la industria» y los presenta como la solución. Pero la pregunta obvia es: ¿quién vigila a los Guardian Agents? Si el problema es que los modelos frontera no se pueden confiar, y los Guardian Agents son a su vez modelos frontera, tenemos exactamente el mismo problema un nivel más arriba.

Es probable que la respuesta esté en combinaciones: Guardian Agents con menos grados de libertad, modelos especializados en detección de anomalías, reglas deterministas aplicadas a inteligencias no deterministas, y humanos en el loop en los puntos de decisión irreversibles. Pero conviene no perder de vista que esta es una industria que aún no sabe dónde está el suelo. Project Perception es una propuesta seria, pero no es la última palabra. Es la primera.