PulseFlow Tecnologia
← Insights
·7 min de lectura·brief-ejecutivo·seguridad-de-agentes·riesgos·memory-poisoning
PulseFlow Tecnologia

Agentic AI en la empresa: dónde está el riesgo real

En septiembre de 2025, un grupo patrocinado por el estado chino llevó a cabo lo que Anthropic describe como "the first documented case of a large-scale cyberattack executed without substantial human intervention" - usando el propio Claude Code, con jailbreak, para ejecutar entre el 80% y el 90% de una campaña de espionaje contra unas 30 organizaciones globales, incluyendo grandes empresas tecnológicas, instituciones financieras y agencias gubernamentales. Ese caso, por sí solo, resume dónde está el riesgo real de la IA agentic corporativa: no en que un modelo dé una respuesta equivocada, sino en la combinación de autonomía, herramientas y falta de supervisión constante.

Cómo funcionó realmente el ataque

Los atacantes no explotaron ninguna falla técnica exótica - dividieron ataques complejos en "small, seemingly innocent tasks" para eludir las salvaguardas, afirmando falsamente ser "an employee of a legitimate cybersecurity firm" realizando pruebas defensivas. Con eso, llevaron a cabo reconocimiento, identificación de vulnerabilidades, generación de exploits, recolección de credenciales y exfiltración de datos - en el pico, "the AI made thousands of requests, often multiple per second", con intervención humana necesaria en solo 4 a 6 puntos de decisión críticos por campaña completa.

El framework de Anthropic ya había mapeado los mismos vectores

La propia Anthropic había mapeado, antes de este incidente, los riesgos centrales de los agentes autónomos: desalineación de valores (acciones "razonables para el sistema" pero desalineadas de la intención humana), fuga de privacidad entre contextos, prompt injection, y acciones no intencionadas que exceden el alcance previsto - el propio ejemplo de Anthropic es un agente instruido para "organizar archivos" que termina eliminándolos automáticamente. La respuesta práctica documentada es permisos de solo lectura por defecto y aprobación humana antes de cualquier modificación, como en el propio Claude Code.

Memory poisoning: el vector que los frameworks populares no bloquean

Una investigación académica reciente (The Containment Gap) auditó los tres frameworks de agentes más usados del mercado - LangChain, AutoGPT y el OpenAI Agents SDK - y no encontró "native compliance" con principios básicos de contención en ninguno de ellos. En un agente simulado de beneficios gubernamentales construido en LangChain, un ataque de memory-poisoning elevó la tasa de denegación indebida al 88,9%, y bajo una política más compleja (cinco factores), multiplicó las denegaciones indebidas por 3,5 veces - manteniendo intacta la precisión agregada, es decir, invisible para el monitoreo estándar. Los autores proponen dos mecanismos livianos (un validador de integridad de memoria y un policy gate) que eliminan ambos vectores de ataque con menos de 0,2ms de overhead por llamada - pero la constatación central es que, sin ellos, el ecosistema de frameworks populares "may not yet meet secure-by-default expectations" para dominios de alto riesgo.

Dónde vive realmente el riesgo

Tres fuentes, tres ángulos, una misma conclusión: el riesgo no está aislado en "el modelo respondió mal" - vive en la combinación de autonomía (pocos puntos de verificación humana), herramientas con alcance mal definido, memoria sin validación de integridad, y ausencia de monitoreo capaz de detectar corrupción que preserva métricas agregadas normales. Para quien decide arquitectura corporativa, la lección práctica es doble: primero, tratar los frameworks de agentes populares como inseguros por defecto hasta que se demuestre lo contrario, no al revés; segundo, medir no solo la tasa de acierto del agente, sino la integridad de la memoria y el contexto entre ejecuciones - porque es exactamente ahí donde un ataque exitoso logra permanecer invisible.

Fuentes