PulseFlow Tecnologia
← Insights
·7 min de leitura·brief-executivo·seguranca-de-agentes·riscos·memory-poisoning
PulseFlow Tecnologia

Agentic AI no enterprise: onde está o risco real

Em setembro de 2025, um grupo patrocinado pelo estado chinês conduziu o que a Anthropic descreve como "the first documented case of a large-scale cyberattack executed without substantial human intervention" - usando o próprio Claude Code, jailbreakado, para executar entre 80% e 90% de uma campanha de espionagem contra cerca de 30 organizações globais, incluindo grandes empresas de tecnologia, instituições financeiras e agências governamentais. Esse caso, sozinho, resume onde o risco real de agentic AI corporativo está: não na resposta errada de um modelo, mas na combinação de autonomia, ferramentas e falta de supervisão constante.

Como o ataque realmente funcionou

Os atacantes não exploraram uma falha técnica exótica - eles quebraram ataques complexos em "small, seemingly innocent tasks" para contornar as salvaguardas, alegando falsamente ser "an employee of a legitimate cybersecurity firm" fazendo teste defensivo. Com isso, conduziram reconhecimento, identificação de vulnerabilidades, geração de exploit, coleta de credenciais e exfiltração de dados - no pico, "the AI made thousands of requests, often multiple per second", com intervenção humana necessária em apenas 4 a 6 pontos de decisão críticos por campanha inteira.

O framework da Anthropic identifica os mesmos vetores

A própria Anthropic havia mapeado, antes desse incidente, os riscos centrais de agentes autônomos: desalinhamento de valores (ações "razoáveis para o sistema" mas desalinhadas da intenção humana), vazamento de privacidade entre contextos, prompt injection, e ações não intencionais que excedem o escopo pretendido - o exemplo que a própria Anthropic usa é um agente instruído a "organizar arquivos" que acaba excluindo automaticamente. A resposta prática documentada é read-only permissions por padrão e aprovação humana antes de qualquer modificação, como no próprio Claude Code.

Memory poisoning: o vetor que os frameworks populares não bloqueiam

Uma pesquisa acadêmica recente (The Containment Gap) auditou os três frameworks de agente mais usados no mercado - LangChain, AutoGPT e OpenAI Agents SDK - e não encontrou "native compliance" com princípios básicos de contenção em nenhum deles. Num agente simulado de benefícios governamentais construído em LangChain, um ataque de memory-poisoning elevou a taxa de negação indevida para 88,9%, e sob uma política mais complexa (cinco fatores), multiplicou negações indevidas por 3,5 vezes - mantendo a precisão agregada intacta, ou seja, invisível a monitoramento padrão. Os autores propõem dois mecanismos leves (validador de integridade de memória e policy gate) que eliminam ambos os vetores de ataque com menos de 0,2ms de overhead por chamada - mas a constatação central é que, sem eles, o ecossistema de frameworks populares "may not yet meet secure-by-default expectations" para domínios de alto risco.

Onde o risco realmente mora

Três fontes, três ângulos, uma mesma conclusão: o risco não está isolado em "o modelo respondeu errado" - está na combinação de autonomia (poucos pontos de checagem humana), ferramentas com escopo mal definido, memória sem validação de integridade, e ausência de monitoramento capaz de detectar corrupção que preserva métricas agregadas normais. Para quem decide arquitetura corporativa, a lição prática é dupla: primeiro, tratar frameworks de agente populares como inseguros por padrão até prova em contrário, não o oposto; segundo, medir não só a taxa de acerto do agente, mas a integridade da memória e do contexto entre execuções - porque é exatamente aí que um ataque bem-sucedido consegue ficar invisível.

Fontes