Framework para avaliar maturidade de agentes de IA

A pesquisa State of AI Agents, da LangChain, mostra uma distribuição que qualquer framework de maturidade precisa levar a sério: 51% das empresas já têm agentes em produção, mas a maior queixa registrada é qualidade de execução - com peso duas vezes maior que qualquer outro fator. Isso significa que "estar em produção" não é sinônimo de maturidade; muitas empresas estão em produção e ainda assim inseguras sobre a confiabilidade do que rodam.

Por que cinco níveis, não dois

É tentador simplificar maturidade em "não usa" versus "usa" agentes. Os dados da LangChain mostram que isso esconde a variável que mais importa: a diferença entre times de tecnologia e de outros setores não está em adotar ou não - está em quantos métodos de controle simultâneos cada um usa. Times de tecnologia usam em média 51% mais controles simultâneos (rastreamento, avaliação offline, permissões granulares, aprovação humana) do que outros setores. Esse gradiente de controle é a base para os cinco níveis abaixo.

Nível 1 - Experimental

Uso pontual, sem processo formal. Casos de uso não documentados, nenhuma política de dados ou ferramentas, ausência de segurança dedicada, zero observabilidade além de logs padrão. Corresponde ao estágio anterior ao "51% em produção" da pesquisa - ainda testando se o caso de uso se sustenta.

Nível 2 - Assistido

Agente atua sob supervisão constante, cada ação revisada por humano antes de executar. Ferramentas limitadas, sem integração profunda com sistemas internos. Métricas informais, sem evals estruturados.

Nível 3 - Integrado

O agente já acessa dados e ferramentas corporativas de forma consistente, com integrações reais (não protótipos). É aqui que a maioria das empresas pesquisadas pela LangChain se encontra: casos de uso claros (pesquisa e resumo, produtividade pessoal, atendimento ao cliente), mas segurança e observabilidade ainda incompletas - a "qualidade de performance" continua sendo a principal queixa porque o processo de avaliação ainda não amadureceu.

Nível 4 - Governado

Aqui entram os controles que separam times de tecnologia dos demais na pesquisa: permissões de leitura por padrão, aprovação humana obrigatória para ações críticas (escrita, exclusão), avaliação offline sistemática (39,8% das empresas já fazem isso) e rastreamento como prática padrão, não exceção. A tese da Microsoft - "AI alone won't change your business. The system running it will" - descreve exatamente esse nível: o sistema em volta do agente, não o agente isolado, é o que garante confiabilidade.

Nível 5 - Autônomo controlado

O agente age com autonomia real em processos de negócio, mas dentro de um ciclo de vida formal - o que a Microsoft descreve como "source, test, deploy, observe, and improve" - com melhoria contínua supervisionada por humanos, não substituída por eles. Ownership claro por agente, métricas de negócio (não só técnicas) associadas a cada um, e escala multiplicada por times, não por indivíduos isolados.

Como usar o framework

Avalie cada uma das dez dimensões - casos de uso, dados, ferramentas, integrações, segurança, observabilidade, métricas, evals, ownership, escala - separadamente. É comum uma empresa estar no nível 4 em segurança e no nível 2 em evals ao mesmo tempo. O objetivo não é um selo único de "nível X", mas um mapa de onde investir a seguir - geralmente, a dimensão mais atrasada é a que mais define o risco real da operação.

Fontes

• LangChain - State of AI Agents - https://www.langchain.com/stateofaiagents
• Microsoft - AI alone won't change your business. The system running it will. - https://blogs.microsoft.com/blog/2026/06/02/ai-alone-wont-change-your-business-the-system-running-it-will/