Estudo controlado indica que a arquitetura do agente importa menos que a qualidade da implementação

Avaliação controlada publicada no arXiv comparou quatro desenhos de agente em 13 procedimentos operacionais padrão e não encontrou arquitetura vencedora. O que separou as opções foi o custo, e o que…

11 de novembro de 2026 · 8 min de leitura

Pessoa desenha com caneta vermelha um fluxograma de processo em um quadro branco de escritório

Experimento com quatro desenhos de agente em 13 procedimentos operacionais padrão aponta que coordenar vários agentes custa de 1,4 a 4,7 vezes mais tokens e de 2,6 a 5,8 vezes mais tempo, com ganho de acerto quase sempre pequeno. O trabalho é um preprint, sem revisão por pares.

Um grupo de 14 autores com filiação à Amazon e à Universidade de Washington publicou no arXiv, em 7 de novembro de 2026, o estudo Agent Architecture Cost-Success Trade-offs: A Controlled Evaluation across Enterprise-Style SOPs. O trabalho compara quatro desenhos de agente de inteligência artificial na execução de procedimentos operacionais padrão, os SOP na sigla em inglês: fluxos longos, cheios de ramificações e dependentes de várias ferramentas. É um preprint, ou seja, texto publicado antes de passar por revisão por pares.

O achado mais útil para quem decide projeto de automação não está no ranking das arquiteturas. Está na ausência de ranking. Segundo o estudo, nenhuma das quatro arquiteturas se mostrou estatisticamente separável das outras no resultado agregado. O que separou as opções de forma consistente foi o custo.

O que o experimento manteve fixo

O valor metodológico do trabalho está em segurar as outras variáveis e mexer em uma só.

Os autores fixaram o modelo (Claude Opus 4.8, da Anthropic), as tarefas e as ferramentas, e variaram apenas a arquitetura. As quatro famílias testadas foram: um agente único com chamada de função, usado como referência; um agente com habilidades declaradas, batizado de Constrained Skill Execution; orquestração multiagente centralizada; e um enxame guiado por triagem. Essas quatro famílias foram distribuídas em oito variantes de implementação, porque habilidades e enxame têm graus internos de configuração e a orquestração foi avaliada em duas implementações.

O conjunto de teste veio do SOP-Bench, benchmark de procedimentos industriais construído por uma equipe de pesquisa da Amazon e apresentado na conferência KDD de 2026. São 13 procedimentos comuns a todas as variantes, 2.124 tarefas por variante. As ferramentas do benchmark são simulações determinísticas, o que fixa o resultado de cada chamada e isola o efeito da arquitetura.

Nenhuma arquitetura venceu, e o custo foi o que separou

A primeira conclusão do estudo é que o procedimento pesa mais que a arquitetura. Dentro de uma mesma variante, a taxa de sucesso por procedimento foi de menos de 10% nos casos mais difíceis a quase 100% nos mais fáceis.

A segunda conclusão é mais direta de traduzir em orçamento. Todas as variantes coordenadas, de habilidades ou multiagente, gastaram de 1,4 a 4,7 vezes mais tokens e de 2,6 a 5,8 vezes mais tempo que o agente único de referência. Em números absolutos relatados pelos autores, a referência consumiu 24,9 mil tokens e 24 segundos por tarefa. A orquestração redesenhada chegou a 117,3 mil tokens por tarefa, e a versão mais prescritiva do enxame levou 138,6 segundos.

Os ganhos de acerto comprados com esse gasto foram modestos: 5,7 pontos para o agente com habilidades de qualidade alta, a três vezes mais tokens, e cerca de 3 pontos para as variantes de enxame com plano compartilhado. O estudo classifica esses ganhos como pequenos e raramente significativos, e trata o agente único como a opção eficiente por padrão: a mais barata em todos os eixos sem perder competitividade.

A variável que mexeu no resultado foi a implementação

O trecho mais interessante do experimento é um erro corrigido no meio dele.

A primeira implementação de orquestração multiagente ficou em 58,2% de sucesso, abaixo dos 67,4% do agente único, e perdeu em 9 dos 13 procedimentos. Os autores atribuem a queda não à decomposição em si, mas a uma falha de desenho: cada trabalhador via apenas a sua fatia do procedimento e nenhum tinha como resolver uma informação de entrada faltante, então o fluxo terminava registrando decisões de preenchimento vazio.

A segunda implementação deu a cada trabalhador o procedimento inteiro e o conjunto completo de ferramentas, mais uma rodada de redespacho. Com isso, procedimentos que estavam quebrados voltaram: a triagem de admissão de paciente saiu de 13,6% para 98,5%, a classificação de intenção de e-mail foi de 75,8% para 96,2% e a verificação cadastral de empresa subiu de 23,3% para 60,0%. No agregado, essa variante marcou 75,6% contra 67,4% da referência, e foi a única a superar a linha de base com significância estatística, com razão de chances de 1,72 e valor p de 0,007 no teste de efeitos aleatórios relatado no artigo.

O mesmo padrão aparece do lado das habilidades. Os autores criaram uma régua de qualidade de definição de habilidade, com 50 pontos em cinco dimensões, e montaram dois conjuntos pareados. O bem definido chegou a 73,1% de sucesso, contra 59,8% do degradado, diferença de 13,3 pontos. O detalhe que importa: o conjunto degradado ficou abaixo do próprio agente único, sem habilidade nenhuma. Habilidade mal escrita não foi neutra, foi pior que não ter.

Vale registrar o que o estudo não afirma: essa vantagem se concentra em poucos procedimentos longos e ramificados e não passa no teste de sinal feito procedimento por procedimento. A leitura mais plausível não é que habilidade boa garanta resultado, e sim que a especificação do trabalho explicou mais variação do que a contagem de agentes.

Por que isso muda a conversa de projeto

A consequência prática tem dois lados, e os dois entram na mesma reunião.

O primeiro é de prioridade. Boa parte da discussão de projeto hoje gira em torno de topologia: quantos agentes, quem orquestra, qual framework. Os números sugerem retorno baixo nessa discussão. A diferença decisiva entre a orquestração que perdeu e a que ganhou não foi o número de agentes, foi o que cada agente conseguia ver e resolver. Isso coloca o insumo do projeto no território de processo documentado, não de engenharia de modelo.

O segundo é de custo operacional. Multiplicador de token e multiplicador de latência são itens de caso de negócio, e costumam ser subestimados na prova de conceito, onde o volume é pequeno e o tempo de resposta não incomoda ninguém. A diferença entre 24 segundos e 138,6 segundos por tarefa muda o que pode ser síncrono, o que precisa de fila e o que o usuário aceita esperar. E como o teste roda sobre ferramentas simuladas, sem a instabilidade de serviços reais, esses tempos tendem a ser piso, não teto.

A variante mais precisa foi também a mais cara em tokens das oito: mesmo quando a coordenação funciona, ela continua cobrando.

Os limites do que foi medido

O estudo é explícito sobre o próprio alcance.

  • Natureza da publicação: preprint em arXiv, sem revisão por pares, sem declaração de financiamento nem de conflito de interesse. As filiações informadas são Amazon e Universidade de Washington, e o contato de correspondência é um endereço corporativo da Amazon. O benchmark usado também saiu de equipe de pesquisa da Amazon e compartilha o primeiro autor, ou seja, método de avaliação e objeto avaliado não são independentes entre si.
  • Natureza do ambiente: os procedimentos têm tema corporativo, mas são sintéticos, com ferramentas simuladas de resposta determinística. Os próprios autores afirmam que as conclusões podem não se transferir para procedimentos de produção.
  • Modelo único: todas as variantes rodaram sobre uma família de modelo, e os autores não reivindicam que a ordenação, os multiplicadores de custo ou a reviravolta entre as duas orquestrações se repitam em outras famílias.
  • Implementação única: cada arquitetura foi testada em uma implementação, sensível a escolhas de prompt e de controle de fluxo. O contraste de qualidade de habilidade foi uma degradação em bloco, não o efeito isolado de um campo.
  • Tamanho da amostra: com 13 procedimentos, o erro padrão entre procedimentos fica na casa de 7 a 9 pontos e domina as diferenças observadas. Daí a maior parte das comparações não ser significativa.

E a faixa que vai de menos de 10% a quase 100% diz algo que nenhuma média resolve: a dificuldade da tarefa manda no resultado. Nenhum percentual agregado deve ser lido como taxa de sucesso esperada em produção.

O que o estudo sustenta

A recomendação dos autores cabe em uma ordem de trabalho: começar simples, medir o ganho marginal de sucesso nos procedimentos que realmente interessam, corrigir falhas de implementação antes de trocar de família de arquitetura e mudar de desenho só quando o ganho justificar o custo. Na formulação do artigo, complexidade arquitetural deve ser conquistada por evidência, não presumida como melhoria.

Para a empresa que está montando seu primeiro agente, a utilidade do trabalho não é dizer qual arquitetura escolher. É mostrar onde a conta é feita: no procedimento escrito com clareza suficiente para alguém executar, e na soma de tokens e segundos que cada camada de coordenação cobra para funcionar.

Leia também: Reavaliação reduz a vantagem dos modelos de fundação sobre árvores ajustadas na previsão de churn

Continue explorando

Posts relacionados