Estudo controlado indica que a arquitetura do agente importa menos que a qualidade da implementação
Avaliação controlada publicada no arXiv comparou quatro desenhos de agente em 13 procedimentos operacionais padrão e não encontrou arquitetura vencedora. O que separou as opções foi o custo, e o que…
11 de novembro de 2026 · 8 min de leitura

Experimento com quatro desenhos de agente em 13 procedimentos operacionais padrão aponta que coordenar vários agentes custa de 1,4 a 4,7 vezes mais tokens e de 2,6 a 5,8 vezes mais tempo, com ganho de acerto quase sempre pequeno. O trabalho é um preprint, sem revisão por pares.
Um grupo de 14 autores com filiação à Amazon e à Universidade de Washington publicou no arXiv, em 7 de novembro de 2026, o estudo Agent Architecture Cost-Success Trade-offs: A Controlled Evaluation across Enterprise-Style SOPs. O trabalho compara quatro desenhos de agente de inteligência artificial na execução de procedimentos operacionais padrão, os SOP na sigla em inglês: fluxos longos, cheios de ramificações e dependentes de várias ferramentas. É um preprint, ou seja, texto publicado antes de passar por revisão por pares.
O achado mais útil para quem decide projeto de automação não está no ranking das arquiteturas. Está na ausência de ranking. Segundo o estudo, nenhuma das quatro arquiteturas se mostrou estatisticamente separável das outras no resultado agregado. O que separou as opções de forma consistente foi o custo.
O que o experimento manteve fixo
O valor metodológico do trabalho está em segurar as outras variáveis e mexer em uma só.
Os autores fixaram o modelo (Claude Opus 4.8, da Anthropic), as tarefas e as ferramentas, e variaram apenas a arquitetura. As quatro famílias testadas foram: um agente único com chamada de função, usado como referência; um agente com habilidades declaradas, batizado de Constrained Skill Execution; orquestração multiagente centralizada; e um enxame guiado por triagem. Essas quatro famílias foram distribuídas em oito variantes de implementação, porque habilidades e enxame têm graus internos de configuração e a orquestração foi avaliada em duas implementações.
O conjunto de teste veio do SOP-Bench, benchmark de procedimentos industriais construído por uma equipe de pesquisa da Amazon e apresentado na conferência KDD de 2026. São 13 procedimentos comuns a todas as variantes, 2.124 tarefas por variante. As ferramentas do benchmark são simulações determinísticas, o que fixa o resultado de cada chamada e isola o efeito da arquitetura.
Nenhuma arquitetura venceu, e o custo foi o que separou
A primeira conclusão do estudo é que o procedimento pesa mais que a arquitetura. Dentro de uma mesma variante, a taxa de sucesso por procedimento foi de menos de 10% nos casos mais difíceis a quase 100% nos mais fáceis.
A segunda conclusão é mais direta de traduzir em orçamento. Todas as variantes coordenadas, de habilidades ou multiagente, gastaram de 1,4 a 4,7 vezes mais tokens e de 2,6 a 5,8 vezes mais tempo que o agente único de referência. Em números absolutos relatados pelos autores, a referência consumiu 24,9 mil tokens e 24 segundos por tarefa. A orquestração redesenhada chegou a 117,3 mil tokens por tarefa, e a versão mais prescritiva do enxame levou 138,6 segundos.
Os ganhos de acerto comprados com esse gasto foram modestos: 5,7 pontos para o agente com habilidades de qualidade alta, a três vezes mais tokens, e cerca de 3 pontos para as variantes de enxame com plano compartilhado. O estudo classifica esses ganhos como pequenos e raramente significativos, e trata o agente único como a opção eficiente por padrão: a mais barata em todos os eixos sem perder competitividade.
A variável que mexeu no resultado foi a implementação
O trecho mais interessante do experimento é um erro corrigido no meio dele.
A primeira implementação de orquestração multiagente ficou em 58,2% de sucesso, abaixo dos 67,4% do agente único, e perdeu em 9 dos 13 procedimentos. Os autores atribuem a queda não à decomposição em si, mas a uma falha de desenho: cada trabalhador via apenas a sua fatia do procedimento e nenhum tinha como resolver uma informação de entrada faltante, então o fluxo terminava registrando decisões de preenchimento vazio.
A segunda implementação deu a cada trabalhador o procedimento inteiro e o conjunto completo de ferramentas, mais uma rodada de redespacho. Com isso, procedimentos que estavam quebrados voltaram: a triagem de admissão de paciente saiu de 13,6% para 98,5%, a classificação de intenção de e-mail foi de 75,8% para 96,2% e a verificação cadastral de empresa subiu de 23,3% para 60,0%. No agregado, essa variante marcou 75,6% contra 67,4% da referência, e foi a única a superar a linha de base com significância estatística, com razão de chances de 1,72 e valor p de 0,007 no teste de efeitos aleatórios relatado no artigo.
O mesmo padrão aparece do lado das habilidades. Os autores criaram uma régua de qualidade de definição de habilidade, com 50 pontos em cinco dimensões, e montaram dois conjuntos pareados. O bem definido chegou a 73,1% de sucesso, contra 59,8% do degradado, diferença de 13,3 pontos. O detalhe que importa: o conjunto degradado ficou abaixo do próprio agente único, sem habilidade nenhuma. Habilidade mal escrita não foi neutra, foi pior que não ter.
Vale registrar o que o estudo não afirma: essa vantagem se concentra em poucos procedimentos longos e ramificados e não passa no teste de sinal feito procedimento por procedimento. A leitura mais plausível não é que habilidade boa garanta resultado, e sim que a especificação do trabalho explicou mais variação do que a contagem de agentes.
Por que isso muda a conversa de projeto
A consequência prática tem dois lados, e os dois entram na mesma reunião.
O primeiro é de prioridade. Boa parte da discussão de projeto hoje gira em torno de topologia: quantos agentes, quem orquestra, qual framework. Os números sugerem retorno baixo nessa discussão. A diferença decisiva entre a orquestração que perdeu e a que ganhou não foi o número de agentes, foi o que cada agente conseguia ver e resolver. Isso coloca o insumo do projeto no território de processo documentado, não de engenharia de modelo.
O segundo é de custo operacional. Multiplicador de token e multiplicador de latência são itens de caso de negócio, e costumam ser subestimados na prova de conceito, onde o volume é pequeno e o tempo de resposta não incomoda ninguém. A diferença entre 24 segundos e 138,6 segundos por tarefa muda o que pode ser síncrono, o que precisa de fila e o que o usuário aceita esperar. E como o teste roda sobre ferramentas simuladas, sem a instabilidade de serviços reais, esses tempos tendem a ser piso, não teto.
A variante mais precisa foi também a mais cara em tokens das oito: mesmo quando a coordenação funciona, ela continua cobrando.
Os limites do que foi medido
O estudo é explícito sobre o próprio alcance.
- Natureza da publicação: preprint em arXiv, sem revisão por pares, sem declaração de financiamento nem de conflito de interesse. As filiações informadas são Amazon e Universidade de Washington, e o contato de correspondência é um endereço corporativo da Amazon. O benchmark usado também saiu de equipe de pesquisa da Amazon e compartilha o primeiro autor, ou seja, método de avaliação e objeto avaliado não são independentes entre si.
- Natureza do ambiente: os procedimentos têm tema corporativo, mas são sintéticos, com ferramentas simuladas de resposta determinística. Os próprios autores afirmam que as conclusões podem não se transferir para procedimentos de produção.
- Modelo único: todas as variantes rodaram sobre uma família de modelo, e os autores não reivindicam que a ordenação, os multiplicadores de custo ou a reviravolta entre as duas orquestrações se repitam em outras famílias.
- Implementação única: cada arquitetura foi testada em uma implementação, sensível a escolhas de prompt e de controle de fluxo. O contraste de qualidade de habilidade foi uma degradação em bloco, não o efeito isolado de um campo.
- Tamanho da amostra: com 13 procedimentos, o erro padrão entre procedimentos fica na casa de 7 a 9 pontos e domina as diferenças observadas. Daí a maior parte das comparações não ser significativa.
E a faixa que vai de menos de 10% a quase 100% diz algo que nenhuma média resolve: a dificuldade da tarefa manda no resultado. Nenhum percentual agregado deve ser lido como taxa de sucesso esperada em produção.
O que o estudo sustenta
A recomendação dos autores cabe em uma ordem de trabalho: começar simples, medir o ganho marginal de sucesso nos procedimentos que realmente interessam, corrigir falhas de implementação antes de trocar de família de arquitetura e mudar de desenho só quando o ganho justificar o custo. Na formulação do artigo, complexidade arquitetural deve ser conquistada por evidência, não presumida como melhoria.
Para a empresa que está montando seu primeiro agente, a utilidade do trabalho não é dizer qual arquitetura escolher. É mostrar onde a conta é feita: no procedimento escrito com clareza suficiente para alguém executar, e na soma de tokens e segundos que cada camada de coordenação cobra para funcionar.
Leia também: Reavaliação reduz a vantagem dos modelos de fundação sobre árvores ajustadas na previsão de churn


