NOTAS DE QUEM CONSTRÓI · #050

Desligar agente de IA não é fracasso, é o guardrail funcionando

Uma pesquisa com 2.527 líderes de dez países achou uma correlação que não devia existir entre guardrail maduro e taxa de rollback de agente de IA.

Welly4 MIN

Desligar agente de IA não é fracasso, é o guardrail funcionando

A reunião onde ninguém quer ser o primeiro a falar

Numa call de status, o time apresenta o agente de atendimento que roda os últimos dois meses em produção. Alguém pergunta: "e se a gente desligar por uma semana pra revisar os prompts?" Silêncio. Ninguém quer propor isso porque parece admitir que o projeto não deu certo. Só que, segundo o maior levantamento sobre agentes de IA em produção publicado neste ano, quem desliga não é quem falhou. É quem está prestando atenção.

O número que devia estar ao contrário

A Sinch entrevistou 2.527 tomadores de decisão sênior em dez países entre janeiro e fevereiro deste ano, e publicou o resultado como "The AI Production Paradox" em agosto. O dado central: 74% das empresas já desligaram ou reverteram um agente de IA que estava rodando em produção, atendendo cliente de verdade.

Até aqui, nada surpreende. IA que erra em produção acontece, e desligar é a reação óbvia. O que quebra a intuição vem no corte seguinte: entre as empresas que descrevem seus guardrails como totalmente maduros, o grupo que mais monitora, mais audita e mais investiu em controle, a taxa de rollback não cai. Sobe, para 81%.

Se governança funcionasse do jeito que a gente vende em proposta comercial, o gráfico devia ser inverso: quanto mais maduro o controle, menos rollback. Não é isso que a pesquisa mostra.

Rollback é sintoma de dois times diferentes

A explicação mais simples também é a mais chata de ouvir: quem não instrumentou o agente não sabe que ele está errando. Sem métrica de acurácia por período, sem trilha de decisão, sem canal de reclamação estruturado, o problema só aparece quando vira reclamação pública. Nesse ponto já é tarde para chamar de rollback controlado, é apagar incêndio.

Time sem guardrail maduroTime com guardrail maduro
Como descobre o problemaCliente reclama, ou vaza nas redesPainel de acurácia cruza o limite definido
Quando desligaDepois que o estrago já apareceuNo dia em que o número cruza a linha
Como o time enxerga o rollbackFracasso do projetoEtapa esperada do processo

Isso muda o que "sucesso" quer dizer num piloto de IA. Sucesso, nesse caso, é ter um jeito de saber, com dado, quando parar.

Vale olhar o Brasil dentro do mesmo levantamento. O país lidera a adoção de agentes de IA em produção entre os dez pesquisados, com 76% das empresas já operando algum, contra média global de 62% e 67% nos Estados Unidos. Brasil também aparece entre os países que mais pretendem aumentar investimento em IA nos próximos meses. Ou seja: a gente está na ponta de colocar agente pra rodar de verdade, o que torna o runbook de desligamento ainda mais urgente por aqui, não menos.

O runbook que falta na maioria dos pilotos

A gente vê o mesmo furo em quase todo diagnóstico: existe plano para ligar o agente e não existe plano para desligar. Três coisas resolvem a maior parte disso, e nenhuma delas exige ferramenta nova.

Primeiro, escrever os gatilhos de rollback antes do agente ir ao ar, não depois, e deixar isso registrado em algo simples de consultar sob pressão:

rollback:
  acuracia_minima: 92%        # janela de 24h
  custo_max_por_interacao: R$ 0,80
  reclamacao_grave_max_dia: 5
  responsavel_pela_decisao: nome da pessoa

Acurácia abaixo de X numa janela de 24 horas, custo por interação acima de Y, reclamação categorizada como erro grave acima de Z num dia. Três critérios bastam, cinco já é difícil de monitorar de verdade.

Segundo, nomear quem decide. Em time pequeno isso parece óbvio até o momento em que ninguém quer ser a pessoa que aperta o botão. Escrever o nome no documento resolve.

Terceiro, testar o próprio processo de rollback antes de precisar dele. Simular o gatilho disparando e cronometrar quanto tempo leva do alerta até o agente sair do ar. Se a resposta for "não sei", esse é o primeiro problema a corrigir, antes de qualquer ajuste de prompt.

Vale considerar também lançar em fatia. Um agente novo não precisa estrear com 100% do volume: uma parcela pequena do tráfego real, com o restante ainda no fluxo anterior, deixa o raio do erro pequeno enquanto o painel de acurácia ainda está sendo calibrado.

O que fazer na segunda de manhã

Abra o painel do agente que está em produção hoje e responda três perguntas por escrito, sem enrolar: qual é o número que dispara o desligamento, quem decide quando isso acontece, e quando foi a última vez que alguém testou esse processo de verdade. Se qualquer uma ficar sem resposta, esse é o próximo item da lista, na frente do próximo recurso do agente.

Na Overflow, a fase de produção de uma implementação de IA entra com controle de acesso e guardrails definidos antes do primeiro dia com tráfego real, para que desligar, quando precisar, seja decisão rápida e não crise.

Fontes

COMPARTILHARLINKEDINXWHATSAPP

// NEWSLETTER

O que a gente aprende, você recebe.

Bastidor de projeto, decisão técnica e o que estamos vendo em IA dentro das empresas. Sem enrolação e sem spam.

// PRÓXIMO PASSO

Tem um problema
parecido?