O agente disse “feito”. O sistema não contou a mesma história.
Um cliente pede cancelamento. O agente consulta uma política, recebe uma aprovação humana, chama uma ferramenta e responde que concluiu.
Dias depois, o cliente volta. No CRM existe uma anotação. No sistema responsável, o contrato continua ativo. A equipe abre a conversa, procura o prompt, pergunta no grupo e tenta descobrir se houve erro de regra, ferramenta, aprovação ou mensagem.
Há muito registro. Falta rastro.
Auditar uma ação de agente de IA é conseguir reconstruir o caminho entre pedido, decisão, autorização, execução e estado final. A transcrição inteira pode ajudar. Sozinha, não prova que a ferramenta fez o que o texto anunciou.
Resposta curta
Para provar o que aconteceu, ligue oito peças com identificadores estáveis:
- pedido: quem solicitou o quê e em qual contexto;
- decisão: qual intenção e qual risco o agente classificou;
- regra: versão, fonte e trecho que sustentaram a proposta;
- autorização: quem ou qual política permitiu a ação, com limite e validade;
- execução: ferramenta, entrada, tentativa, horário e versão do agente;
- resultado: resposta técnica e estado confirmado no sistema responsável;
- comunicação: o que foi dito ao cliente;
- revisão: QA, correção, reversão e dono posterior.
O registro de execução do agente de IA organiza esse mínimo numa página copiável. Num piloto estreito, uma planilha com acesso restrito já resolve. O valor não está no software de observabilidade. Está em parar de misturar intenção, tentativa e resultado como se fossem a mesma coisa.
Conversa, log e auditoria não são sinônimos
A conversa mostra o que cliente e agente trocaram. O log técnico mostra eventos do sistema. O rastro de auditoria permite atribuir e reconstruir uma ação relevante.
| Registro | Responde melhor a qual pergunta? | Limite |
|---|---|---|
| transcrição | o que foi dito? | pode não mostrar ferramenta, autorização nem estado final |
| log de aplicação | qual evento o software registrou? | pode ser ruidoso e sem significado operacional |
| trace técnico | por onde a execução passou e quanto demorou? | não decide sozinho qual regra de negócio valia |
| trilha de auditoria | quem pediu, quem autorizou, o que mudou e com qual prova? | exige desenho de campos, acesso, retenção e integridade |
| registro de QA | o resultado estava correto e o cliente foi bem atendido? | normalmente cobre amostra, não toda execução |
A OWASP observa que logs operacionais, de transação, auditoria e segurança podem ter objetivos diferentes e, muitas vezes, devem permanecer separados. Isso evita dois extremos: guardar tudo no mesmo lugar ou acreditar que um log de servidor responde uma pergunta de negócio.
O primeiro identificador nasce antes da ferramenta
Se o agente vai cancelar, cobrar, remarcar, atualizar ou enviar, crie um identificador para a intenção antes da execução.
Exemplo:
acao-20260807-8472-remarcacao-01
Esse identificador precisa acompanhar:
- conversa ou ticket;
- pedido do cliente;
- versão do agente;
- regra e fonte;
- aprovação, quando houver;
- chamada de ferramenta;
- resposta recebida;
- registro no sistema responsável;
- mensagem enviada;
- revisão ou correção.
Sem essa ligação, a equipe tenta correlacionar horário, nome e texto parecido. Funciona até aparecerem duas ações iguais, dois clientes com nome igual ou uma resposta atrasada. Ou seja: funciona justamente antes de ser necessário.
Registre estado, não só texto
O agente pode dizer “cancelei” por três caminhos ruins:
- entendeu que deveria cancelar e confundiu intenção com execução;
- chamou a ferramenta e tratou ausência de erro como sucesso;
- recebeu sucesso técnico, mas o estado de negócio não mudou como esperado.
Por isso, separe:
| Etapa | Estado possível |
|---|---|
| proposta | sugerida, recusada, corrigida ou pendente |
| autorização | não exigida, pendente, válida, expirada ou negada |
| tentativa | não iniciada, enviada, rejeitada, timeout ou concluída |
| efeito | não alterado, alterado, parcialmente alterado ou desconhecido |
| confirmação | ausente, resposta técnica, consulta posterior ou conferência humana |
| comunicação | não enviada, enviada, entregue ou corrigida |
A evidência mais forte vem do sistema que responde pelo estado. Para agenda, é a agenda. Para cobrança, é o sistema financeiro. Para cadastro, é a base responsável. O resumo do agente é interpretação; não é fonte de verdade por promoção automática.
A versão da regra precisa viajar com a ação
Guardar apenas o texto final não explica por que o agente agiu.
Registre pelo menos:
- identificador e versão do agente;
- versão da regra ou política;
- fonte consultada;
- data de vigência da fonte;
- decisão ou categoria atribuída;
- exceção encontrada;
- dado ausente que poderia mudar o resultado.
Quando a política muda, duas conversas parecidas podem ter respostas diferentes e ambas estarem corretas no seu momento. Sem versão, a revisão vira debate sobre qual documento alguém lembra ter visto.
O guia Mudou a regra do agente de IA. Como publicar sem quebrar? mostra como preservar antes, depois, casos de teste e caminho de volta.
Aprovação só entra no rastro se estiver ligada ao efeito
Um clique humano isolado prova pouco.
A trilha precisa responder:
- quem aprovou;
- qual função ou autoridade tinha;
- qual ação exata viu;
- qual valor, alvo, prazo e escopo autorizou;
- qual versão da regra estava na tela;
- quando a aprovação expirava;
- qual tentativa usou aquela autorização;
- qual estado foi confirmado depois.
Se a pessoa aprovou R$ 80 e a ferramenta executou R$ 800, guardar “aprovado por Ana” não reconstrói o controle. Só registra presença humana.
O cartão de aprovação humana ajuda a definir o que precisa aparecer antes do clique. O rastro de execução fecha o outro lado: o que realmente aconteceu depois.
Fluxo de evidência da ação
Um registro mínimo que cabe numa planilha
Comece com estas colunas:
| Campo | Exemplo |
|---|---|
| ID da ação | acao-20260807-8472-remarcacao-01 |
| conversa ou ticket | conv-8472 |
| ação e objeto | remarcar reserva 441 para quinta às 15h |
| versão | agente 18; regra agenda 7 |
| fonte | política de remarcação vigente em 07/08 |
| autorização | cliente confirmou; sem aprovação interna adicional |
| ferramenta | agenda; tentativa tool-921 |
| retorno técnico | sucesso às 10:31:08 |
| estado confirmado | nova data consultada na agenda às 10:31:10 |
| mensagem | confirmação enviada com protocolo |
| QA | amostra aprovada; sem correção |
| retenção e acesso | 90 dias; operação e segurança |
Não comece capturando cada prompt, documento, token e resposta completa. Primeiro descubra quais campos permitem resolver as perguntas que a operação realmente recebe.
O que não deveria entrar no log por reflexo
Observabilidade sem contenção pode criar outro incidente: um depósito de dados pessoais, credenciais e conteúdo sensível com acesso amplo.
Evite registrar em texto aberto:
- senha, token, chave ou credencial;
- documento completo quando um identificador protegido basta;
- cartão, dado financeiro ou dado de saúde sem necessidade clara;
- conteúdo integral de ferramenta quando status e referência resolvem;
- instrução interna sensível entregue a qualquer analista;
- transcrição inteira por tempo indefinido;
- raciocínio interno do modelo como se fosse prova necessária.
A OWASP recomenda remover ou mascarar dados sensíveis e decidir o nível de registro conforme risco e finalidade. O desenho prático é guardar referência, versão, categoria e resultado sempre que isso bastar; abrir conteúdo detalhado apenas para pessoas autorizadas e por tempo definido.
Pergunte para cada campo:
- qual investigação ou decisão usa isto?;
- quem precisa acessar?;
- por quanto tempo?;
- dá para guardar referência em vez de conteúdo?;
- como detectar alteração ou exclusão indevida?;
- o que acontece se esse registro vazar?
Se ninguém sabe responder a primeira pergunta, talvez seja só acúmulo com custo jurídico.
Trace técnico ajuda, mas o padrão ainda está evoluindo
As convenções de GenAI do OpenTelemetry distinguem operações como invocar agente, invocar workflow e executar ferramenta. Isso ajuda a correlacionar chamadas e tempos entre componentes.
A própria especificação marca essas convenções como em desenvolvimento. Use-a como vocabulário técnico útil, não como política de auditoria pronta.
Um trace pode mostrar:
- qual agente foi invocado;
- qual workflow participou;
- qual ferramenta executou;
- duração e tipo de erro;
- relação entre etapas.
Ainda cabe à operação acrescentar o que o trace não conhece sozinho: qual regra valia, quem tinha autoridade, qual estado de negócio importa, o que o cliente ouviu e qual correção encerrou o caso.
Cinco perguntas que o rastro precisa responder em minutos
Escolha uma ação real e tente responder:
- Por que o agente decidiu agir?
- Quem ou qual política autorizou?
- Qual ferramenta recebeu qual pedido?
- Qual sistema confirmou o estado final?
- O que foi comunicado e corrigido depois?
Se a resposta depende de abrir quatro sistemas e perguntar para três pessoas, existe informação. Ainda não existe uma trilha utilizável.
Teste o rastro com casos ruins
Preencha o registro de execução e simule:
| Caso | O que precisa aparecer |
|---|---|
| regra muda entre decisão e execução | ação para ou exige nova decisão |
| aprovação expira | ferramenta rejeita ou pede nova autorização |
| chamada retorna timeout | estado fica desconhecido; não há confirmação inventada |
| ferramenta executa duas vezes | identificador revela duplicidade e permite correção |
| mensagem diz sucesso, sistema diz falha | divergência gera alerta e contato corretivo |
| alguém altera o registro | integridade, autoria e horário da alteração ficam visíveis |
| cliente contesta | equipe reconstrói pedido, regra, ação e estado sem depender de memória |
O teste não termina quando o dashboard mostra uma linha. Termina quando uma pessoa consegue localizar o erro e decidir o próximo passo sem expor mais dado do que precisa.
Quando o caminho simples basta
Uma planilha ou tabela protegida funciona quando:
- há um agente ou fluxo estreito;
- poucas ações mudam estado;
- os sistemas fornecem identificadores consultáveis;
- uma pessoa revisa falhas no mesmo turno;
- versões de regra são poucas e conhecidas;
- acesso e retenção podem ser controlados;
- o volume permite amostragem e investigação manual.
Faça você mesmo. Registre dez ações, provoque duas falhas e tente reconstruí-las no dia seguinte. Isso ensina mais do que escolher ferramenta de observabilidade pelo desenho da tela.
Onde começa a quebrar
O controle manual perde força quando:
- vários agentes usam as mesmas ferramentas;
- voz, WhatsApp, CRM e sistemas internos produzem registros separados;
- diferentes versões atendem ao mesmo tempo;
- aprovação e execução ficam em plataformas distintas;
- uma ação gera outras ações encadeadas;
- QA não consegue localizar a amostra certa;
- incidentes exigem pausa e reconciliação em minutos;
- acesso, retenção e mascaramento variam por dado;
- ninguém liga correção de operação à mudança de regra.
Aí não basta ter logs. É preciso operar identidade, versão, autorização, ferramenta, estado, evidência, QA e correção como uma sequência.
É nesse cenário que uma camada de gestão de agentes em produção pode fazer sentido. Antes disso, monte o registro mínimo e descubra qual pergunta sua operação ainda não consegue responder.
Quando a reconstrução prova que o erro já chegou ao cliente, o trabalho continua. O guia Agente de IA errou. Quem corrige com o cliente? separa contenção, alcance, estado real, contato corretivo e fechamento.
O teste mais honesto
Pegue uma ação concluída ontem. Esconda a transcrição e tente provar, apenas pelos registros, quem pediu, qual regra valia, quem autorizou, o que a ferramenta fez e qual estado ficou no sistema responsável.
Depois faça o contrário: abra a conversa e esconda o log técnico.
Se nenhuma das duas visões fecha a história, o problema não é falta de dashboard. É falta de ligação.
Vídeo
Eu não encontrei um vídeo em português que eu usaria como resposta principal para esta rotina. Há material sobre tracing, observabilidade e logs de LLM. Pouco começa numa contestação de cliente e reconstrói regra, aprovação, ferramenta, estado, mensagem e correção sem despejar dados sensíveis na tela.
Se bastante gente pedir, este assunto entra na fila de gravação. Não é promessa.