Baseline humano
Quanto o processo acerta hoje, feito por gente. Sem esse número, "o agente errou" não significa nada.
Em uma frase
A medida de como o processo funciona hoje, executado por pessoas. É o número contra o qual o desempenho do agente precisa ser comparado.
Antes
Processo feito por gente hoje
O que ele faz
Medir erro, tempo, custo e retrabalho
Depois
A régua contra a qual o agente é comparado
Analogia
Quando contrata um funcionário, a empresa compara o candidato com quem faz o trabalho hoje, sem exigir perfeição. Com agente, a empresa esquece isso e passa a exigir 100% de um processo que nunca chegou perto disso.
Exemplo
Antes de automatizar qualquer coisa, a equipe mediu 80 cartas escritas por voluntários: 25 minutos por carta, 3,2% com algum erro factual, 8% devolvidas na revisão, 11 dias de fila média na alta temporada. Esses quatro números viraram a linha de base.
Quando o agente chegou a 1,9% de erro factual, a conversa deixou de ser "ele erra" e passou a ser "ele erra menos que nós, e a fila caiu de 11 dias para 4 horas". A decisão de subir o nível de autonomia passou a ser tomada com números na mesa.
O erro comum
Exigir do agente uma perfeição que nunca se exigiu do humano. Sem baseline, o primeiro erro do agente vira argumento para cancelar o projeto, enquanto o processo manual, que erra mais, segue rodando sem ninguém medir.
O erro simétrico custa o mesmo: sem baseline, ninguém percebe quando o agente piora, porque nunca se definiu o que era "melhor".
Na prática
- Meça antes de construir, sobre uma amostra real de 30 a 100 casos.
- Use exatamente os mesmos critérios que os evals vão usar depois, senão a comparação não fecha.
- Registre quatro coisas no mínimo: taxa de erro, tempo por caso, custo por caso e taxa de retrabalho.
- Se o processo atual não é mensurável, isso já é o primeiro achado do projeto, e normalmente o mais útil. Registre o achado e siga com a medição.
Como tangibilizar
Medir 30 a 100 casos do processo atual: taxa de erro, tempo, custo e retrabalho. Uma planilha basta.