Regressão
Uma mudança quebra algo que funcionava. Em sistemas de prompt, isso acontece em silêncio.
Em uma frase
Quando uma alteração quebra algo que antes funcionava. Em sistemas baseados em prompt, regressões são silenciosas e frequentes.
Antes
Mudança pequena e localizada
O que ele faz
O comportamento muda onde ninguém olhou
Depois
A suíte inteira revela a quebra
Analogia
Apertar um parafuso e soltar outro do lado oposto, sem ouvir barulho nenhum.
Exemplo
Os padrinhos reclamavam do tamanho das cartas. A equipe acrescentou uma linha ao prompt: "seja conciso".
As cartas encurtaram, mas o agente também parou de chamar a criança pelo nome em 40% dos casos, passando a escrever "a criança" em vez de "a Ana". Ninguém notou por três semanas, porque o critério que estavam acompanhando era o tamanho. Quem percebeu foi um padrinho, perguntando se ainda era a mesma criança.
O erro comum
Testar só o que você mudou. A intuição que vem de software ("mexi no tamanho, testo o tamanho") não vale aqui. O prompt é um bloco único: mexer em uma instrução altera o comportamento inteiro do modelo, inclusive em dimensões que você não citou.
Por isso a regra é rodar a suíte inteira a cada mudança, mesmo quando a mudança foi uma palavra. Seis minutos de suíte custam menos que três semanas procurando o que quebrou.
Na prática
- Rode a suíte completa a cada alteração de prompt, de ferramenta ou de modelo, e também quando você não mudou nada e o fornecedor atualizou o modelo por baixo. Essa é a regressão que mais pega gente desprevenida.
- Guarde o histórico de resultados por versão. A regressão aparece na comparação do número de hoje com o de ontem.
- Um painel simples de "percentual por critério ao longo do tempo" pega a maioria dos casos.
- Toda regressão encontrada vira caso novo no golden dataset, para não acontecer duas vezes.
Como tangibilizar
Rodar a suíte inteira a cada mudança e guardar o histórico de resultados por versão.
Conecta com