Determinismo vs Variância
A mesma entrada pode gerar saídas diferentes. A pergunta certa não é "varia?", é "onde pode variar?".
Em uma frase
Agentes são probabilísticos: a mesma entrada pode produzir saídas diferentes. O processo precisa ser desenhado contando com isso.
Sem isto
Tratar tudo como fixo: sistema engessado — e ainda assim variável.
Com isto
Separar campo livre de campo fixo: variação onde enriquece, validação onde não pode variar.
Analogia
Dois redatores excelentes escrevem cartas diferentes a partir do mesmo relatório. Nenhum dos dois está errado. Quem contrata os dois espera que ambos fiquem dentro do padrão, e não que escrevam textos idênticos.
Exemplo
Duas gerações para a mesma criança produzem cartas diferentes em estrutura e escolha de palavras. Isso é aceitável, e até desejável: 4 mil cartas idênticas soariam a formulário, que é exatamente o oposto do que o programa quer transmitir.
O que não pode variar: os fatos, os dados protegidos pela LGPD, o idioma e a faixa de tamanho.
A equipe separou explicitamente as duas listas, o que é livre (voz, ordem, ênfase) e o que é fixo (fato, LGPD, formato), e só a segunda virou critério de eval com exigência de 100%.
O erro comum
Tratar toda variação como defeito e tentar eliminá-la baixando temperatura e engessando o prompt. O resultado é um sistema pior, que continua variando.
O erro simétrico custa mais caro: tolerar variação onde ela é inaceitável. Variação de tom é aceitável; variação em "esta criança ainda está no programa" nunca é. Por isso, a pergunta útil é onde a saída pode variar.
Na prática
- Classifique cada campo da saída como livre ou fixo. Essa lista é um artefato do projeto e merece ser mantida como tal.
- Os campos fixos vão para validação determinística no código (schema, regex, conferência contra a fonte), e nunca para o prompt.
- Adicione retry com validação, fallback e escalada para humano quando a validação falha duas vezes.
- Meça a variância: rode o mesmo caso 5 vezes e observe o espalhamento. Variância alta em campo fixo é bug de arquitetura, e reescrever a instrução não resolve.
Como tangibilizar
Uma lista dos campos da saída classificados em livre e fixo; os fixos validados em código.
Conecta com