LLM-as-Judge
Um modelo avalia a saída de outro, em escala, nos critérios que só um humano julgaria, desde que tenha rubrica e calibração.
Em uma frase
Usar um modelo de IA para avaliar a saída de outro, em escala, nos critérios subjetivos que seriam caros demais para submeter a julgamento humano caso a caso.
Antes
Critério subjetivo: tom, dignidade
O que ele faz
Modelo avalia com rubrica explícita
Depois
Nota e justificativa, em escala
Analogia
O segundo corretor de uma redação de vestibular. Ele não escreve nada, só julga, com uma rubrica na mão. Sem a rubrica, a nota dele valeria pouco.
Exemplo
O critério "a carta trata a criança com dignidade" não cabe em nenhuma regra automática. Então um juiz recebe a carta junto com uma rubrica explícita, que penaliza:
- linguagem de pena ou de carência como tema central
- comparações que diminuem a criança
- foco no que falta em vez do que progrediu
- promessas que a organização não pode cumprir
Ele devolve nota de 1 a 5, a justificativa e o trecho citado. Custo: R$ 3 para as 200 cartas, contra cerca de 10 horas de coordenação.
O erro comum
Perguntar "isso está bom?" e aceitar a nota. Juiz sem rubrica dá 4 de 5 para quase tudo, e a suíte passa a produzir números bonitos que não medem nada.
Pior ainda é nunca calibrar o juiz. Pegue 30 casos que humanos já avaliaram e veja se ele concorda com as notas. Se concorda em 60% das vezes, está gerando número sem avaliar nada.
Terceiro erro: usar o mesmo modelo que escreveu para julgar o que escreveu. Ele tende a gostar do próprio texto.
Na prática
- Rubrica explícita, com um exemplo de nota 1 e um de nota 5. O trabalho de verdade está na rubrica; o modelo só a aplica.
- Saída estruturada: nota + justificativa + trecho citado. A justificativa importa mais que a nota, porque é o que você lê quando o número surpreende.
- Modelo diferente do gerador, sempre que possível.
- Recalibre contra julgamento humano a cada trimestre, ou sempre que trocar de modelo.
Como tangibilizar
Uma rubrica escrita, com exemplo de nota mínima e máxima, mais a chamada que a aplica em escala.
Conecta com