LLM
O motor. Recebe texto e prevê a continuação mais provável. Memória, decisão e ação são construídas em volta dele.
Em uma frase
Modelo que recebe texto e prevê a continuação mais provável. Não guarda nada entre uma chamada e outra, não tem vontade e não executa nada sozinho. Memória, ferramentas e loop são coisas que alguém constrói em volta dele.
Antes
Todo o texto entra junto
O que ele faz
Prevê a continuação mais provável
Depois
Texto sai
Analogia
É o motor do carro. Um motor sozinho não leva ninguém a lugar nenhum: falta chassi, direção, freio e alguém dizendo para onde ir. Um motor mais potente continua sem chassi e sem freio.
Quase todo projeto de IA que fracassa comprou um motor e achou que tinha comprado um carro.
Exemplo
Você cola a carta da Ana e pede a tradução para o espanhol. Vem boa. Fecha a janela, abre de novo e pede "a mesma coisa da carta anterior", e ele não sabe do que você está falando.
O modelo funciona assim mesmo. Cada chamada começa do zero, e tudo que ele precisa saber tem que ir junto no mesmo pedido. Fazer isso bem se chama Context Engineering, e esse trabalho cabe a você.
O erro comum
Achar que escolher o modelo é o projeto. O modelo é a peça mais fácil de trocar e a decisão mais rápida de tomar. O caro é tudo em volta: o dado alcançável, as regras escritas, o critério de pronto, a avaliação.
Empresa que passa seis meses comparando modelos e nenhum dia escrevendo processo está otimizando a parte errada e vai concluir que "a IA não funciona para o nosso caso".
O segundo erro vem do primeiro: quando o resultado vem ruim, subir para um modelo maior. Na maioria das vezes o que faltava era contexto. Modelo maior com contexto ruim dá a mesma resposta errada, mais caro.
Na prática
- Fixe o modelo e a versão em configuração, num lugar só. Modelo escolhido
por padrão implícito muda embaixo de você sem ninguém perceber.
- Meça custo por resultado. Token é a unidade de medida do modelo; resultado é a
sua.
- Ao trocar de modelo, rode o Golden Dataset antes e depois. Sem isso você
só acha que melhorou.
- Antes de subir de modelo, confira se o problema não é contexto faltando.
- Mesma pergunta duas vezes pode dar respostas diferentes. Isso é
Determinismo vs Variância: faz parte de como o modelo funciona e não é defeito.
Como tangibilizar
Uma linha na configuração dizendo qual modelo e qual versão, com a chave fora do código. Se o nome do modelo estiver espalhado por vários arquivos, ele ainda não está tangibilizado.
Nota
Ele é a peça substituível do sistema, e é assim que deve ser tratado. Modelos mudam a cada poucos meses; o seu Harness, os seus Evals e a sua Ontologia não deveriam mudar junto.
Se trocar de modelo obriga a reescrever o agente, o acoplamento está errado, e isso vai custar caro na primeira vez que um modelo melhor aparecer.