Somos maus estatísticos intuitivos. Os LLMs também.

Eu estava mochilando por Foz do Iguaçu com o Rápido e Devagar, do Kahneman, na mochila, quando dois outros mochileiros perguntaram do que o livro tratava. Contei a armadilha mais famosa dele: um rapaz é descrito como tímido e prestativo. Ele é bibliotecário ou fazendeiro?

Os dois disseram bibliotecário. Todo mundo diz. Só que existem muito mais fazendeiros do que bibliotecários, então a resposta sem graça é a mais provável. A descrição ganha e a taxa de base perde. Não somos estatísticos intuitivos, e quem constrói com modelos de linguagem não é exceção.

Um modelo não consulta uma resposta. A cada passo ele tem uma distribuição de probabilidade sobre o próximo token e sorteia dela. Temperatura e top-p não deixam o modelo mais criativo nem mais cuidadoso; eles mudam o formato dessa distribuição antes do sorteio. A maioria dos times ajusta esses valores do jeito que meus amigos do hostel chutaram: no feeling, a partir de uma demo.

Fig. 1 — Amostrador do próximo tokenmodelo de brinquedo · 8 tokens

Carregando a figura interativa…

Versão estática: com temperatura 0,8 e top-p 0,9, “tests” sai em 44% das vezes; DNS, intern e moon ficam de fora.

Desça a temperatura para 0,1 e “tests” ganha todas as vezes: determinístico e confiantemente sem graça. Suba para 2 e “moon” começa a aparecer no seu resumo de incidente. O top-p é o guarda-corpo. Ele corta a cauda antes do sorteio, então uma temperatura alta não alcança tokens que nunca foram plausíveis. Nada disso aparece numa resposta só. Aparece quando você sorteia mil vezes, que é exatamente o que seus usuários vão fazer por você.

Três portas

No hostel eu puxei o problema de Monty Hall. Três portas, um carro, duas cabras. Você escolhe uma porta. O apresentador, que sabe onde está o carro, abre outra e mostra uma cabra, e oferece a troca. Os dois disseram que tanto fazia: sobraram duas portas, cinquenta por cento. Jogue uma rodada e depois deixe a máquina jogar mil.

Fig. 2 — Monty Hall, ao vivosimulação

Carregando a figura interativa…

Versão estática: ficar ganha 1 em 3; trocar ganha 2 em 3.

Trocar ganha duas vezes em três. Sua primeira escolha acerta um terço das vezes, então erra dois terços, e o apresentador acabou de mostrar onde não olhar. A escolha dele é evidência, e evidência muda a distribuição. Isso é Bayes, e é também o trabalho inteiro com modelos de linguagem: o prompt, os documentos recuperados e os exemplos são evidências que mexem naquilo de onde o modelo sorteia. A temperatura só decide até onde dessa distribuição você deixa ele ir.

Teve mais uma armadilha naquela noite, e é a que mais vejo hoje em avaliações. Um atacante do Fluminense marca 1 de 3 chutes no Brasileirão e 95 de 97 na Libertadores. Um do Flamengo é melhor nos dois: 101 de 300 e 96 de 97. Some os totais e o Fluminense vence, 96% a 50%. Paradoxo de Simpson. Um modelo pode ganhar do baseline em todas as fatias da sua avaliação e perder no total, ou o contrário.

Então eu escolho a temperatura por feature, a partir de amostras. Julgo mudanças de prompt em centenas de execuções, nunca na resposta única da demo. E quebro toda avaliação por segmento antes de acreditar no total.