De Q-learning a agentes com LLM

O primeiro agente que treinei vivia numa grade. Uma casa valia +1, uma custava −1, uma era parede e o resto era chão vazio. Ele não sabia nada. Aprendia só com recompensas, com a equação de Bellman fazendo a contabilidade:

• no episódio 0, ele vagava;
• no 199, sabia mais e ainda falhava;
• no 599, estava chegando lá;
• no 799, resolvia o labirinto todas as vezes.

Hoje “agente” quase sempre quer dizer um modelo de linguagem num loop: lê o estado, escolhe uma ferramenta, olha o resultado, repete. O vocabulário sobreviveu inteiro. Agente, ambiente, recompensa, política. O que não sobreviveu foi o treino. Ninguém te dá 800 episódios com usuários reais antes de o agente precisar se comportar.

Fig. 1 — Um agente aprendendo um labirintoQ-learning · 3 × 4 · γ 0,9

Carregando a figura interativa…

Versão estática: meu primeiro agente ainda falhava no episódio 199 e resolvia um labirinto assim no 799.

Treine um episódio de cada vez e veja as setas se espalharem para trás a partir do +1, como uma mancha. Zere a penalidade por passo e o agente fica preguiçoso: continua chegando, sem pressa nenhuma. Zere a exploração e ele pode se contentar com o primeiro caminho que funcionou. O labirinto deixa óbvio algo fácil de esquecer com LLMs: a função de recompensa é o design. São as penalidades que fazem o agente terminar rápido.

Num agente com LLM a política já chega treinada: o modelo mais o seu prompt. A recompensa continua sendo sua. Ela vira a avaliação que pontua a trajetória inteira, e não só a resposta final. A penalidade por passo vira o limite de passos, de tokens e de tempo. E uma propriedade do Q-learning vale igualzinho: os valores só continuam certos enquanto o ambiente continua o mesmo. Mudou uma ferramenta, uma API ou um schema, a política antiga ficou velha até você rodar as avaliações de novo.

799 episódios para uma grade de três por quatro. Seu agente em produção ganha zero. Escreva a recompensa primeiro.