# De Q-learning a agentes com LLM

> O primeiro agente que treinei precisou de 799 episódios para sair de um labirinto pequeno. Agentes em produção não ganham nenhum ensaio.

- Autor: Marcello Oliveira (https://mrcll.me/about/)
- Publicado: 7 de nov. de 2026
- Temas: AI
- URL: https://mrcll.me/pt/stories/q-learning-to-llm-agents/

O primeiro agente que treinei vivia numa grade. Uma casa valia +1, uma custava −1, uma era parede e o resto era chão vazio. Ele não sabia nada. Aprendia só com recompensas, com a equação de Bellman fazendo a contabilidade:

- no episódio 0, ele vagava;
- no 199, sabia mais e ainda falhava;
- no 599, estava chegando lá;
- no 799, resolvia o labirinto todas as vezes.

Hoje “agente” quase sempre quer dizer um modelo de linguagem num loop: lê o estado, escolhe uma ferramenta, olha o resultado, repete. O vocabulário sobreviveu inteiro. Agente, ambiente, recompensa, política. O que não sobreviveu foi o treino. Ninguém te dá 800 episódios com usuários reais antes de o agente precisar se comportar.

> Figura interativa (QMaze): use a versão web em https://mrcll.me/pt/stories/q-learning-to-llm-agents/

Treine um episódio de cada vez e veja as setas se espalharem para trás a partir do +1, como uma mancha. Zere a penalidade por passo e o agente fica preguiçoso: continua chegando, sem pressa nenhuma. Zere a exploração e ele pode se contentar com o primeiro caminho que funcionou. O labirinto deixa óbvio algo fácil de esquecer com LLMs: a função de recompensa é o design. São as penalidades que fazem o agente terminar rápido.

Num agente com LLM a política já chega treinada: o modelo mais o seu prompt. A recompensa continua sendo sua. Ela vira a avaliação que pontua a trajetória inteira, e não só a resposta final. A penalidade por passo vira o limite de passos, de tokens e de tempo. E uma propriedade do Q-learning vale igualzinho: os valores só continuam certos enquanto o ambiente continua o mesmo. Mudou uma ferramenta, uma API ou um schema, a política antiga ficou velha até você rodar as avaliações de novo.

799 episódios para uma grade de três por quatro. Seu agente em produção ganha zero. Escreva a recompensa primeiro.