Levando features com LLM do demo à produção na Deel

O formato do problema

Um demo responde bem uma pergunta, uma vez. Um produto responde milhares, em vários idiomas e países, para pessoas cujo contrato e pagamento dependem da resposta. A distância entre os dois é onde a maioria das features de IA morre.

Meu trabalho é fechar essa distância de ponta a ponta: a chamada ao modelo e o prompt, as APIs e os dados em volta, e a interface que diz a verdade sobre o que o modelo sabe.

O que o time entrega

Features com LLM em produção que validam e geram escopos de trabalho e mapeiam descrições de cargo, dentro dos produtos que as pessoas usam para contratar e pagar times no mundo todo.

Como continua seguro

• Um motor de regras é a rede de segurança: o modelo propõe, regras determinísticas decidem o que passa.
• Toda resposta é saída estruturada, validada contra um schema antes de qualquer código usar.
• Feature flags com LaunchDarkly para liberar aos poucos e voltar atrás com um clique.

Um serviço interno de IA

Estamos migrando as chamadas de modelo do uso direto da OpenAI API para o serviço interno de IA da Deel, com batching e rate limit embutidos. Assim toda feature ganha os mesmos limites, logs e controles, em vez de cada time reconstruir os seus.

Enxergando em produção

O Datadog mostra latência, falhas e uso por feature; o Sentry pega erros; testes end-to-end com Playwright cobrem os fluxos de IA como qualquer outro fluxo crítico. Feature de IA sem observabilidade é um demo que por acaso está no ar.

Como eu conduzo

Conduzo o time para trabalhar de forma AI-native. IA faz parte das ferramentas do dia a dia, não é projeto paralelo. A avaliação e o estado de falha são desenhados antes do caminho feliz, prompts são revisados como código, e a interface sempre tem estados desenhados para pensando, baixa confiança, recusa e falha.