Observabilidade de agentes de IA: LangSmith vs Langfuse vs Helicone (e o que cada um NÃO faz)

O que é observabilidade de agentes

Ao contrário de chatbots simples, agentes operam como loops — recebem objectivos, decidem acções, chamam ferramentas, processam resultados e iteram. Cada passo representa um span com custos, latência e decisões associadas.

Os quatro pilares: tracing (estrutura do loop), métricas (comprimento do loop, taxa de erro de ferramentas, custo por tarefa bem-sucedida), evals (avaliação offline) e alertas (loops infinitos, limiares de custo, picos de erro).

Três Plataformas Comparadas

LangSmith

Melhor para: equipas usando LangChain ou LangGraph
Preço: plano gratuito (5k traces/mês, retenção 14 dias); Plus a $39/assento
Pontos fortes: integração profunda com framework, state diffs nó-a-nó, replay de execuções
Limitações: valor limitado fora do ecossistema LangChain; auto-hospedagem restrita ao plano Enterprise

Langfuse

Melhor para: equipas querendo flexibilidade open-source com suporte multi-framework
Preço: plano gratuito; Pro a partir de $50/mês; auto-hospedagem via Docker Compose
Pontos fortes: suporte nativo OpenTelemetry, agnóstico a frameworks, gestão de prompts com versionamento e A/B testing
Limitações: requer operar ClickHouse para deployments auto-hospedados

Helicone

Estado: modo de manutenção (adquirido pela Mintlify em março de 2026)
Recomendação: não adequado para novos projectos; deployments de produção existentes podem continuar durante migração gradual

Implementando Langfuse Auto-hospedado com Laravel

git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d

composer require curaceldev/langfuse-laravel
php artisan vendor:publish --provider="Curacel\Langfuse\LangfuseServiceProvider" --tag="langfuse-config"

Três Métricas que Transformam o Jogo

1. Comprimento do Loop por Tipo de Tarefa: detecta quando tarefas requerem mais passos que o baseline
2. Taxa de Sucesso de Tool Call: monitoriza fiabilidade por ferramenta; quedas repentinas indicam falhas de integração
3. Custo por Tarefa Bem-sucedida: mede custo real por outcome bem-sucedido, contabilizando retentativas