Helicone
Observabilidade de LLM via proxy: troque o OPENAI_BASE_URL pelo do Helicone e tudo passa a ser registrado automaticamente. Ou use o SDK assíncrono para latência mínima.
Três modos de arquitetura: proxy (o mais simples, ~5–50 ms de latência extra), logger assíncrono (sem latência extra) e gateway. Cache, limitação de taxa, retentativas e failover entre provedores (se a OpenAI cair, passa para a Anthropic). Concorrentes no modelo de proxy: Portkey, LiteLLM Gateway, Cloudflare AI Gateway. No modelo de SDK (sem proxy): Langfuse, LangSmith, Weave, Phoenix.