Helicone
Mehr Infos
- Erstellt von
- Justin Torre, Cole Gottdank, Scott Nguyen, Barak Yacoby
- Jahr
- Typ
- LLM-Observability + Proxy/Gateway
- Lizenz
- Apache 2.0 (Kern)
- Offizielle Website
- helicone.ai
LLM-Observability per Proxy — man ändert einfach die OPENAI_BASE_URL auf Helicone, und schon wird alles automatisch protokolliert. Oder man nutzt das asynchrone SDK für minimale Latenz.
Drei Architekturmodelle stehen zur Wahl: Proxy (am einfachsten, etwa 5–50 ms zusätzliche Latenz), asynchroner Logger (keine zusätzliche Latenz) und Gateway. Dazu kommen Caching, Rate-Limiting, Retries und Multi-Provider-Failover (fällt OpenAI aus, springt das System auf Anthropic um). Konkurrenz mit Proxy-Modell: Portkey, LiteLLM Gateway, Cloudflare AI Gateway. SDK-Modell ohne Proxy: Langfuse, LangSmith, Weave, Phoenix.