Helicone
Więcej informacji
- Twórcy
- Justin Torre, Cole Gottdank, Scott Nguyen, Barak Yacoby
- Rok wydania
- Typ
- Obserwowalność LLM + proxy/brama
- Licencja
- Apache 2.0 (rdzeń)
- Strona
- helicone.ai
Obserwowalność LLM przez proxy — zmieniasz OPENAI_BASE_URL na Helicone i wszystko loguje się automatycznie. Albo używasz asynchronicznego SDK, by dodać minimalne opóźnienie.
Trzy tryby architektury: proxy (najprostszy, ok. 5–50 ms opóźnienia), asynchroniczny logger (bez dodatkowego opóźnienia) i brama. Cache, ograniczanie liczby żądań, ponowienia i przełączanie między dostawcami (gdy OpenAI padnie, ruch idzie do Anthropic). Konkurenci w modelu proxy: Portkey, LiteLLM Gateway, Cloudflare AI Gateway. W modelu SDK (bez proxy): Langfuse, LangSmith, Weave, Phoenix.