Helicone
詳細情報
- 作成者
- Justin Torre, Cole Gottdank, Scott Nguyen, Barak Yacoby
- 公開
- 2023年(YC W23)
- 種類
- LLMオブザーバビリティ + プロキシ/ゲートウェイ
- ライセンス
- Apache 2.0(コア部分)
- 公式サイト
- helicone.ai
プロキシ型のLLMオブザーバビリティ。OPENAI_BASE_URL をHeliconeに向けるだけで、すべてのリクエストが自動で記録される。遅延を抑えたければ非同期SDKも使える。
構成は三通りある。プロキシ(最も簡単で、遅延は約5〜50ms増える)、非同期ロガー(追加遅延なし)、ゲートウェイだ。キャッシュ、レート制限、リトライ、複数プロバイダ間のフェイルオーバー(OpenAIが落ちたらAnthropicへ切り替え)も備える。プロキシ型の競合はPortkey、LiteLLM Gateway、Cloudflare AI Gateway。SDK型(プロキシなし)ならLangfuse、LangSmith、Weave、Phoenixがある。