Groq
Daha fazla bilgi
- Kurucu
- Jonathan Ross (eski Google TPU)
- Yayın
- Tür
- Yapay zekâ çıkarım donanımı (LPU) ve yönetilen API
- Resmî site
- groq.com
"LPU" (Language Processing Unit) geliştiren bir donanım girişimi: LLM çıkarımı için özel tasarlanmış, token başına GPU'lardan 5-10 kat hızlı bir çip.
Jonathan Ross, Google'da TPU projesini yönettikten sonra Groq'u kurdu. Barındırma API'leri Llama 3, Mixtral, Whisper ve diğer modelleri saniyede 300-700+ token hızla sunar (GPT-4 Turbo'da bu yaklaşık 30-80'dir). Zamanlama deterministiktir; her token'ın üretim süresi tam olarak bilinir. Rakipler: Cerebras Inference (wafer ölçekli çip, o da çok hızlı), SambaNova, Etched (transformer'a özel ASIC) ve Tenstorrent (Jim Keller). Elon Musk'ın "Grok" LLM'iyle karıştırılmamalıdır.