Groq
Meer info
- Oprichter
- Jonathan Ross (ex-Google TPU)
- Jaar
- Type
- AI-inferentiehardware (LPU) en beheerde API
- Officiële site
- groq.com
Hardwarestartup met een ‘LPU’ (Language Processing Unit): een chip die speciaal is ontworpen voor LLM-inferentie en per token 5–10× sneller is dan een gpu.
Jonathan Ross richtte Groq op nadat hij bij Google het TPU-project had geleid. De gehoste API draait onder meer Llama 3, Mixtral en Whisper met 300–700+ tokens per seconde, tegenover zo’n 30–80 bij GPT-4 Turbo. De planning is deterministisch: van elk token is vooraf precies bekend hoe lang de productie duurt. Concurrenten zijn Cerebras Inference (chip ter grootte van een wafer, ook erg snel), SambaNova, Etched (ASIC speciaal voor transformers) en Tenstorrent (Jim Keller). Niet te verwarren met ‘Grok’, het LLM van Elon Musk.