Groq
Más información
- Creador
- Jonathan Ross (ex-TPU de Google)
- Año
- Tipo
- Hardware de inferencia de IA (LPU) y API gestionada
- Sitio oficial
- groq.com
Empresa de hardware con su propia «LPU» (Language Processing Unit) — un chip diseñado específicamente para inferencia de LLM, entre 5 y 10 veces más rápido que una GPU por token.
Jonathan Ross fundó Groq en 2016, tras liderar el proyecto TPU en Google. Su API alojada sirve Llama 3, Mixtral, Whisper y otros a 300-700+ tokens por segundo (frente a los ~30-80 de GPT-4 Turbo), gracias a una arquitectura determinista: sin caché ni predicción de saltos, por lo que el instante exacto en que sale cada token se conoce de antemano. A cambio, solo sirve para inferencia, no para entrenamiento. Compite con Cerebras Inference (chip a escala de oblea, también muy rápido), SambaNova, Etched y Tenstorrent. Terreno natural: agentes de voz, autocompletado de código y cualquier aplicación donde los tokens por segundo sean directamente experiencia de usuario. No confundir con «Grok», el LLM de Elon Musk.