AI21 Labs

AI21 Labs è stata fondata a Tel Aviv nel 2017 da Yoav Shoham, professore a Stanford, insieme a Ori Goshen e Amnon Shashua, noto soprattutto come fondatore di Mobileye. Il primo prodotto fu l'assistente di scrittura Wordtune, nel 2020. Un anno dopo arrivò Jurassic-1, che con 178 miliardi di parametri era uno dei modelli linguistici pubblici più grandi dell'epoca, un soffio sopra GPT-3.

Ha fatto più rumore con Jamba, nel 2024, che alterna strati Transformer a strati Mamba e mixture-of-experts. L'idea è che l'attenzione garantisca la precisione mentre gli strati state space tengono sotto controllo la memoria, il che ha permesso una finestra di contesto da 256.000 token su una sola GPU. Da allora l'azienda si è concentrata sui clienti enterprise più che sui chatbot per il grande pubblico.