AI21 Labs

AI21 Labs powstało w Tel Awiwie w 2017 roku z inicjatywy profesora Stanforda Yoava Shohama, Ori Goshena i Amnona Shashuy, znanego przede wszystkim jako założyciel Mobileye. Pierwszym produktem był asystent pisania Wordtune (2020). Rok później pojawił się Jurassic-1, który ze 178 miliardami parametrów należał do największych publicznie dostępnych modeli językowych swoich czasów, nieznacznie wyprzedzając GPT-3.

Najgłośniejszy był Jamba z 2024 roku, który przeplata warstwy Transformera z warstwami Mamby i mieszaniną ekspertów. Założenie jest takie, że warstwy uwagi zapewniają precyzję, a warstwy przestrzeni stanów trzymają zużycie pamięci w ryzach, co pozwoliło uzyskać okno kontekstu o długości 256 000 tokenów na jednym GPU. Od tamtej pory firma skupia się na klientach korporacyjnych, a nie na konsumenckich czatbotach.