AI21 Labs

AI21 Labs основали в Тель-Авиве в 2017 году профессор Стэнфорда Йоав Шохам, Ори Гошен и Амнон Шашуа, более известный как создатель Mobileye. Первым продуктом стал помощник для письма Wordtune (2020). Годом позже появилась Jurassic-1: 178 млрд параметров делали её одной из крупнейших общедоступных языковых моделей своего времени, чуть опередившей GPT-3.

Больше всего шума наделала Jamba (2024), чередующая слои Transformer со слоями Mamba и смесью экспертов. Идея в том, что слои внимания дают точность, а слои пространства состояний не дают памяти раздуваться, — отсюда контекстное окно в 256 000 токенов на одном GPU. С тех пор компания ориентируется на корпоративных клиентов, а не на потребительские чат-боты.