AI21 Labs

AI21 Labsは2017年にテルアビブで、スタンフォード大学教授のYoav Shoham、Ori Goshen、そしてMobileyeの創業者として知られるAmnon Shashuaによって設立された。最初の製品は2020年の執筆支援ツールWordtune。1年後のJurassic-1は1780億パラメーターで、当時公開されていた言語モデルとしては最大級であり、GPT-3をわずかに上回った。

最も話題になったのは2024年のJambaで、Transformer層とMamba層、さらにMixture-of-Expertsを交互に重ねる。アテンション層が精度を担い、状態空間層がメモリを抑える狙いで、GPU1枚で25万6000トークンのコンテキストウィンドウを実現した。その後は一般消費者向けのチャットボットよりも、企業顧客に力を入れている。