MoE
Birden çok "uzman" ağdan oluşan model mimarisi — belirteç başına yalnızca birkaçı çalıştığı için büyük modelleri çalıştırmak ucuzlar.
Mixtral 8x7B = her biri 7B olan 8 uzman, ama aynı anda yalnızca 2'si çalışır. Ölçeklenebilir: her seferinde hepsini çalıştırmadan trilyonlarca parametreye çıkılabilir. Modern büyük modellerin temelinde yatar.