MoE
複数の「エキスパート」ネットワークを持ち、トークンごとに一部だけを動かすモデル構造。巨大なモデルを安く動かせる。
Mixtral 8x7B は7B規模のエキスパートを8個持つが、同時に動くのは2個だけ。全部を毎回動かさずに済むので、パラメータ数を兆単位まで増やせる。現代の大規模モデルの多くがこの方式を採っている。
複数の「エキスパート」ネットワークを持ち、トークンごとに一部だけを動かすモデル構造。巨大なモデルを安く動かせる。
Mixtral 8x7B は7B規模のエキスパートを8個持つが、同時に動くのは2個だけ。全部を毎回動かさずに済むので、パラメータ数を兆単位まで増やせる。現代の大規模モデルの多くがこの方式を採っている。