BLT
Meta’nın Aralık 2024 mimarisi: belirteçleyiciyi tümden bırakır, ham baytları metnin ne kadar öngörülebilir olduğuna göre dinamik boyutlu yamalara gruplar.
Sabit bir sözlüğün bilinen sorunları var: az temsil edilen dillerde saçma token sayıları, yazım hataları ve nadir karakterlerde parçalanma, modelin bir sözcüğün içindeki harfleri görememesi. Doğrudan ham baytla çalışmak ise çok pahalı, çünkü diziler kabaca dört kat uzar. BLT bunu, sonraki baytın entropisini tahmin eden küçük bir modelle çözer: belirsizliğin sıçradığı yere yama sınırı koyar. Öngörülebilir metin uzun, zor malzeme kısa yamalara paketlenir. Hesaplama böylece gerektiği yere düşer. Ölçekleme deneyleri, eşit eğitim bütçesinde Llama 3 ile denklik ve gürültülü girdiye karşı daha iyi dayanıklılık gösterdi.