BERT
Model transformerowy Google'a z 2018 roku — przełomowy w rozumieniu tekstu (tylko enkoder, czyta w obu kierunkach).
Inny niż GPT (dekoder, generuje do przodu). Napędzał wyszukiwarkę Google w latach 2019–2024, pomagając rozumieć sens zapytań. Dziś mniej modny, odkąd rządzą modele generatywne, ale architektura enkodera żyje dalej w embeddingach.