Toolformer
Artykuł Mety (luty 2023) pokazujący, że LLM może w sposób samonadzorowany nauczyć się wywoływać zewnętrzne narzędzia (kalkulator, API wyszukiwania, tłumaczenie, kalendarz). Prekursorska praca dla tego, co stało się „tool use”, a później „agentami”.
Metoda: pozwolić LLM generować kandydackie wywołania, takie jak [Calculator(2+2)], w jego własnych danych treningowych. Zachować te, które faktycznie zmniejszają perplexity następnego tokenu (narzędzie rzeczywiście pomogło). Wynik: model z 6,7 mld parametrów, który w matematyce przebił GPT-3 dzięki wyuczonemu użyciu narzędzi. Pomysł jest dziś standardem w Function Calling w ChatGPT, tool use w Claude i Tool Use w Llamie. Artykuł o Toolformerze przewidział kierunek pół roku przed wydaniem Functions przez OpenAI.