Toolformer
Paper van Meta (feb. 2023) die liet zien dat een LLM zelfgesuperviseerd kan leren externe tools aan te roepen (rekenmachine, zoek-API, vertaling, agenda). Baanbrekend werk voor wat 'tool use' en later 'agents' werd.
De methode: laat het LLM in zijn eigen trainingsdata kandidaataanroepen genereren, zoals [Calculator(2+2)]. Behoud de aanroepen die de perplexiteit op het volgende token daadwerkelijk verlagen (de tool was echt nuttig). Resultaat: een model met 6,7 miljard parameters dat GPT-3 versloeg op rekenen dankzij aangeleerd toolgebruik. Het idee is nu standaard in Function Calling van ChatGPT, tool use van Claude en Tool Use van Llama. De Toolformer-paper voorspelde de richting een half jaar voordat OpenAI Functions uitbracht.