Toolformer
Articolo di Meta (febbraio 2023) che mostrò come un LLM possa imparare in modo autosupervisionato a chiamare strumenti esterni (calcolatrice, motore di ricerca, traduzione, calendario): un lavoro pionieristico per l'«uso di strumenti» e poi per gli agenti.
Il metodo: l'LLM genera nei propri dati di addestramento chiamate candidate come [Calculator(2+2)] e conserva solo quelle che riducono davvero la perplessità sul token successivo, cioè quelle in cui lo strumento è stato utile. Risultato: un modello da 6,7 miliardi di parametri che in matematica superava GPT-3 grazie all'uso appreso degli strumenti. L'idea è oggi standard in Function Calling di ChatGPT, nell'uso di strumenti di Claude e in Llama Tool Use; l'articolo aveva anticipato la direzione di mezzo anno rispetto alle Functions di OpenAI.