Toolformer
LLMが外部ツール（電卓、検索API、翻訳、カレンダー）の呼び出しを自己教師あり学習で身につけられることを示した、Metaの2023年2月の論文。のちの「ツール利用」や「エージェント」の先駆けとなった。
手法は、LLM自身の学習データに[Calculator(2+2)]のような呼び出し候補を生成させ、次トークンのパープレキシティを実際に下げた呼び出し（ツールが本当に役立ったもの）だけを残すというもの。結果として、67億パラメータのモデルが、学習したツール利用によって数学でGPT-3を上回った。この考え方は今やChatGPTのFunction Calling、Claudeのツール利用、Llamaのツール利用で標準になっている。論文はOpenAIがFunctionsを公開する半年前に、その方向を予見していた。