StarCoder
BigCodeプロジェクト(Hugging FaceとServiceNow)によるオープンなコードLLM。GitHubの許諾済みコード6TBからなるThe Stackで学習された。
StarCoder 1(15B、2023年5月)、StarCoder 2(3B/7B/15B、2024年2月)が公開された。IDEの補完向けにFIM(fill-in-the-middle)で学習している。ライセンスはBigCode OpenRAIL-Mで、用途制限はあるが基本的にはオープンだ。学習にはオプトインのコードだけを使い、「Am I in the Stack?」サービスで除外を申請できる。
競合はCodex(OpenAI、プロプライエタリ)、Code Llama(Meta)、DeepSeek-Coder、Qwen2.5-Coderなど。ファインチューニングやオンプレミスのIDE補完向けには、今もStarCoderが事実上の「オープンなコードLLM」である。