事前学習
LLMの最初の、最も重い学習段階。モデルはインターネット全体を読み、言語を身につける。
特定用途への後付けの適応であるファインチューニングや、役立つ回答を学ぶRLHFとは異なる。魔法が起きるのは事前学習で、知識のほぼすべてはここで得られる。大規模モデルでは数百万ドルかかる。
LLMの最初の、最も重い学習段階。モデルはインターネット全体を読み、言語を身につける。
特定用途への後付けの適応であるファインチューニングや、役立つ回答を学ぶRLHFとは異なる。魔法が起きるのは事前学習で、知識のほぼすべてはここで得られる。大規模モデルでは数百万ドルかかる。