RLHF
Technika, która zmienia surowy LLM w model pomocny, nieszkodliwy i uprzejmy: ludzie oceniają odpowiedzi AI, a model uczy się tworzyć te, które wolą.
Przebieg: model dostaje dwie odpowiedzi na to samo pytanie, ludzie wskazują lepszą, a model jest trenowany tak, by częściej produkować „zwycięski” styl. Powtarza się to tysiące razy.
To dlatego Claude i ChatGPT sprawiają wrażenie rozmówców, a nie autouzupełniania na sterydach. Na tym opiera się też odmowa odpowiedzi na pytanie „jak zbudować bombę”. Pełna nazwa: Reinforcement Learning from Human Feedback.