RLHF
La tecnica che trasforma un LLM grezzo in qualcosa di utile, innocuo e garbato: persone classificano le risposte dell'IA e il modello impara a produrre quelle che preferiscono.
Il procedimento: si mostrano al modello due risposte alla stessa domanda, si chiede a valutatori umani quale preferiscano e lo si addestra a produrre più spesso lo stile «vincente». Il tutto si ripete migliaia di volte.
È il motivo per cui Claude e ChatGPT sembrano interlocutori e non un completamento automatico potenziato. È anche alla base del rifiuto di rispondere a domande come «come si costruisce una bomba».