Logit bias
Bir LLM'in çıktısında belirli token'ların olasılığını elle artırmanıza ya da azaltmanıza olanak veren parametre — belirli sözcük ya da simgeleri zorlamak veya tamamen yasaklamak için. Üretimi yönlendirmenin kaba ama doğrudan bir aracı.
İşleyiş: örneklemeden önce, verdiğiniz bias değeri seçilen token'ların logit'ine (ham puanına) eklenir. Büyük bir pozitif değer bir token'ı neredeyse kaçınılmaz kılar; büyük bir negatif değer (örneğin -100) seçilmesini pratikte imkânsız hale getirir. Kullanım: belirli sözcükleri yasaklamak, yanıtı birkaç seçenekten biriyle sınırlamak (örneğin yalnızca "evet"/"hayır" ya da bir sınıf etiketi), bir biçim karakterinden kaçınmak ya da tekrarı azaltmak. Sınırlama: token düzeyinde çalışırsınız (bütün sözcük/kavram düzeyinde değil — bir sözcük birkaç token olabilir); bu yüzden yapılandırılmış çıktı / kısıtlı kodlamaya göre uğraştırıcı ve kabadır. OpenAI API'sinde ve diğerlerinde sunulur. Yapılandırılmış çıktı yaygınlaşmadan önceki döneme ait düşük seviyeli bir araç. Yapılandırılmış çıktı ve sıcaklık ile ilişkilidir.