RLHF

Ön eğitimli bir dil modeli metni sürdürmekte iyidir, ama talimatları izlemekte, kibar kalmakta ya da zararlı istekleri reddetmekte iyi olmayabilir. RLHF bu açığı kapatır. OpenAI'ın 2022'deki InstructGPT çalışmasıyla geniş çapta tanındı, bu çalışma ChatGPT'yi de şekillendirdi; temeli de insan tercihlerinden öğrenme üzerine 2017'den gelen araştırmalara dayanır.

Klasik tarif üç adımlıdır. Önce model, insanların yazdığı örnek sohbetlerle ince ayardan geçirilir. Sonra birçok prompt'a birkaç yanıt üretir, insanlar bu yanıtları sıralar ve ikinci bir model, yani ödül modeli (reward model), bu sıralamaları tahmin etmeyi öğrenir. Son olarak dil modeli, ödül modelinin yüksek puan verdiği yanıtları üretmesi için pekiştirmeli öğrenmeyle, çoğu zaman PPO adlı bir algoritmayla eğitilir.

Daha yeni türler tarifin bazı kısımlarını basitleştirir ya da değiştirir. Doğrudan tercih optimizasyonu (DPO), ayrı bir ödül modeli ya da pekiştirmeli öğrenme döngüsü olmadan sıralanmış çiftlerden öğrenir; RLAIF ise insan değerlendiricilerin yerine ya da yanında, yazılı ilkelerle yönlendirilen bir yapay zekâ modelinin geri bildirimini kullanır. Bu teknikler çoğu zaman tercih eğitimi (preference tuning) ya da son eğitim (post-training) başlığı altında toplanır.

Sık yapılan bir yanlış, RLHF'nin modele yeni bilgiler öğrettiğini düşünmektir. Esas olarak davranışı şekillendirir: üslubu, yardımseverliği, biçimi ve neyin reddedileceğini. Değerlendiriciler ödüllendirirse kullanıcıya yaranmak ya da kendinden emin görünmek gibi istenmeyen alışkanlıklar da öğretebilir; geri bildirimin kalitesinin bu kadar önemli olmasının nedeni budur.