🎯 Fine-tuning & RLHF

Fine-tuning & RLHF: Pretraining'den yeni çıkmış bir base model, şirketin kütüphanesindeki her kitabı okumuş ama bir müşteriye İYİ bir cevabın gerçekte neye benzediği hiç gösteril

Pretraining'den yeni çıkmış bir base model, şirketin kütüphanesindeki her kitabı okumuş ama bir müşteriye İYİ bir cevabın gerçekte neye benzediği hiç gösterilmemiş, parlak yeni bir işe alınana benzer — mekanizma birebirdir: pretraining sadece "olası sıradaki metni tahmin et"i öğretir, "yardımcı, konuya odaklı ve belirsizliği kabul eden bir asistan ol"u değil — bunlar tamamen ayrı becerilerdir ve pretraining'den SONRA, fine-tuning yoluyla öğretilir. Üzerinde durulmaya değer soru şu: base model pretraining'den zaten dilbilgisini, olguları ve kodu biliyorsa, sadece bir chatbot olmak için neden DAHA FAZLA eğitime ihtiyaç duyar? Çünkü ham bir pretrained model, "CSS'te bir div'i nasıl ortalarım?" sorusuna, gerçekten cevap vermek kadar "...Stack Overflow'da sık sorulan bir sorudur, 47.000 kez sorulmuştur" diye devam etmeye de (olası bir DEVAM) eşit derecede eğilimlidir — pretraining ona hiçbir zaman "kullanıcı doğrudan yardımcı bir cevap istiyor"u öğretmedi, sadece "olası sıradaki metni tahmin et"i öğretti. Java karşılaştırması: bu, sadece sözdizimi geçerliliğini kontrol eden bir derleyici (pretraining: bu olası bir cümle mi?) ile kodun ticket'ın niyetine gerçekten hizmet edip etmediğini kontrol eden bir code reviewer (fine-tuning: bu gerçekten kullanıcının istediğine YARDIMCI bir cevap mı?) arasındaki farktır — iki farklı, ardışık kalite kapısı. QA tarafındaki bedel: RLHF özellikle modeli kendinden emin, tam görünen cevapları tercih etmeye eğitir, çünkü insan değerlendiriciler kör karşılaştırmalarda çekingen bir "bilmiyorum"u kendinden emin ama yanlış bir cevaptan daha az yardımcı olarak puanlama eğilimindedir — bu, Claude AI sayfasında ele alınan halüsinasyonun DAVRANIŞSAL köküdür: model arızalı değildir, kısmen tam olarak ara sıra yanlış bir cevabı tehlikeli kılan o kendinden emin tona doğru optimize edilmiştir.

SFT: Sadece Tahmin Etmek Değil, Göstermek

Supervised Fine-Tuning (SFT), pretrained base model'i alıp eğitime devam eder, ama artık çok daha küçük, özenle seçilmiş bir örnek konuşma setinde — bir prompt ve gerçekten iyi, insan tarafından yazılmış veya onaylanmış bir cevap — modele yardımcı bir asistan olmanın FORMATINI ve TONUNU öğretir, yeni olgular değil.

Akıl yürütme: SFT'nin üzerine RLHF neden gerekli — "iyi örnekler göster" neden yeterli değil? Çünkü bir kullanıcının bir şeyi soracağı her olası yolu kapsayacak kadar örnek cevap yazmak kombinatoryal olarak imkansızdır. RLHF bunun yerine modeli daha ucuz bir sinyalle eğitir: insanlar sadece modelin kendi iki aday cevabını SIRALAR ("hangisi daha iyi?"), bir ödül modeli bu sıralamayı tahmin etmeyi öğrenir, ve base model ödül modelinin yüksek puan verdiği cevapları üretmeye doğru itilir — küçük bir miktar insan YARGISINI, sonsuz elle yazılmış örneğe ihtiyaç duymak yerine ölçeklenebilir bir eğitim sinyaline dönüştürür.

Alignment, Tek Paragrafta

"Alignment", pretraining-sonrası bu sürecin tamamı (SFT + RLHF + diğer teknikler) için şemsiye terimdir — hedef, modelin davranışını insan niyeti ve değerleriyle (yardımcı, zararsız, dürüst) eşleştirmektir, sadece "olası metni tahmin eder" değil. Bu, çözülmüş bir problem değil, devam eden bir araştırma alanıdır — bu sayfanın ilerisinde ve Claude AI sayfasında ele alınan risklerin, iyi hizalanmış modern modellerde bile hâlâ var olmasının sebebi tam olarak budur.

Adım Adım: Base Model'den Yardımcı Asistana

Pretrained base model

Ham bir sıradaki-token tahmincisi — henüz "yardımcı olma" diye bir kavramı yok.

SFT ile örnek göster

İstenen format ve tonu gösteren, özenle seçilmiş örnek diyaloglarla eğitilir.

Model aynı prompt için iki farklı cevap üretir.

Bir insan hangisinin daha iyi olduğunu değerlendirir; bir ödül modeli bu sinyali öğrenir.

Base model, ödül modelinin yüksek puan verdiği cevaplara doğru, ölçekte itilir.