🧠 Context Window & Halüsinasyonun Kökeni

Context Window & Halüsinasyonun Kökeni: Context window, bir toplantı bittiği an silinen bir yazı tahtasına benzer — mekanizma birebirdir: modelin senin spesifik konuşman hakkında

Context window, bir toplantı bittiği an silinen bir yazı tahtasına benzer — mekanizma birebirdir: modelin senin spesifik konuşman hakkında "bildiği" her şey SADECE o pencerenin içindeki metinde yaşar, ve konuşma bittiği (veya token limitini aşıp kaydığı) an, o bilgi ne kadar önemli olursa olsun bir tahtadan silinen kalem izi kadar tamamen kaybolur. Üzerinde durulmaya değer soru şu: model trilyonlarca token üzerinde eğitildiyse, AYNI konuşmada 5 dakika önce söylediğin bir şeyi neden unutuyor? Çünkü "üzerinde eğitildi" ile "şu an hatırlıyor" tamamen farklı iki hafıza türüdür: eğitim, genel kalıpları kalıcı ağırlıklara pişirdi, dondu ve her konuşmada paylaşıldı; context window ise sadece o an yapıştırılanı tutan AYRI, geçici, konuşma-başına bir hafızadır. Java karşılaştırması: bu, tam olarak static final bir alan (derleme zamanında pişirilmiş, her yerde paylaşılan) ile bir metod-local değişken (sadece bir çağrının süresi boyunca var olan, sonra garbage collect edilen) arasındaki farktır — ikisini karıştırmak, bir modelin aslında sadece bir konuşmanın bağlamında olan bir şeyi eğitimden "hatırlamasını" beklemenin ta kendisi olan hatadır. QA tarafındaki bedel: bu, Claude AI sayfasında ele alınan "uzun bir konuşmada bağlam kaybı" riskinin tam mekanizmasıdır — bir konuşma eski içerik için pratik dikkat süresini aştıkça, erken talimatlar teknik olarak hâlâ geçmişte olsalar bile etkili biçimde erişilemez hale gelir, bu da yeni bir görev için taze bir konuşma başlatmanın (temel bağlam yeniden yapıştırılarak) neden düzeltme olduğunun, "modelden daha çok çaba göstermesini istemenin" değil, sebebidir.

Pencerenin Bir Boyutu Var, Token'la Ölçülür

Her modelin, kelime veya mesaj değil TOKEN'la ölçülen maksimum bir context window'u vardır — bir konuşmadaki her şeyin toplam bütçesi: talimatların, yapıştırdığın kod ve modelin şimdiye kadarki cevapları hepsi aynı limite sayılır. Bir konuşma bunu aştığında, önemli olsun olmasın en eski içerik atılmalı veya özetlenmelidir.

Akıl yürütme: bir LLM neden bazen, gerçekten dışarı itilmeden ÇOK ÖNCE, token limitinin rahatlıkla içindeyken bile bir şeyi "unutmuş" gibi görünür? Çünkü uzun bir bağlam boyunca dikkat tekdüze değildir — çok uzun bir konuşmanın ortasına gömülü, birçok ilgisiz konu değişimiyle çevrili içerik, o zamandan beri söylenen her şeyle modelin sınırlı dikkati için etkili biçimde yarışır, bu yüzden erken bir kez belirtilen bir kural teknik olarak bağlamda hazır olsa bile işlevsel olarak öncelik dışına düşebilir. Java karşılaştırması: bu, teknik olarak hâlâ scope'ta olan ama çok uzun bir metod gövdesini göz gezdiren bir okuyucunun kolayca kaçırdığı bir değişken gibidir — "scope'ta olmak" ile "gerçekten fark edilmek" aynı garanti değildir.

Halüsinasyonun Gerçek Kök Nedeni

Bir modelin özel bir "bilmiyorum" mekanizması yoktur — doğru bir olgu ve uydurma bir olgu dahil her tek çıktı, sıradaki en olası token'ı seçmenin tam olarak aynı sürecinden gelir. Gerçek, doğru devam ile olası-ama-yanlış devamın ikisi de anlamlı bir olasılığa sahip olduğunda — çünkü eğitim verisi belirsizdi veya seyrekti, veya context window ayırt edici detayı kaybetti — örnekleme süreci yanlış olanı doğru olan kadar akıcı biçimde seçebilir. Halüsinasyon, ayrı bir "yalan söyleme modülü"ndeki bir hata değildir; şanssız bir çekiliş üreten AYNI tek mekanizmadır.

Bunu daha önce kendi ellerinle denemiştin: LLM Nedir sekmesindeki Token Lab'da turuncu, düşük olasılıklı bir token'a tıklayıp akıcı-ama-yanlış bir cümle üretmiştin. Halüsinasyon, tam olarak o küçük ölçekli deneyin büyük ölçekli halidir — burada NEDEN olduğunu görüyorsun.

Adım Adım: Bir Kural Uzun Bir Konuşmada Nasıl Kaybolur

Konuşmanın başında bir kural açıkça belirtilir.

Token limitinin hâlâ altında, birçok ilgisiz konu değişimi yaşanır.

Erken kural teknik olarak hâlâ orada ama o zamandan beri söylenen her şeyle yarışıyor.

Sonraki bir cevap, orijinal kuralı sessizce takip etmemeye başlar.

Düzeltme: taze bağlam

Yeni bir konuşma başlatıp temel kuralı yeniden yapıştırmak uyumu geri getirir.