Techlosure 
Yapay zeka girişimi Goodfire.ai, GPT-5 gibi gelişmiş dil modellerinde ezberleme ve mantıksal akıl yürütmenin birbirinden tamamen bağımsız sinir yollarında gerçekleştiğini ortaya koydu. Bu ayrım, yapay zekanın nasıl öğrendiğini ve hangi görevlerde zorlandığını anlamamız açısından devrim niteliğinde.
EZBERLEME SİLİNDİ, MANTIK YERİNDE KALDI
Araştırmacılar, ezberleme devrelerini kaldırdıklarında modellerin eğitim verilerini birebir kopyalama yetisinin %97 oranında azaldığını, buna karşın mantıksal akıl yürütme becerilerinin büyük ölçüde korunduğunu gözlemledi. Bu durum, ezber ve muhakemenin mekanik olarak ayrıştığını gösteriyor.
OLMo-7B MODELİNDE KATMAN KATMAN AYRIM
Allen Yapay Zeka Enstitüsü’nün OLMo-7B modelinde yapılan analizler, bazı sinir ağı bileşenlerinin ezberlenmiş metinlerde yüksek aktivasyon gösterdiğini, diğerlerinin ise genel metinlerde daha aktif olduğunu ortaya koydu. Bu sayede ezberleme devreleri cerrahi hassasiyetle ayıklanabildi.
MATEMATİK EZBER İLE Mİ ÇALIŞIYOR?
En şaşırtıcı bulgulardan biri, aritmetik işlemlerin mantıksal akıl yürütme yerine ezberleme yollarını kullandığı oldu. Ezberleme devreleri çıkarıldığında matematiksel performans %66 oranında düştü. Bu, dil modellerinin matematiği işlemeye değil, hatırlamaya dayalı olarak ele aldığını gösteriyor.
AKIL YÜRÜTME NE KADAR “İNSAN GİBİ”?
Korunan mantıksal akıl yürütme yetisi, doğru-yanlış değerlendirmeleri ve eğer-ise kurallarını takip etme gibi görevleri kapsıyor. Ancak bu, insan akıl yürütmesinden çok, öğrenilmiş kalıpların yeni girdilere uygulanması şeklinde işliyor.
TELİF HAKLARI İÇİN UMUT
Bu teknikler geliştirildiğinde, modellerden telifli içerikler veya hassas bilgiler çıkarılabilir. Ancak araştırmacılar, sinir ağlarının bilgileri dağıtık biçimde depoladığı için bu çıkarımın tam garanti edilemeyeceğini vurguluyor.
BİLİMSEL ARKA PLAN: KAYIP MANZARA VE K-FAC
Araştırma ekibi, modelin tahmin doğruluğunu görselleştiren “kayıp manzarası” kavramını analiz etti. Ezberlenmiş bilgiler sivri uçlar oluştururken, akıl yürütme eğrileri daha yumuşak tepeler şeklinde belirdi. K-FAC adlı teknikle bu sivri bileşenler ayıklanarak ezber oranı %3,4’e düşürüldü; mantıksal görevler ise %95-106 arası performansla korundu.
About the Author
