MIT'li araştırmacılar: Öncü bir yapay zekâ modeli başka bir modelin ağırlıklarını yeniden eğitimsiz düzenledi
MIT CSAIL ekibi, bir öncü modelin küçük bir dil modelinin ağırlıklarının yalnızca %0,016'sını değiştirerek matematik skorunu 7,9'dan %48,1'e çıkardığını bildirdi.
4 dk okuma
İçindekiler · 3 bölüm
MIT Bilgisayar Bilimi ve Yapay Zekâ Laboratuvarı’ndan (CSAIL) araştırmacılar, öncü bir yapay zekâ modelinin başka bir modelin ağırlıklarını doğrudan okuyup yeniden yazarak davranışını değiştirebildiğini bildirdi. Ekip bu yaklaşıma “Weight-Space Programming” (ağırlık uzayında programlama) adını veriyor. The Register’ın 3 Kasım 2026 tarihli haberine göre yöntemde gradyan inişi ya da yeniden eğitim kullanılmıyor.
Çalışma hakemli bir makale olarak değil, araştırmacıların blog yazısı olarak yayımlandı ve yazarlar sonuçları “çok erken” olarak nitelendiriyor.
Deney nasıl yapıldı
Blog yazısına göre düzenlenen model, küçük bir açık model olan Qwen3.5-0.8B. Düzenlemeyi The Register’ın “OpenAI’ın öncü modeli” olarak tanıttığı GPT-6 Astra yaptı; yazının kendisi bu modeli adından öte tanımlamıyor. Astra, ağın hangi bölümünün ne hesapladığını akıl yürüterek çıkardı ve değerleri elle değiştirdi.
Araştırmacılara göre Qwen modeli sık sık akıl yürütme döngüsüne giriyordu. Astra bu davranışı 15. ve 19. katmanlardaki tek bir yöne bağladı ve onu kaldırdı. Bunun için 131.072 ağırlık, yani ağırlıkların yaklaşık %0,016’sı değiştirildi.
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Token sınırına takılma |
|---|---|---|---|---|
| Orijinal | %7,9 | %13,8 | %21,0 | %93,0 |
| Düzenlenmiş (50 geçiş) | %48,1 | %67,1 | %62,3 | %33,1 |
Blog yazısına göre düzenleme sırasında Astra’nın ileri geçişler ve örnek sorularla geri bildirim aldığı deneyler de var; yani “geri bildirimsiz” çerçeve her deney için geçerli değil.
Diğer deneyler
Aynı çalışmada model, ağırlıklara bakarak dört oyun oynayan ağın hangi oyun için eğitildiğini (Breakout, Pong, Pac-Man, Freeway) doğru tahmin etti. Sıfırdan yazdığı ağırlıklarla MinAtar’ın Breakout oyununda 517,4 puan aldı; yazıdaki karşılaştırmada 100 milyon adımlık PPO eğitimi 15,8, 500 milyon adımlık eğitim 25,3 puan alıyor. Seaquest’te 53,1 (PPO: 5,6 ve 88,9), Asterix’te 53,2 puan (PPO: 25,8 ve 55,2) aldı; yani 500 milyon adımlık eğitimin gerisinde kaldı.
Sınırlar
Yazarlar da bazı başarısızlıkları aktarıyor. Model, yalnızca ağırlıklara bakarak dalkavukluk (sycophancy) eğilimini dört denemede de bulamadı. Döngüye girmeyen küçük Gemma 3 270M modelinde MATH-500 sonucu iyileştirilemedi; yazarlar bundan düzenlemenin eksik bir yeteneği ekleyemeyeceği, yalnızca bir engeli kaldırabileceği sonucunu çıkarıyor. Sonuçların çoğu tek ya da az sayıda denemeye dayanıyor.
The Register’a göre araştırmacılar bu yaklaşımın yeniden eğitimde görülen “felaket unutma” sorununu önleyebileceğini, yorumlanabilirlik ve hizalama çalışmalarına katkı sağlayabileceğini ve özyinelemeli kendini geliştirmeye yol açabileceğini öne sürüyor. Bu uygulamalar henüz gösterilmiş sonuç değil, öneri niteliğinde. Ekip, alanı tekrarlanabilir bir mühendislik disiplinine dönüştürmek için bir kıyaslama seti ve test düzeneği hazırlamayı planlıyor.
