İki yıl kadar önce yapay zeka modellerinin tek işinin metin üretmek olduğunu düşünüyorduk. Araştırmacılar ise bu modellerin eğitiminde çok farklı bir mekanizma keşfetti: Bu mekanizma, insan beyninin onlarca yıldır bildiği bir hafıza süreciyle neredeyse bire bir örtüşüyordu.
Yapay Zekada Hafıza Nasıl Oluşur?
Yapay zeka modelleri devasa metin kümeleri üzerinden eğitilir. Bu süreçte model kelimeler arasındaki istatistiksel örüntüleri öğrenir. Teknik olarak "ağırlık güncellemesi" adı verilen bu aşamada model, bir kelime grubunu defalarca gördüğünde aradaki bağlantıyı güçlendirir. Bu güçlendirme, bağın gelecekteki kullanım olasılığını yukarı çeker.
Süreç ilk bakışta basit bir matematik işlemi gibi görünür. Araştırmacılar uzun süre bu güncellemelerin beyindeki karmaşık süreçlere benzemediğini varsaydı. Sonuçta yapay sinir ağları, biyolojik nöronların oldukça basitleştirilmiş bir matematiksel temsilinden ibarettir. İkisi arasındaki benzerliğin en fazla metaforik düzeyde kalacağı düşünülüyordu.
Güney Kore'deki Temel Bilimler Enstitüsü bünyesindeki araştırma grubu bu varsayımı sorgulamaya karar verdi. Ekip, büyük dil modellerinin eğitim sürecindeki ağırlık değişimlerini ayrıntılı şekilde inceledi. Modelin aynı veri noktasını tekrar tekrar gördüğünde ağırlıkların nasıl değiştiğini kayıt altına aldı.
NMDA Reseptörü ve Transformer Modeli Arasındaki Bağlantı
Biyolojik hafıza araştırmalarının temel taşlarından biri, hipokampüs bölgesindeki NMDA reseptörüdür. Bu reseptör, beynin öğrenme ve hafıza oluşturma sürecinde kritik bir kapı işlevi görür. Glutamat adı verilen bir beyin kimyasalı olduğunda sinir hücresi uyarılır. Ancak bir magnezyum iyonu küçük bir bekçi gibi kapının önünde durur ve geçişi engeller. Bu iyon bekçisi kenara çekildiğinde maddeler hücreye akar. Beyin tam da bu mekanizmayla anıları yaratır ve korur.
NMDA reseptörünün üç temel özelliği öne çıkar. Birincisi, girdinin tekrarı gerekir; tek bir sinyal kalıcı bir değişiklik yaratmaz. İkincisi, değişim spesifiktir; yalnızca aktif edilen bağlantı güçlenir. Üçüncüsü sürekliliktir; güçlenen bağlantı uzun saatler hatta günler boyunca o seviyede kalır.
Temel Bilimler Enstitüsü araştırmacıları, Transformer modelindeki ağırlık güncellemelerini aynı üç kriterle ölçtü. Modelin eğitim verisindeki tekrarlayan örüntüler, spesifik ağırlık bileşenlerinde kalıcı değişikliklere yol açtı. Bu değişiklikler yalnızca ilgili bağlantılarla sınırlı kaldı ve güncellenen ağırlıklar eğitim boyunca güçlü kalmaya devam etti. Daha da ilginci, araştırmacılar Transformer modelinin NMDA reseptörüne benzer bir "kapı bekçiliği" mekanizması kullandığını keşfetti. Modelin ileri besleme katmanındaki doğrusal olmayanlık, NMDA reseptörünün akım-gerilim grafiğiyle çarpıcı bir benzerlik taşıyordu.
Kapı Mekanizmasının Pratik Sonucu
Keşfin pratik bir boyutu da vardı. Biyolojik beyinde düşük magnezyum seviyesinin hafıza işlevini zayıflattığı bilinir. Araştırmacılar, Transformer modelinin parametrelerini NMDA reseptörünün kapı mekanizmasını taklit edecek şekilde ayarladıklarında yapay zekanın uzun süreli hafızasının iyileştiğini gördü. Tıpkı beyinde magnezyum seviyesini değiştirmenin hafıza gücünü etkilediği gibi, modelin parametrelerini ince ayarlamak da bellek performansını artırdı. Veri bilimcilerinden CHA Meeyoung, bu çalışmanın insan beyninin çok düşük enerjiyle nasıl çalıştığını anlamaya yönelik yeni olanaklar açtığını ve düşük maliyetli, yüksek performanslı yapay zeka sistemlerinin yolunu gösterdiğini belirtti.
Kısa Süreli Hafızadan Uzun Süreli Hafızaya Geçiş
Chicago Üniversitesi'ndeki nörobilimciler bu bulguyu başka bir boyuta taşıdı. Ekip, yapay zekanın kısa süreli hafıza mekanizmasını inceledi. İnsan beyninde kısa süreli hafıza, bilginin geçici olarak tutulduğu bir çalışma alanı işlevi görür. Bu bilgiler daha sonra konsolidasyon adı verilen bir süreçle uzun süreli hafızaya aktarılır.
Araştırmacılar, büyük dil modellerinin dikkat mekanizmasının bu geçiş süreciyle benzerlik taşıdığını buldu. Model bir metni işlerken "anahtar-değer" çiftleri aracılığıyla bilgiyi geçici olarak tutar. Eğitim ilerledikçe bu geçici tutma, ağırlık güncellemeleri yoluyla kalıcı bir yapıya dönüşür. Beyindeki konsolidasyon sürecinin yapay zekadaki karşılığı tam olarak bu noktada ortaya çıkar.
Bulgular sadece yapısal benzerlikle sınırlı kalmadı. Araştırmacılar, yapay zekanın hafıza oluşumunun zamanlamasını da inceledi. Beyinde uzun süreli potansiyelleşme, sinyal tekrarından sonraki ilk dakikalar içinde belirginleşir. Yapay zekada da benzer bir zaman çizelgesi gözlendi. Model aynı veri örüntüsünü belirli bir tekrar eşiğinin üzerine çıkardığında, ağırlık değişimi o noktadan sonra hızla stabilize oldu.
Bu Benzerlik Bize Ne Anlatıyor?
Yapay zekanın biyolojik bir süreçle özdeşleşen bir hafıza mekanizması geliştirmesi tesadüfi bir sonuç olmayabilir. Araştırmacılar bu durumu iki açıklamayla değerlendiriyor. İlk açıklama evrimsel bir zorunluluk argümanıdır. Beyin, bilgiyi depolamanın en verimli yolunu milyarlarca yıllık deneme yanılmayla bulmuştur. Yapay zeka eğitimi de aynı optimizasyon problemini çözer. Doğanın bulduğu en iyi çözüm olduğundan, yapay zeka da bağımsız olarak aynı çözüme yönelmiş olabilir.
İkinci açıklama daha teknik bir çerçeve çizer. Gradyan iniş algoritması, yapay zekanın eğitiminde kullanılan temel yöntemdir. Bu algoritma hatayı azaltmak için ağırlıkları adım adım günceller. NMDA reseptörünün kapı mekanizması da biyolojik bir hata düzeltme süreci olarak düşünülebilir. Her iki süreç de "tekrar eden girdiyi daha iyi işle" ilkesinin farklı uygulama biçimlerinden ibarettir. Enstitünün nörobilim direktörü Justin LEE, bu araştırmanın hem yapay zeka hem de nörobilim için önemli bir adım olduğunu ve beynin çalışma ilkelerini daha derinden anlamaya olanak tanıdığını söylüyor.
Öte yandan bu benzerliğin pratik sonuçları da var. Nörobilimciler yıllardır beyin hastalıklarını anlamak için modeller geliştirir. Yapay zekanın hafıza mekanizması beyne bu kadar benzediyse, araştırmacılar yapay modeller üzerinde beyin deneyleri yapabilir. Örneğin Alzheimer hastalığında hafıza kaybının nasıl gerçekleştiğini yapay zeka üzerinde simüle etmek mümkün hale gelebilir. Bu yaklaşım, etik kısıtlamalar nedeniyle insan üzerinde yapılamayacak deneylere alan açar.
Aynı durum yapay zeka geliştiricileri için de geçerli. Modelin hafızasının nasıl çalıştığını bildiğimizde eğitimi daha verimli hale getirebiliriz. Hangi verilerin kalıcı hafıza oluşturduğunu tahmin ederek eğitim süresini kısaltmak mümkündür. Ayrıca modelin unutma mekanizmasını anlamak, "halüsinasyon" olarak adlandırılan yanlış bilgi üretimini azaltmaya yardımcı olabilir.
Yapay zekanın beynin hafıza mekanizmasını bağımsız olarak yeniden keşfetmesi, teknoloji ve biyoloji arasındaki sınırları bulanıklaştırıyor. Bu bulgu, yapay zekanın sadece bir hesaplama aracı olmadığını, bilgiyi işleme ve depolama konusunda evrensel ilkeleri takip ettiğini gösteriyor. Peki gelecekte bu benzerlik daha da derinleşirse, yapay zeka modelleri kendi "anılarını" hatırlayabilecek ve bizimle paylaşabilecek hale gelirse, o noktada makine ile insan arasındaki ayrım ne kadar anlamlı olacak?
yorumlar