DeepSeek, Mart 2026'da 1 trilyon parametreli V4 modelini duyurdu. Bu sayı, bir yıl önce sektörün tahminlerinin çok ötesinde bir tablo çizdi. Yaklaşık on yıl önce derin öğrenme kavramı henüz laboratuvarların ötesine geçemezken, bugün tek bir model 1 trilyon bağlantı ağırlığını aynı anda yönetebiliyor. Bu gelişme, yapay zeka tarihinin en büyük mimari sıçramalarından birini işaret ediyor.
1 Trilyon Parametre Ne Anlama Geliyor ve MoE Nasıl Çalışıyor
Yapay zeka dilinde parametre, modelin öğrendiği bağlantı ağırlıklarını ifade eder. Basit bir benzetmeyle insan beynindeki sinaptik bağlantılara benzetebiliriz. Daha fazla parametre, modelin daha karmaşık örüntüleri kavrayabilmesi demek. Ancak geleneksel yoğun (dense) mimaride 1 trilyon parametre kullanmak hesaplama maliyetini aşırı artırıyor. Her soru sorduğunuzda modelin tüm 1 trilyon parametreyi çalıştırması gerekiyor.
İşte DeepSeek V4 bu sorunu Mixture of Experts (Uzmanların Karışımı) mimarisiyle çözüyor. MoE yaklaşımında devasa parametre havuzu, daha küçük uzman alt modellere bölünür. DeepSeek V4'te toplam 1 trilyon parametre bulunuyor; fakat her bir çıktı üretimi için yalnızca 32 ile 37 milyar arası parametre aktif olarak çalışıyor. Bu, modelin devasa bilgi birikimine sahip olmasını sağlarken çalışma anındaki maliyeti dramatik ölçüde düşürüyor.
32-37 milyar aktif parametre, birçok açık kaynak modelinin toplam parametre sayısından bile az. Buna karşın arka planda 1 trilyonluk bilgi havuzuna erişim var. Bu yapı, modelin farklı konularda uzmanlaşmış bölümlerini sadece ilgili alanda soru geldiğinde devreye sokuyor. Matematik sorusu geldiğinde matematik uzmanı, kodlama talebi geldiğinde programlama uzmanı devreye giriyor. Kaynaklara göre her token için 16 uzman modül eşzamanlı olarak aktifleştiriliyor.
Bu tasarımın bir diğer önemli getirisi enerji verimliliği. Yoğun mimaride 1 trilyon parametreyi her seferinde çalıştırmak devasa bir güç tüketimi gerektirir. MoE ise gereksiz hesaplamaları eliyor. Dolayısıyla model, bilgi birikimi açısından devasa ama işletim açısından nispeten hafif kalıyor.
Engram Bellek Mimarisi: Bağlam Sınırını Kırmak
DeepSeek V4'ü rakiplerinden ayıran en kritik yenilik, Engram adı verilen yeni bellek mimarisi. Geleneksel büyük dil modellerinde bağlam penceresi, modelin bir seferde işleyebildiği metin uzunluğunu belirler. Önceki nesil DeepSeek modelleri 128 bin tokenlık bir pencere sunuyordu. DeepSeek V4 ise 1 milyon tokenlık bağlam penceresiyle sekiz katlık bir artış sağlıyor.
1 milyon token yaklaşık 750 bin İngilizce kelimeye tekabül ediyor. Bu, birden fazla kitabı tek seferde modele verebileceğiniz anlamına geliyor. Ancak sadece pencereyi büyütmek yetmiyor. Bağlam penceresi büyüdükçe modelin baştaki bilgileri unutması, yani «kayıp ortadaki» (lost in the middle) problemi ortaya çıkıyor. Engram mimarisi tam da bu sorunu hedefliyor.
Engram, nörobilimdeki bellek izi kavramından ilham alıyor ve statik bilgi erişimini dinamik sinirsel çıkarımdan ayırıyor. Geleneksel dikkat mekanizmasının doğrusal büyüme sorununu, hash tabanlı bir arama tablosu kullanarak kırıyor. Bu tablo GPU video belleği (VRAM) yerine DRAM'de tutuluyor ve sabit zamanlı, yani O(1) karmaşıklığında erişim sunuyor. Sonuç olarak 1 milyon tokenlık bağlam, 128 bin tokenlık bir pencereyle yaklaşık aynı hesaplama maliyetine işleniyor.
yorumlar