Apple yeni Mac Studio’yu açıkça “yerel yapay zeka masaüstü” olarak konumlandırıyor. Dizinin bu bölümünde bellek seçeneğinin pratikte ne anlama geldiğine ve elinde M3 Ultra olan birinin geçip geçmemesi gerektiğine bakıyoruz.
Bellek neden belirleyici. Yerel bir dil modeli çalışırken modelin tamamı belleğe yüklenir; açık ağırlıklı modellerde yaygın 4 bitlik sıkıştırmada her 1 milyar parametre kabaca yarım gigabayt yer tutar. Bu hesapla 96 GB’lık başlangıç modeli 70 milyar parametrelik modelleri rahat, 120 milyarlık modelleri sınırda çalıştırır; 256 GB ile 400 milyar, 512 GB ile 600 milyar parametre civarına çıkılır. Bu bizim hesabımız; Memeburn’ün aktarımına göre Apple da 512 GB için yaklaşık 400 milyar parametrelik modelleri işaret ediyor. Bellek yetmezse model ya hiç yüklenmez ya da diskten parça parça okunup kullanılamayacak kadar yavaşlar.
Hızı belirleyen ikinci şey bant genişliği. Model her kelimeyi üretirken ağırlıkların tamamını bellekten okur; bu yüzden saniyedeki kelime hızı kabaca bant genişliğinin model boyutuna bölümüdür. M5 Ultra’nın 1,2 TB/s’si M3 Ultra’nın 819 GB/s’sinden yüzde 46 fazla; M5 Max’in 614 GB/s’si ise Ultra’nın yarısı. Apple’ın LM Studio’da ölçtüğü “4 kat hızlı istem işleme” ise üretim değil, uzun bir metni modele okutma aşamasına ait ve GPU’lardaki yeni Sinir Hızlandırıcılardan geliyor.
Kümeleme. Yeni Mac Studio’lar Thunderbolt 5 üzerinden RDMA ile birbirine bağlanıp tek bir modeli paylaşabiliyor; Apple dört makinenin tek makineye göre 3 kat hızlı çıkarım verdiğini söylüyor. Bu, 512 GB’yi bekleyemeyen ya da ödeyemeyenler için bir alternatif; ancak bağımsız bir ölçüm henüz yayımlanmadı.
M3 Ultra sahibi geçmeli mi? Üç durum var. Video kurgusu ve genel iş için hayır: CPU’da yüzde 30, GPU’da yüzde 60’lık kazanım 370 bin TL’lik yeni makineyi haklı çıkarmıyor, mevcut makine hala çok güçlü. Yerel dil modeli için duruma göre: 96 GB M3 Ultra’da sığmayan modelleri çalıştırmak istiyorsanız bellek yükseltmesi tek çıkış, çünkü Apple bellek kıtlığı nedeniyle M3 Ultra’nın 512 GB seçeneğini bu yıl satıştan kaldırmıştı. Yapay zeka eğitimi ve görsel üretimi için evet: Apple’ın 3,3 ile 4,3 kat arası iddiaları doğruysa fark bir nesil değil iki nesil; ama bu rakamların bağımsız teyidini beklemek akıllıca. 512 GB’lık modeller zaten ekim sonundan önce gelmiyor.
Dizinin sonucu: M5 Ultra’nın hikayesi hız değil, kapasite ve yapay zeka. Klasik işlerde iyi bir nesil geçişi; yerel modellerde ise Apple’ın söylediği kadar büyükse bir kırılma. Bağımsız yapay zeka ölçümleri yayımlandığında bu dizi güncellenecek.
Bant genişliği değerleri, kümeleme ve 3 kat iddiası, 512 GB'nin ekim sonu tarihi, M3 Ultra'nın 96 GB'ye düşürülmesi: Macworld ve 9to5Mac. LM Studio 4 kat: Apple iddiası, 9to5Mac. Parametre-bellek hesabı genel kural, modele ve sıkıştırma yöntemine göre değişir; 400 milyar rakamı ikincil kaynaktan (Memeburn). 'Geçmeli mi' bölümü bizim değerlendirmemiz. M5 Ultra'da bağımsız dil modeli hız ölçümü (saniyede kelime) henüz yayımlanmadı.