Yazılım geliştiricisi Fareed Khan, teknoloji dünyasında dikkat çeken bir deneye imza atarak 2.8 trilyon parametreye sahip Kimi K3 yapay zeka modelini, sadece 8 GB RAM kapasitesine sahip bir bilgisayarda çalıştırmayı başardı. Bu başarı, modelin fiziksel olarak belleğe sığdırılmasıyla değil, depolama birimlerinin alışılagelmişin dışında bir yöntemle kullanılmasıyla mümkün oldu.
Geliştirici, yaklaşık 1.56 TB büyüklüğündeki model dosyalarını SSD üzerinde tutarak, RAM birimini yalnızca hesaplama sırasında ihtiyaç duyulan küçük veri parçaları için geçici bir çalışma alanı olarak yapılandırdı. Kimi K3 modelinin temelinde yer alan Mixture of Experts (MoE) mimarisi, tüm parametrelerin aynı anda aktif olmamasını sağlayarak bu süreci destekledi. Sistem, ihtiyaç duyulan kısımları SSD üzerinden okuyarak işlemleri gerçekleştirdi.
Ancak bu teknik başarı, günlük kullanım için pratik bir çözüm sunmaktan oldukça uzak. İşlem hızı, donanım kısıtlamaları nedeniyle ciddi oranda düştü ve tek bir token üretimi yaklaşık 33 saniye sürdü. Bu durum, basit bir sohbet yanıtının bile saatler sürebileceği anlamına geliyor. Yine de deney, devasa yapay zeka modellerinin düşük bellekli sistemlerde dahi çalıştırılabileceğini kanıtlaması açısından teknoloji dünyasında önemli bir referans noktası oluşturuyor.
