Ceplere Sığan Süper Bilgisayar: Dünyanın En Küçük Yapay Zeka Cihazı Tanıtıldı!

Tiiny AI tarafından geliştirilen ve "AI Pocket Lab" adı verilen bu yenilikçi cihaz, kompakt boyutlarına rağmen doktora düzeyinde zeka gerektiren yapay zeka modellerini çalıştırabilme yeteneğiyle dikkat çekiyor.

İnternet Olmadan LLM Gücü

Cihaz, ceplerinize rahatlıkla sığacak kadar küçük olmasına rağmen, 120 milyar parametreli büyük dil modellerini (LLM) internet veya bulut bağlantısına ihtiyaç duymadan çalıştırma kapasitesine sahip. Bu, yapay zeka teknolojisinin kullanım alanını önemli ölçüde genişletiyor. 12 çekirdekli ARM işlemci üzerine kurulu olan Pocket Lab, akıllı telefonlar, dizüstü bilgisayarlar ve tabletlerde kullanılan işlemcilere benzer özellikler sunuyor. Sadece 14,2 × 8 × 2,53 cm boyutlarındaki bu mini bilgisayar, 80 GB LPDDR5X RAM'e sahip. Bu RAM'in 48 GB'lık kısmı, yapay zeka işlemleri için özel olarak optimize edilmiş NPU (nöral işlem birimi) tarafından kullanılıyor.

Yüksek Parametreli Modelleri Yerel Olarak Çalıştırıyor

AI Pocket Lab, geleneksel veri merkezi altyapısına ihtiyaç duyan 100 milyar parametre üzerindeki dil modellerini yerel olarak çalıştırma kabiliyetiyle öne çıkıyor. GPT-OSS 120B, büyük Phi modelleri ve Llama ailesi gibi yüksek parametreli modellerle uyumlu olması, onu bir süper bilgisayar olarak kabul ettiriyor ve veri merkezi sınıfı sistemlerle aynı iş yüklerini yönetebilmesine olanak tanıyor. Cihazın geliştirilmesinde TurboSparse ve PowerInfer gibi yenilikçi teknolojiler kritik rol oynuyor. TurboSparse, büyük LLM'lerin sınırlı donanımda daha hızlı çalışmasını sağlarken, PowerInfer işlemci birimlerinin her birine en uygun iş yükünü atayarak sistemin verimliliğini artırıyor ve enerji tüketimini düşürüyor. Bu özellikler, cihazın küçük boyutuna rağmen yüksek performans sunmasını mümkün kılıyor.

Gizlilik ve Erişilebilirlik Avantajı

AI Pocket Lab'in taşınabilir olması, kullanıcıların internet veya bulut bağlantısı gerektirmeden sofistike LLM'leri kullanabilmesini sağlıyor. Bu durum, veri gizliliği açısından önemli bir avantaj sunarken, uzak araştırma istasyonları, gemiler veya bağlantının zor olduğu uçak gibi ortamlarda da yapay zekanın kullanılabilmesine imkan tanıyor. Cihaz, 190 TOPS (trilyon işlem/saniye) işlem gücüyle mini süper bilgisayarlar arasında yerini alıyor. Bu güç, NPU ve CPU arasındaki akıllı iş paylaşımı sayesinde elde ediliyor ve kullanıcılara alanında uzman kodlama, belge değerlendirme ve çok adımlı mantıksal çıkarım gibi karmaşık işlemleri yapma olanağı sunuyor.