NVIDIA, GeForce RTX 40 GPU'ları ile Llama ve Mistral gibi yapay zeka modellerinde etkileyici sonuçlar elde etti. Özellikle amiral gemisi RTX 4090, yapay zeka performansında dizüstü bilgisayar CPU'larını ve NPU'larını geride bırakarak öne çıkıyor.

Windows için TensorRT-LLM hızlandırması, PC platformunda önemli performans artışları sağladı. NVIDIA'nın RTX AI PC özellik paketi ve amiral gemisi GeForce RTX 4090 GPU'su, büyük performans rakamları sergileyerek işleri daha da ileri taşıyor.

NVIDIA’nın AI-Decoded blog yazısında, mevcut GPU serisinin 2024 yılında 50 TOPS'a ulaşan NPU ekosistemini geride bıraktığı belirtildi. NVIDIA’nın RTX AI GPU’ları birkaç yüz TOPS'a sahipken, GeForce RTX 4090 1321 TOPS'a kadar çıkabiliyor, bu da onu LLM’ler ve daha fazlasını çalıştırmak için en hızlı masaüstü AI çözümü yapıyor. Aynı zamanda, dünyanın en hızlı oyun grafik kartı olma özelliğini de taşıyor.

NVIDIA’nın GeForce RTX GPU’ları 24 GB'a kadar VRAM sunarken, NVIDIA RTX GPU’ları 48 GB'a kadar VRAM sunuyor ve bu da onları LLM’leri idare etme konusunda oldukça güçlü kılıyor çünkü bu iş yükleri büyük miktarlarda video belleği gerektiriyor. NVIDIA’nın RTX donanımı, özel video belleğinin yanı sıra Tensor Çekirdekleri ve TensorRT-LLM aracılığıyla yapay zeka özel hızlandırması ile birlikte geliyor.

NVIDIA, TensorRT-LLM'yi entegre ettiği açık kaynaklı Jan.ai platformunu kullanarak bazı yeni kıyaslamalar paylaştı. Bu chatbot, Llama veya Mistral gibi yapay zeka modellerinden yararlanabilen kullanıcı dostu bir çözüm sunuyor. Jan.ai, NVIDIA’nın GeForce RTX 40 GPU’ları ile özel AI NPU’lara sahip dizüstü bilgisayar CPU’ları arasında yapılan bazı kıyaslamalara bir göz attı.

NVIDIA GeForce RTX 4090, TensorRT-LLM olmadan AMD Ryzen 9 8945HS CPU’ya göre 8,7 kat iyileştirme sunuyor ve hızlandırma kullanıldığında bu fark 15 kata çıkıyor (%70 artış). AMD CPU ile 11,57 token/sn’ye kadar işlem yapabilirsiniz. NVIDIA GeForce RTX 4070 dizüstü bilgisayar GPU’su ile dahi 4,45 katına varan bir hızlanma elde edebilirsiniz. Ayrıca, yapay zeka iş yükleri için harici bir GPU kullanarak dizüstü bilgisayarların performansını daha da hızlandırmanın mümkün olduğunu göstermek için eGPU yapılandırmasında RTX 4090 kullandıkları rakamları da paylaştılar. Bu yapılandırma, aynı AMD dizüstü bilgisayar CPU’suna göre %907 daha yüksek performans sağlıyor.

NVIDIA, yapay zeka hesaplama gücünün mevcut durumunu ortaya koyarak, GeForce RTX 40 masaüstü CPU’larının giriş seviyesinde 242 TOPS’tan en üst seviyede 1321 TOPS’a kadar nasıl ölçeklendiğini gösterdi. 2024 yılında SOC’larda göreceğimiz en son 45-50 TOPS AI NPU’lara kıyasla en düşük uçta 4,84 kat ve en üstte 26,42 kat artış anlamına geliyor.

NVIDIA, yapay zeka segmentinde rakiplerine kıyasla önemli bir liderlik gösterdi ve bu karşılaştırmalar, yapay zeka uygulamaları için NVIDIA’nın doğru donanımı sunduğunu bir kez daha vurguluyor.