NVIDIA, yapay zeka sunucuları için yeni nesil Blackwell platformunu 2024’ün sonunda piyasaya sürmeyi planlıyor. TrendForce’un son raporuna göre, bu platformun yüksek güç tüketimi nedeniyle sıvı soğutma çözümlerine olan talep artacak ve 2024 sonunda bu çözümlerin kullanım oranının %10’a ulaşması bekleniyor.
Blackwell platformunun, NVIDIA’nın mevcut Hopper platformunun yerini alması ve yüksek performanslı GPU’ların %83’ünü kapsaması öngörülüyor. Özellikle B200 ve GB200 gibi yüksek performanslı yapay zeka sunucu modelleri, verimliliği en üst düzeye çıkarmak için tasarlanmış olup, her bir GPU’nun 1,000 W üzerinde güç tüketmesi bekleniyor. HGX modelleri 8 GPU içerirken, NVL modelleri 36 veya 72 GPU’yu bir rack içine alabilecek. Bu durum, yapay zeka sunucuları için sıvı soğutma tedarik zincirinin büyümesini önemli ölçüde destekleyecek.
TrendForce, sunucu çiplerinin artan TDP’sine dikkat çekiyor; B200 çipinin TDP’si 1,000 W’a ulaşırken, GB200 NVL36 ve NVL72 tam rack sistemlerinin TDP’si sırasıyla 70 kW ve neredeyse 140 kW’ı bulacak. Bu durum, etkili ısı yönetimi için gelişmiş sıvı soğutma çözümlerini zorunlu kılıyor. GB200 NVL36 mimarisi başlangıçta hava ve sıvı soğutma çözümlerinin bir kombinasyonunu kullanacakken, daha yüksek soğutma gereksinimleri nedeniyle NVL72 ağırlıklı olarak sıvı soğutma kullanacak.
TrendForce, GB200 rack sistemleri için mevcut sıvı soğutma tedarik zincirindeki beş ana bileşeni belirtiyor: soğuk plakalar, soğutucu dağıtım üniteleri (CDU), manifoldlar, hızlı bağlantı elemanları (QD) ve arka kapı ısı değiştiricileri (RDHx). CDU, soğutucunun akışını düzenleyerek rack sıcaklıklarını belirlenen TDP aralığında tutar ve bileşen hasarını önler. Vertiv, şu anda NVIDIA’nın yapay zeka çözümleri için ana CDU tedarikçisi konumunda olup, Chicony, Auras, Delta ve CoolIT gibi firmalar da sürekli olarak test edilmektedir.
NVIDIA, 2025 yılında GB200 NVL36 konfigürasyonunu piyasaya sürerek hızlı bir şekilde pazara girmeyi planlıyor. Daha karmaşık NVL72 konfigürasyonunun ise 2025’te piyasaya sürülmesi bekleniyor. 2025 yılında GB200 NVL36 gönderimlerinin 60,000 rack’e ulaşması ve Blackwell GPU kullanımının 2.1 ila 2.2 milyon birim arasında olması öngörülüyor.
TrendForce, GB200 Rack’in son kullanıcılar tarafından benimsenmesi konusunda birkaç değişken olduğunu belirtiyor. NVL72’nin 140 kW civarındaki güç tüketimi, sofistike sıvı soğutma çözümleri gerektiriyor ve bu durum, karmaşık planlama süreçlerini beraberinde getiriyor. Ayrıca, CSP’ler tek bir tedarikçinin spesifikasyonlarına bağlı kalmaktan kaçınabilir ve x86 CPU mimarileri ile HGX veya MGX modellerine yönelebilir veya belirli yapay zeka uygulamaları için kendi geliştirdikleri ASIC yapay zeka sunucu altyapısını genişletebilirler.