GPUvsTPU

GPU (grafik işlem birimi), binlerce küçük çekirdeği aynı hesabı çok büyük veri üzerinde aynı anda yapan bir işlemcidir. Grafik için üretildi; NVIDIA'nın 2007'de yayımlanan CUDA platformu onu genel amaçlı hesaplama için programlanabilir kıldıktan sonra yapay zekânın ana donanımı hâline geldi. TPU (Tensör İşlem Birimi) ise Google'ın yalnızca sinir ağlarının tensör hesapları için tasarladığı, uygulamaya özgü bir çiptir; Google TPU'ları 2015'te veri merkezlerinde kullanmaya başladı ve 2016'da duyurdu.

Fark, esneklik ile uzmanlaşma arasındadır. GPU oyunlardan videoya, simülasyonlardan özel yapay zekâ işlemlerine kadar neredeyse her paralel kodu çalıştırır ve hemen her yapay zekâ kütüphanesi onu destekler. TPU ise bu esneklikten vazgeçer: matris birimi, sayıları hücreden hücreye aktaran bir sistolik dizidir (systolic array), böylece bellekten okunan her değer defalarca kullanılır; çoğunlukla da bfloat16 gibi düşük hassasiyetli biçimlerle hesap yapar ve bu da onu büyük, standart modellerde çok verimli kılar.

Erişilebilirlik de tasarım kadar farklıdır. GPU'ları NVIDIA, AMD ve diğer üreticiler masaüstü bilgisayarlar, dizüstü bilgisayarlar ve sunucular için kartlar olarak satar; her büyük bulut da onları kiralar. TPU'lar ise çoğunlukla bir Google Cloud hizmeti olarak sunulur, özel bir ağla binlerce çipten oluşan pod'lara bağlanır ve programlar onlara JAX, TensorFlow ya da PyTorch'tan XLA derleyicisi üzerinden ulaşır; en yaygın tercih JAX'tir.

Sık yapılan bir yanlış, TPU'nun yalnızca daha hızlı bir GPU olduğunu düşünmektir. JAX ile yazılmış büyük transformer modelleri gibi bazı iş yüklerinde daha hızlı ya da daha ucuzdur; ama çok sayıda özel işlem içeren modeller genellikle GPU'larda daha kolay çalışır ve bir TPU hiç grafik çizemez. Bir diğeri, yapay zekânın her zaman bu ikisinden birine ihtiyaç duyduğu düşüncesidir: küçük modelleri CPU'lar hâlâ iyi çalıştırır; telefonlarda ve dizüstü bilgisayarlarda da TPU ile aynı fikri izleyen küçük hızlandırıcılar olan NPU'lar bulunur.