GPU
Grafik İşlem Birimi
- Türkçe karşılığı
- ekran kartı
- Okunuşu
- ci pi yu
Günlük kullanımda iki ad da yaygın.
Kısaca
GPU (grafik işlem birimi), binlerce küçük çekirdeğiyle aynı hesabı çok büyük veri üzerinde aynı anda yapan işlemcidir; grafik ve yapay zekâ için kullanılır.
GPU nedir?
Bir kare çizmek milyonlarca pikselin rengini hesaplamak demektir ve her piksel aynı adımları izler. GPU'lar tam olarak bunun için tasarlandı: CPU gibi birkaç karmaşık çekirdek yerine paralel çalışan binlerce basit çekirdekleri vardır. Oyunlar, video düzenleme ve 3B render onlara dayanır; ya ayrı bir ekran kartı olarak ya da ana işlemciye tümleşik olarak.
Araştırmacılar kısa sürede aynı donanımın birçok bağımsız işlemden oluşan her türlü matematiği hızlandırdığını fark etti. NVIDIA'nın 2007'de yayımlanan CUDA platformu GPU'ları genel amaçlı hesaplama için programlanabilir yaptı; sinir ağlarının kalbindeki matris çarpımları da buna mükemmel uydu. Büyük dil modellerini eğitmek ve çalıştırmak bugün çoğunlukla GPU'larda ve benzeri yapay zekâ hızlandırıcılarında yapılıyor.
GPU'nun VRAM denen kendi hızlı belleği vardır ve bir modelin ya da veri kümesinin verimli çalışması için genellikle buna sığması gerekir; bellek boyutunun yapay zekâ donanımında kilit bir değer olmasının nedeni budur. Geliştiriciler GPU'ları nadiren doğrudan programlar; PyTorch, TensorFlow ve JAX gibi kütüphaneler işi GPU'ya taşır, grafik programcıları da Vulkan, Metal ve DirectX gibi API'ler kullanır.
Sık yapılan bir yanlış, bir GPU'nun her programı hızlandırdığını düşünmektir. Yalnızca birçok özdeş ve bağımsız parçaya bölünebilen işe yardım eder. Çoğu iş mantığı gibi dallanmalarla ve sıralı adımlarla dolu kod CPU'da daha iyi çalışır; veriyi CPU ve GPU belleği arasında kopyalamanın da kendi maliyeti vardır.
Önemli noktalar
- GPU'da paralel çalışan binlerce basit çekirdek vardır.
- Grafik için yapıldı, bugün yapay zekâyı da çalıştırıyor.
- 2007'den CUDA, GPU'ları genel hesaplama için programlanabilir yaptı.
- VRAM boyutu, hangi modellerin ve verilerin GPU'ya sığacağını sınırlar.
- Yalnızca yüksek oranda paralel iş fayda görür; dallanmalı kod CPU'da kalır.
Örnek
import torch
device = "cuda" if torch.cuda.is_available() else "cpu"
a = torch.rand(8000, 8000, device=device)
b = torch.rand(8000, 8000, device=device)
c = a @ b # one huge matrix multiplication, spread across thousands of GPU cores
print(device, c.shape)Sık sorulan sorular
Yapay zekâ için neden GPU kullanılır?
Sinir ağları çoğunlukla, milyonlarca bağımsız işleme bölünen büyük matris çarpımlarıdır. Bir GPU'nun binlerce çekirdeği bunları paralel yapar; bu da eğitimi ve çıkarımı CPU'dakinden çok daha hızlı hâle getirir.
Tümleşik ile harici ekran kartı arasındaki fark nedir?
Tümleşik grafik ana işlemcinin içine yerleştirilmiştir ve sistem belleğini paylaşır; bu da enerji tasarrufu sağlar. Harici bir ekran kartının ise kendi GPU'su ve VRAM'i vardır ve oyunlar, 3B ve yapay zekâ işleri için çok daha hızlıdır.
CUDA nedir?
NVIDIA'nın, GPU'larında genel amaçlı hesaplamalar çalıştırmak için sunduğu platform ve programlama modelidir. Çoğu yapay zekâ framework'ü NVIDIA donanımında çalışırken perde arkasında CUDA kullanır.
Sık karşılaştırılanlar
İlgili sayfalar
- CPUİşletim Sistemleri, s. 3CPU (merkezî işlem birimi), program talimatlarını yürüten ve her yazılımın üzerinde çalıştığı aritmetik, mantık ve kontrol işlerini yapan işlemcidir.
- ParalellikProgramlamanın Temelleri, s. 44Paralellik, birkaç hesaplamayı birden çok CPU çekirdeğinde, GPU'da ya da makinede gerçekten aynı anda çalıştırmaktır; böylece büyük bir iş daha hızlı biter.
- Derin ÖğrenmeYapay Zekâ ve Makine Öğrenmesi, s. 14Derin öğrenme, görüntü ve metin gibi ham verilerden karmaşık örüntüleri öğrenmek için çok katmanlı sinir ağları kullanan bir makine öğrenmesi alt kümesidir.
- Yapay Sinir AğıYapay Zekâ ve Makine Öğrenmesi, s. 49Yapay sinir ağı, bağlantılı yapay nöron katmanlarından oluşan ve sayısal ağırlıkları ayarlayarak verilerden örüntü öğrenen bir makine öğrenmesi modelidir.
- RAMİşletim Sistemleri, s. 25RAM (rastgele erişimli bellek), bilgisayarın hızlı ve geçici çalışma belleğidir; kullanımdaki programları ve verileri tutar, güç kesilince içeriği kaybolur.
- LLMYapay Zekâ ve Makine Öğrenmesi, s. 28LLM, çok büyük metin yığınlarıyla eğitilmiş ve bir sonraki en olası metin parçasını tekrar tekrar tahmin ederek dil üreten bir makine öğrenmesi modelidir.
Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin