Kitap 08 · Yapay Zekâ ve Makine ÖğrenmesiSayfa 33 / 52

Model Parametreleri

İngilizcesi: Model Parameters
Okunuşu: modıl pıremitırz

Güncellendi 30 Eylül 20262 dk okuma

Kısaca

Model parametreleri, bir makine öğrenmesi modelinin eğitimde öğrendiği ve girdileri çıktılara dönüştürmek için kullandığı ağırlık ve sapma gibi iç sayılardır.

Model parametreleri nelerdir?

Parametreler, bir makine öğrenmesi modelinin içindeki ayarlanabilir sayılardır. Bir sinir ağında bunlar ağırlıklar (bir nöronun bir sonrakini ne kadar güçlü etkilediğini belirler) ve sapmalar (bir nöronun çıktısını yukarı ya da aşağı kaydırır) olarak ifade edilir. Birlikte modelin öğrendiği her şeyi kodlar: eğitilmiş bir model temelde mimarisi artı çok büyük bir parametre değerleri dosyasıdır.

Parametreler rastgele başlar ve eğitim sırasında gradyan inişi gibi bir algoritmayla ayarlanır; algoritma modelin eğitim verisindeki hatasını azaltmak için her birini hafifçe iter. Eğitim bittiğinde inference sırasında sabit kalırlar. Sayıları bir modelin boyutunun kaba bir ölçüsüdür: 7B'lik bir modelin yaklaşık 7 milyar parametresi vardır ve her biri 16 bit (2 bayt) ise yalnızca bunları saklamak yaklaşık 14 GB bellek gerektirir; quantization gibi tekniklerin önemli olmasının nedeni budur.

Bir benzetme, milyarlarca düğmesi olan devasa bir stüdyo mikserdir. Eğitim, çıktı doğru duyulana kadar her düğmeyi yavaşça çevirir ve düğmelerin son konumları modeli oluşturur. Daha fazla düğme, modelin daha karmaşık örüntüleri yakalamasını sağlar, ama daha fazla veri, bellek ve işlem gücü de gerektirir; iyi eğitilmiş küçük bir model, kötü eğitilmiş büyük bir modeli geçebilir.

Parametreler çoğu zaman hiperparametrelerle karıştırılır. Hiperparametreler, öğrenme oranı, katman sayısı ya da batch boyutu gibi insanların eğitimden önce seçtiği ayarlardır ve model bunları öğrenmez. İkisi de, bir yapay zekâ API'sine inference anında ilettiğiniz ve modeli hiçbir şekilde değiştirmeyen temperature ya da en fazla çıktı uzunluğu gibi istek ayarlarından farklıdır.

Önemli noktalar

Parametreler, bir modelin içindeki öğrenilmiş sayılardır; başlıca ağırlıklar ve sapmalar.
Eğitim onları ayarlar; inference onları değiştirmeden kullanır.
7B ya da 70B gibi parametre sayısı, model boyutunun kaba bir ölçüsüdür.
Gereken bellek kabaca parametre sayısı çarpı parametre başına bayttır.
Hiperparametreleri insanlar seçer; verilerden öğrenilmezler.

Örnek

Küçük bir sinir ağının parametrelerini saymakpython

# Count the parameters of a small fully connected neural network
layer_sizes = [784, 128, 64, 10]  # input, two hidden layers, output

total = 0
for inputs, outputs in zip(layer_sizes, layer_sizes[1:]):
    weights = inputs * outputs  # one weight per connection
    biases = outputs            # one bias per neuron
    total += weights + biases

print(total)  # 109386

# Memory for a 7-billion-parameter model at 2 bytes per parameter
print(7e9 * 2 / 1e9, "GB")  # 14.0 GB

Sık sorulan sorular

Parametreler ile hiperparametreler arasındaki fark nedir?

Parametreler eğitim verisinden otomatik olarak öğrenilir; hiperparametreler ise öğrenme oranı ya da katman sayısı gibi eğitimden önce veya eğitim sırasında insanlar tarafından seçilir. Hiperparametreler, parametrelerin nasıl öğrenileceğini kontrol eder.

Bir model için 7B veya 70B ne anlama gelir?

Yaklaşık parametre sayısıdır: 7B yaklaşık 7 milyar, 70B yaklaşık 70 milyar demektir. Daha büyük modeller genellikle daha yeteneklidir ancak daha fazla bellek gerektirir ve çalıştırılması daha yavaş ve pahalıdır.

Daha fazla parametre bir modeli her zaman daha iyi yapar mı?

Hayır. Daha fazla parametre modele daha fazla kapasite verir, ancak sonuçlar eğitim verisinin miktarına ve kalitesine, eğitim yöntemine ve göreve de bağlıdır. Küçük ama iyi eğitilmiş modeller belirli işlerde çoğu zaman daha büyük olanlardan daha iyi performans gösterir.

İlgili sayfalar

Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin