Yetersiz Öğrenme
- İngilizcesi
- Underfitting
- Türkçe karşılığı
- eksik öğrenme
- Okunuşu
- andırfiting
Günlük kullanımda iki ad da yaygın.
Kısaca
Yetersiz öğrenme, bir modelin gerçek örüntüyü öğrenemeyecek kadar basit olması ya da kısa eğitilmesi yüzünden eğitim verisinde bile kötü sonuç vermesidir.
Yetersiz öğrenme (underfitting) nedir?
Yetersiz öğrenme ezberlemenin tersidir: model yeterince öğrenmemiştir. Girdiler ile çıktılar arasındaki gerçek ilişkiyi kaçırır; bu yüzden tahminleri hem eğitildiği veride hem de yeni veride aynı ölçüde kötüdür. Belirgin işareti, eğitim ve doğrulama puanlarının ikisinin de düşük ve birbirine yakın olmasıdır.
Yaygın nedenler; eğri bir örüntüye uydurulan düz bir çizgi gibi probleme göre fazla basit bir model, gereken bilgiyi taşımayan girdiler, fazla güçlü düzenlileştirme (regularization) ve çok erken biten eğitimdir. Çözümler ters yöne gider: daha esnek bir model, daha iyi ya da ek öznitelikler (features), daha zayıf düzenlileştirme ve daha uzun eğitim. Aşırı öğrenmenin aksine aynı türden daha fazla veri toplamak nadiren işe yarar, çünkü model elindeki bilgiyi bile henüz kullanamıyordur.
Sınavdan önce yalnızca bölüm başlıklarına göz gezdirmiş bir öğrenci düşünün. Deneme sorularında da gerçek sınavda da başarısız olur; sorular değiştiği için değil, konuyu hiç öğrenmediği için. Büyük dil modellerinde de ince ayar çok az adım sürdüğünde benzer bir durum görülür: model yeni biçimi ya da üslubu henüz kapmamıştır.
Yetersiz öğrenme ile aşırı öğrenme yan yana konduğunda fark açıktır: yetersiz öğrenmiş model fazla basittir ve her yerde kötü sonuç verir; aşırı öğrenmiş model ise fazla karmaşıktır, gürültüyü ezberler ve yalnızca eğitim verisinde iyi sonuç verir. İkisi arasındaki gerilime yanlılık-varyans ödünleşimi (bias-variance trade-off) denir. Yetersiz öğrenme yüksek yanlılık, yani yerleşik varsayımları fazla katı bir model; aşırı öğrenme ise yüksek varyans, yani eğitim örneklerine göre fazla değişen bir model demektir. Hedef, ayrılmış verideki puanın en iyi olduğu aradaki noktadır.
Önemli noktalar
- Yetersiz öğrenmiş bir model hem eğitim verisinde hem yeni veride kötü sonuç verir.
- Fazla basit bir model, zayıf öznitelikler, ağır düzenlileştirme ya da az eğitim buna yol açar.
- Daha fazla kapasite, daha iyi öznitelikler ve daha uzun eğitim sorunu çözer; aynı türden daha fazla veri nadiren çözer.
- Aşırı öğrenme bunun tersidir: eğitim verisinde çok iyi, yeni veride kötü.
- Eğitim ve doğrulama puanlarını karşılaştırmak hangi sorunun olduğunu gösterir.
Örnek
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures
rng = np.random.default_rng(0)
X = rng.uniform(-3, 3, size=(200, 1))
y = X[:, 0] ** 2 + rng.normal(0, 0.5, 200) # a curved pattern with some noise
line = LinearRegression().fit(X, y) # a straight line can't follow a curve
print(line.score(X, y)) # R² near 0, even on its own training data
curve = make_pipeline(PolynomialFeatures(2), LinearRegression()).fit(X, y)
print(curve.score(X, y)) # close to 1: now flexible enoughSık sorulan sorular
Bir modelin yetersiz öğrendiğini nasıl anlarsınız?
Puanına eğitim verisinin kendisinde bakın. Orada kötüyse ve doğrulama puanı da aşağı yukarı aynı ölçüde kötüyse model yetersiz öğreniyordur; eğitim puanı mükemmel ama doğrulama puanı çok daha kötüyse aşırı öğreniyordur.
Yetersiz öğrenme ile aşırı öğrenme arasındaki fark nedir?
Yetersiz öğrenmiş model fazla basittir ve örüntüyü kaçırır; bu yüzden tüm verilerde başarısız olur. Aşırı öğrenmiş model ise fazla karmaşıktır ve gürültüyü öğrenir; bu yüzden yalnızca eğitildiği örneklerde iyi sonuç verir.
Daha fazla veri eklemek yetersiz öğrenmeyi çözer mi?
Genellikle hayır. Elindeki verideki örüntüyü yakalayamayan bir model, aynı türden daha fazla veride de yakalayamaz; daha fazla kapasiteye, daha iyi özniteliklere ya da daha fazla eğitime ihtiyacı vardır. Daha fazla veri ise aşırı öğrenmenin klasik çözümüdür.
İlgili sayfalar
- Aşırı ÖğrenmeYapay Zekâ ve Makine Öğrenmesi, s. 3Aşırı öğrenme, bir modelin eğitim verisini gürültüsüyle birlikte fazla yakından öğrenip yeni, görülmemiş verilerde kötü performans göstermesidir.
- Denetimli ÖğrenmeYapay Zekâ ve Makine Öğrenmesi, s. 12Denetimli öğrenme, modelin etiketli örneklerden, yani doğru cevaplarla eşleştirilmiş girdilerden öğrenip yeni veride çıktı tahmin ettiği makine öğrenmesidir.
- Eğitim VerisiYapay Zekâ ve Makine Öğrenmesi, s. 17Eğitim verisi, bir makine öğrenmesi modelinin öğrendiği örnekler kümesidir; kalitesi, boyutu ve kapsamı modelin ne kadar iyi çalışacağını büyük ölçüde belirler.
- Model ParametreleriYapay Zekâ ve Makine Öğrenmesi, s. 35Model parametreleri, bir makine öğrenmesi modelinin eğitimde öğrendiği ve girdileri çıktılara dönüştürmek için kullandığı ağırlık ve sapma gibi iç sayılardır.
- RegresyonYapay Zekâ ve Makine Öğrenmesi, s. 42Regresyon, modelin verilen girdiden bir fiyat, sıcaklık ya da teslimat süresi gibi bir sayıyı tahmin ettiği denetimli öğrenme türüdür.
- Makine ÖğrenmesiYapay Zekâ ve Makine Öğrenmesi, s. 32Makine öğrenmesi, bilgisayarların elle yazılmış kurallar yerine verilerdeki örüntüleri öğrenerek tahmin yaptığı bir yapay zekâ dalıdır.
Kaynaklar
- scikit-learn documentation: Underfitting vs. Overfittingscikit-learn.org(yeni sekmede açılır)
- scikit-learn documentation: Validation curves: plotting scores to evaluate modelsscikit-learn.org(yeni sekmede açılır)
- Goodfellow, Bengio and Courville: Deep Learning, Chapter 5: Machine Learning Basics (2016)deeplearningbook.org(yeni sekmede açılır)
Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin