Kitap 08 · Yapay Zekâ ve Makine ÖğrenmesiSayfa 17 / 52

Eğitim Verisi

İngilizcesi: Training Data
Okunuşu: treyning deyta

Güncellendi 30 Eylül 20262 dk okuma

Kısaca

Eğitim verisi, bir makine öğrenmesi modelinin öğrendiği örnekler kümesidir; kalitesi, boyutu ve kapsamı modelin ne kadar iyi çalışacağını büyük ölçüde belirler.

Eğitim verisi nedir?

Eğitim verisi, bir makine öğrenmesi modelini öğretmek için kullanılan örnekler koleksiyonudur. Göreve bağlı olarak spam ya da spam değil olarak işaretlenmiş e-postalar, gösterdikleri nesnelerle etiketlenmiş fotoğraflar, nihai fiyatlarıyla geçmiş satışların satırları veya bir büyük dil modeli için trilyonlarca token'lık metin ve kod olabilir. Eğitim sırasında model, çıktıları bu verideki örüntülerle eşleşene kadar parametrelerini ayarlar.

Eğitimden önce bir veri kümesi genellikle üç parçaya ayrılır. Eğitim kümesi modelin öğrendiği veridir; doğrulama kümesi ayarları karşılaştırmak ve ne zaman duracağına karar vermek için kullanılır; test kümesi ise modelin hiç görmediği verilerde nasıl performans göstereceğini tahmin etmek için en sona kadar kenarda tutulur. Eğitim verisini hazırlamak çoğu zaman eğitimin kendisinden daha fazla zaman alır, çünkü toplanması, temizlenmesi, tekrarlardan arındırılması, etiketlenmesi ve hatalara karşı kontrol edilmesi gerekir.

Eğitim verisini, bir öğrencinin çalıştığı ders kitabı ve alıştırma soruları olarak düşünün. Yalnızca kolay sorular görmüş ya da cevap anahtarında hatalar olan bir öğrenci gerçek sınavda zorlanır; model de aynıdır: eğitim verisindeki boşluklar, hatalar ve yanlılıklar modelin boşluklarına, hatalarına ve yanlılıklarına dönüşür. Bu fikir çoğu zaman 'çöp girerse çöp çıkar' (garbage in, garbage out) diye özetlenir.

Eğitim verisi çoğu zaman modelin çalışma anında aldığı girdiyle karıştırılır. Bir prompt'a yapıştırdığınız ya da RAG ile getirdiğiniz belgeler tek bir istek için bağlamdır, eğitim verisi değildir ve modelin ağırlıklarını değiştirmez. Test verisinden de farklıdır: test örnekleri eğitim kümesine sızarsa (veri sızıntısı), modelin skorları değerlendirmede harika görünür ama gerçek kullanımda çöker.

Önemli noktalar

Eğitim verisi, bir modelin örüntüleri öğrendiği örnekler kümesidir.
Veri kümeleri genellikle eğitim, doğrulama ve test kümelerine ayrılır.
Verideki hatalar, boşluklar ve yanlılıklar modelin davranışına aktarılır.
Bir prompt'taki veya RAG ile getirilen veri tek bir istek için bağlamdır, eğitim verisi değildir.
Test verisini eğitim verisinden ayrı tutmak yanıltıcı sonuçları önler.

Örnek

Bir veri kümesini eğitim, doğrulama ve test kümelerine ayırmakpython

import random

# 1,000 labeled examples: (email text, is_spam)
examples = [(f"email {i}", i % 5 == 0) for i in range(1000)]
random.seed(42)
random.shuffle(examples)  # shuffle so each split is representative

train = examples[:800]          # 80%: the model learns from these
validation = examples[800:900]  # 10%: used to tune settings
test = examples[900:]           # 10%: used only for the final score

print(len(train), len(validation), len(test))  # 800 100 100

Sık sorulan sorular

Eğitim verisi ile test verisi arasındaki fark nedir?

Eğitim verisi modelin öğrendiği veridir; test verisi ise ayrı tutulur ve yalnızca bitmiş modelin hiç görmediği örnekleri ne kadar iyi işlediğini ölçmek için kullanılır. İkisi için aynı örnekleri kullanmak aşırı öğrenmeyi gizler.

Ne kadar eğitim verisi gerekir?

Göreve ve modele bağlıdır. Basit bir sınıflandırıcı birkaç bin iyi örnekle çalışabilir, bir LLM'e ince ayar yapmak çoğu zaman yüzlerce ila binlerce örnek gerektirir, büyük bir modeli sıfırdan eğitmek ise milyarlarca örnek ya da daha fazlasını gerektirir; kalite ve çeşitlilik genellikle miktar kadar önemlidir.

Veri sızıntısı (data leakage) nedir?

Veri sızıntısı, test kümesinden ya da gelecekten gelen bilgilerin eğitim verisine karışmasıdır. Model bu durumda değerlendirme sırasında üretimde olacağından çok daha doğru görünür.

İlgili sayfalar

Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin