# LoRA (Low-Rank Adaptation (düşük ranklı uyarlama))

Adres: https://softwaredictionary.org/tr/terimler/lora
Kategori: Yapay Zekâ ve Makine Öğrenmesi
Son güncelleme: 2026-10-05
Okunuşu: lora

Kısaca: LoRA, büyük modellere ucuzca ince ayar yapma yöntemidir: ağırlıklar dondurulur, yalnızca eklenen küçük matrisler eğitilir; yeni beceri birkaç megabayta sığar.

## LoRA nedir?

Büyük bir dil modeline ince ayar yapmak normalde milyarlarca ağırlığının tamamını günceller; bu da çok fazla GPU belleği ister ve her görev için modelin tam bir kopyasını üretir. Microsoft araştırmacılarının 2021'de tanıttığı LoRA, özgün ağırlıkları dondurur ve bazı katmanların yanına küçük, düşük ranklı bir matris çifti ekler; yalnızca bunlar eğitilir.

Onu ucuz yapan "düşük ranklı" olmasıdır. LoRA, büyük bir ağırlık matrisine tam bir güncelleme öğrenmek yerine, çarpımı o güncellemeye yaklaşan iki ince matris öğrenir. Özgün makalede bu, GPT-3 için eğitilen parametre sayısını yaklaşık 10.000 kat azalttı. Eğitilen adaptör çok küçüktür, gerektiğinde temel modelin üzerine yüklenebilir ve birkaç adaptör aynı temel modeli paylaşabilir.

LoRA, parametre açısından verimli ince ayarın (PEFT) en yaygın biçimidir. Popüler bir türü olan QLoRA, dondurulmuş temel modeli 4 bit hassasiyetle de saklar; böylece oldukça büyük modellere tek bir GPU'da ince ayar yapılabilir. Açık modelleri bir alana, bir yazım üslubuna ya da bir çıktı biçimine uyarlamak ve görüntü üretim modellerini özelleştirmek için yaygın olarak kullanılır.

## Önemli noktalar

- LoRA, özgün ağırlıklar donmuş kalırken eklenen küçük matrisleri eğiterek bir modele ince ayar yapar.
- Tam ince ayardan çok daha az bellek ister ve küçük bir adaptör dosyası üretir.
- Adaptörler, paylaşılan tek bir temel modelin üzerinde değiştirilebilir.
- QLoRA, eğitimi tek bir GPU'ya sığdırmak için LoRA'yı 4 bitlik bir temel modelle birleştirir.

## Örnek: Hugging Face PEFT ile LoRA adaptörleri eklemek

```python
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
config = LoraConfig(
    r=8,                                  # rank of the added matrices
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],  # attention layers to adapt
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, config)
model.print_trainable_parameters()  # only a small share of the weights will train
```

## Sık sorulan sorular

**LoRA, tam ince ayar kadar iyi mi?**

Çoğu uyarlama görevinde maliyetin çok küçük bir kısmıyla buna yaklaşır. Modelin gerçekten çok fazla yeni bilgi öğrenmesi gerektiğinde tam ince ayar hâlâ daha iyi olabilir; ama üslup, biçim ve alan uyarlaması için LoRA genellikle yeterlidir.

**LoRA ile RAG arasındaki fark nedir?**

LoRA, küçük bir adaptör eğiterek modelin davranışını değiştirir; RAG ise modeli değiştirmez ve soru anında ona ilgili belgeleri verir. RAG sık değişen bilgilere, LoRA tutarlı bir üslup, biçim ya da beceri öğretmeye uygundur.

## Kaynaklar

- [Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models (2021)](https://arxiv.org/abs/2106.09685)
- [Dettmers et al.: QLoRA: Efficient Finetuning of Quantized LLMs (2023)](https://arxiv.org/abs/2305.14314)
- [Hugging Face PEFT documentation: LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)

---

Software Dictionary: https://softwaredictionary.org/tr · https://softwaredictionary.org/tr/llms.txt