Quantization

Quantization, bir makine öğrenmesi modelinin içindeki sayıların hassasiyetini azaltır. Modeller genellikle parametreleri 16 ya da 32 bitlik kayan noktalı sayılar olarak saklanarak eğitilir; quantization bunları 8 bit veya 4 bitlik tamsayılar gibi daha küçük biçimlere dönüştürür. Model aynı mimariyi korur ve neredeyse aynı davranır, ama belleğin küçük bir kısmını kaplar ve çoğu zaman daha hızlı çalışır.

Temel yöntem, bir değer aralığını küçük bir düzey kümesine eşler. 8 bit quantization için her ağırlık grubu bir ölçek çarpanı alır ve her ağırlık bu ölçeğe bölünüp 256 tam sayıdan birine yuvarlanır; çalışma anında sayılar tekrar ölçekle çarpılır. Eğitim sonrası quantization bunu bitmiş bir modele uygular; quantization-aware training ise yuvarlamayı eğitim sırasında simüle eder, böylece model buna tahammül etmeyi öğrenir. Kazanç büyüktür: 70 milyar parametreli bir model 16 bitte yaklaşık 140 GB gerektirirken 4 bitte kabaca 35 GB gerektirir.

Bir benzetme, bir fotoğrafı daha az renkle kaydetmek ya da fiyatları en yakın liraya yuvarlamaktır: biraz ayrıntı kaybedersiniz, ama sonuç çok daha küçüktür ve işi görmeye devam eder. Quantization, yetenekli modelleri tek bir GPU'da, dizüstü bilgisayarda veya telefonda çalıştırmayı mümkün kılan şeydir ve sunucuların aynı donanımla daha fazla isteği karşılamasını sağlar. Ödünleşim biraz doğruluk kaybıdır; bu 8 bitte genellikle küçüktür, 4 bit ve altında ise daha belirgindir.

Quantization bazen bir dosyayı sıkıştırmakla karıştırılır, ancak quantize edilmiş bir model kullanılmadan önce açılmaz; doğrudan düşük hassasiyetli sayılar üzerinde çalışır ve kaybolan hassasiyet bir daha geri gelmez. Ayrıca daha büyük bir modeli taklit etmesi için yeni, daha küçük bir modeli eğiten distillation'dan (damıtma) ve ağırlıkları tamamen kaldıran pruning'den (budama) de farklıdır. Bu teknikler sıklıkla birleştirilir ve her ikisi de bir şeyleri sayılara dönüştürse de quantization'ın tokenization ile hiçbir ilgisi yoktur.