ETLvsELT

ETL ve ELT, veriyi üretildiği sistemlerden analiz edildiği bir warehouse'a ya da lake'e taşımanın iki yoludur. İkisi de veriyi uygulama veritabanları, SaaS araçları ve günlükler gibi kaynaklardan çıkarır; farkları, dönüştürme adımının ne zaman ve nerede yapıldığıdır. Extract, transform, load demek olan ETL, veriyi yolda, ayrı bir işleme sisteminde temizler ve yeniden biçimlendirir; yalnızca bitmiş sonucu yükler. Extract, load, transform demek olan ELT ise ham veriyi önce hedefe kopyalar ve orada dönüştürür.

Sıra değişti, çünkü ekonomi değişti. Warehouse'lar şirketin kendi veri merkezinde duran pahalı makinelerken veriyi varmadan önce küçültmek ve temizlemek mantıklıydı; bu yüzden ETL onlarca yıl standart oldu. 2010'larda BigQuery, Snowflake ve Amazon Redshift gibi bulut warehouse'ları depolamayı ucuzlattı ve hesaplama gücünü kolayca ölçeklenebilir kıldı; böylece her şeyi ham hâliyle yükleyip çoğu zaman dbt ile yönetilen SQL ile dönüştürmek daha basit ve esnek hâle geldi.

Ham kopyayı saklamak ELT'nin ana avantajıdır: bir hata düzeltildiğinde ya da yeni bir soru çıktığında veriyi yeniden çıkarmak yerine SQL'i yeniden çalıştırırsınız. ETL'nin ana avantajı ise denetimdir: hassas alanlar warehouse'a hiç ulaşmadan atılabilir, maskelenebilir ya da doğrulanabilir ve hedef yalnızca temiz tabloları saklar. ELT bu sorumluluğu warehouse'un içine taşır; orada erişim denetimleri daha çok önem kazanır, ağır dönüşümler de faturayı kabartır.

Sık yapılan bir yanlış, ELT'nin ETL'nin yerini aldığını düşünmektir. Gerçek hayattaki pek çok veri hattı ikisini karıştırır: içeri girerken hafif bir temizlik ya da anonimleştirme, ardından warehouse'ta ağır modelleme. Bir diğer yanlış, ETL'yi ya da ELT'yi bir ürün sanmaktır; ikisi de birer kalıptır ve aynı orkestrasyon araçları ikisini de çalıştırabilir.