Eksik Veri Doldurma (Imputation)

Eksik Veri Doldurma nedir?

Eksik veri doldurma (imputation), bir veri kümesinde değeri bilinmeyen hücrelerin makul tahminlerle doldurulması işlemidir. Gerçek dünya verisi neredeyse hiç eksiksiz gelmez: formda boş bırakılan alanlar, bozulan sensörler, sistemler arası aktarımda kaybolan kayıtlar. Pek çok makine öğrenmesi algoritması ise boş değerle çalışamaz ya da boş değer yüzünden yanlış sonuç üretir. Imputation, bu boşlukları kapatmanın sistematik yoludur.

Nasıl çalışır?

Basitten karmaşığa doğru birkaç yaygın yöntem var:

• Sabit değer: Boş hücreye 0, "bilinmiyor" ya da benzeri sabit bir değer yazılır. Kolaydır ama dağılımı bozabilir.
• Ortalama, medyan veya mod: Sayısal sütunlarda ortalama ya da medyan, kategorik sütunlarda en sık görülen değer kullanılır. Hızlıdır ama değişkenliği yapay olarak azaltır.
• İleri/geri doldurma: Zaman serilerinde bir önceki ya da bir sonraki gözlem kopyalanır.
• Model tabanlı doldurma: K-en yakın komşu, regresyon ya da ağaç tabanlı modellerle diğer sütunlara bakarak eksik değer tahmin edilir.
• Çoklu doldurma (multiple imputation): Eksik değerler birkaç farklı şekilde doldurulur, analiz her versiyonda tekrarlanır ve sonuçlar birleştirilir. Böylece belirsizlik de hesaba katılır.

İyi bir pratik, doldurulan hücreleri işaretleyen ek bir "eksikti" sütunu eklemektir. Çünkü bazen verinin eksik olması başlı başına bilgidir: gelir sorusunu boş bırakan kişiler belirli bir grubu temsil ediyor olabilir.

Neden önemli?

Eksik veriyi görmezden gelip ilgili satırları silmek kolaydır ama tehlikelidir. Veri kümesi küçülür, daha da kötüsü eksiklik rastgele değilse örneklem yanlı hale gelir. Imputation hem veriyi korur hem de modelin çalışmasını sağlar. Ama dikkat: doldurma işlemi yalnızca eğitim verisinden öğrenilmeli, test verisine sızmamalıdır; aksi halde data leakage oluşur ve model performansı olduğundan iyi görünür.

Kullanım alanları

• Sağlık verisi: Eksik laboratuvar sonuçlarını hastanın diğer ölçümlerinden tahmin etmek.
• Sensör ve IoT: Kısa kesintilerde oluşan boşlukları zaman serisi yöntemleriyle doldurmak.
• Anket analizi: Cevaplanmayan sorular yüzünden katılımcı kaybetmemek.
• Finans: Tatil günlerinde eksik kalan fiyat verisini tamamlamak.
• ML pipeline'ları: Ön işleme adımı olarak otomatik doldurma, üretim ortamında gelen eksik verinin modeli çökertmesini engeller ve eğitim ile sunum arasında tutarlılık sağlar.