Boyutluluk Laneti (Curse of Dimensionality)

Curse of Dimensionality nedir?

Terimi 1957''de Richard Bellman ortaya attı. Fikir şu: bir veri setine daha fazla özellik (boyut) eklemek önce işe yarar gibi görünür, ama belli bir eşikten sonra model daha iyi değil daha kötü çalışmaya başlar. Boyut sayısı arttıkça uzay öyle genişler ki elindeki veri noktaları bu boşlukta birbirinden uzak, seyrek dağılmış kalır.

Nasıl çalışır?

Sezgiyi bozan kısım burası. Bir birim küpün içinde verinin %10''unu kapsayan bir bölge istediğini düşün. 1 boyutta bunun için kenarın onda birini almak yeter. 10 boyutta ise aynı %10''u yakalamak için her kenarın yaklaşık %80''ini kaplaman gerekir — yani "yerel komşuluk" diye bir şey kalmaz, her nokta her noktaya neredeyse eşit uzaklıktadır. Uzaklığa dayanan yöntemler (mesela k-nearest neighbors) bu yüzden yüksek boyutta anlamını yitirir.

Neden önemli?

Yüksek boyutta örüntü bulmak için gereken veri miktarı boyutla üstel olarak artar. Elindeki veri sabitken boyutu şişirirsen, model gürültüyü ezberler — yani overfitting riski büyür. "Ne kadar çok özellik o kadar iyi" sezgisi bu yüzden yanlıştır; çoğu zaman az ama doğru özellik daha güçlüdür.

Kullanım alanları

Bu laneti hafifletmek için dimensionality reduction (PCA gibi), feature selection ve embedding''ler kullanılır — hepsi yüksek boyutlu veriyi anlamlı ve daha küçük bir uzaya taşımayı hedefler. İyi haber: gerçek veri genelde bütün boyutları eşit kullanmaz, düşük boyutlu bir manifold üzerinde toplanır; bu da lanetin pratikte teoriden daha yumuşak vurmasını sağlar.