Occam'ın Usturası (Occam's Razor)

Occam'ın Usturası nedir?

Temeli basit bir ilke: gereğinden fazla şey kullanılmamalı. Yani bir olguyu açıklayan birden çok yol varsa, en az varsayıma dayanan, en sade olanı tercih et. Makine öğrenmesine çevirirsek: iki model, senin için önemli ölçütlerde aşağı yukarı aynı sonucu veriyorsa, basit olanı seç.

Buradaki ustura mecazı gereksiz karmaşıklığı kesip atmayı anlatır. Einstein'ın dediği gibi: her şey mümkün olduğunca sade olmalı — ama daha sade değil.

Nasıl çalışır?

Model seçiminde ustura bir pusula gibi çalışır. Önce başarı ölçütlerini netleştirirsin: yalnızca accuracy değil; hız, ölçeklenebilirlik, dayanıklılık ve yorumlanabilirlik de. Sonra bu ölçütleri karşılayan modeller arasından en az değişkenli, en az feature engineering isteyen, en kolay yorumlananı seçersin.

Burada sade iki anlama gelir: hem daha az parametre hem daha kolay anlaşılır. Tek bir decision tree, onlarca katmanlı bir ağa göre genelde daha sadedir; aynı işi görüyorsa ustura ağacı işaret eder.

Neden önemli?

Çünkü sadelik çoğu zaman daha iyi genellemeyle el ele gider. Aşırı karmaşık bir model eğitim verisindeki gürültüyü de ezberler — buna overfitting denir — ve yeni veride tökezler. Daha sade modeller bu tuzağa daha az düşer; regularization ve bias-variance dengesi gibi kavramlar da aslında aynı sezginin matematiğidir. Üstüne sade model daha hızlı, daha ucuz ve daha açıklanabilir olur.

Kullanım alanları

Model ve algoritma seçimi, feature selection, hiperparametre ayarı — kısacası hangi modeli kuralım sorusunun sorulduğu her yer. Ama bir uyarı: ustura ancak modellerin performansı birbirine yakınken geçerli. Küçük bir accuracy farkı büyük değer taşıyorsa (yarım puan milyonlara denk geliyorsa), daha karmaşık modeli seçmek akıllıcadır. İlke her zaman en basiti değil, yeterince iyiyse en basiti der.