Sigmoid Fonksiyonu (Sigmoid Function)

Sigmoid nedir?

Sigmoid, herhangi bir sayıyı 0 ile 1 arasına sıkıştıran S şeklinde bir matematiksel fonksiyon. Yapay sinir ağlarında klasik bir aktivasyon fonksiyonu olarak kullanılır; çıktıyı bir olasılık gibi yorumlamanı sağlar.

Nasıl çalışır?

Formülü basit: 1 / (1 + e^(-x)). Girdi çok büyükse çıktı 1'e, çok küçükse 0'a yaklaşır, 0 civarında ise 0,5'e denk gelir. Bu yüzden "bu e-posta spam mı?" gibi ikili kararlarda çıktı doğrudan olasılık olarak okunur. Eğrinin uçlarında eğim neredeyse sıfırdır — buna doygunluk denir.

Neden önemli?

Sigmoid, sinir ağlarına doğrusal olmayan davranış katan ilk yaygın araçlardan biri. Ama bir zaafı var: derin ağlarda uçlardaki düşük eğim, geri yayılım (backpropagation) sırasında gradyanların yok olmasına (vanishing gradient) yol açar. Bu sorun, ReLU gibi alternatiflerin ara katmanlarda sigmoid'in yerini almasının başlıca sebebi.

Kullanım alanları

Bugün sigmoid çoğunlukla ikili sınıflandırmanın son katmanında ve LSTM gibi ağların kapı (gate) mekanizmalarında yaşıyor. Çok sınıflı problemlerde ise yerini softmax alır; ama olasılık üreten sade yapısı sayesinde hâlâ vazgeçilmez bir araç.