Hiperbolik Tanjant (Tanh)

Tanh nedir?

Tanh (hiperbolik tanjant), yapay sinir ağlarında kullanılan klasik bir activation function'dır. Kendisine gelen sayıyı -1 ile +1 arasında bir değere sıkıştırır. Sigmoid'e çok benzer ama sigmoid 0 ile 1 arası çıktı verirken tanh negatif değerlere de izin verir ve sıfır etrafında simetriktir.

Nasıl çalışır?

Bir nöron, girdilerini ağırlıklarıyla çarpıp toplar; ortaya çıkan ham sayı çok büyük ya da çok küçük olabilir. Tanh bu sayıyı alıp eğri bir fonksiyondan geçirir: büyük pozitif değerler +1'e, büyük negatif değerler -1'e yaklaşır, sıfıra yakın değerler ise neredeyse doğrusal kalır. Çıktının sıfır merkezli olması, bir sonraki katmana giden sinyallerin ortalamasının sıfıra yakın kalmasını sağlar; bu da eğitimi sigmoid'e göre biraz daha stabil yapar. Fonksiyonun türevi hesaplaması kolaydır, bu yüzden backpropagation sırasında verimli çalışır.

Neden önemli?

Sıfır merkezli olması tanh'ı uzun süre varsayılan seçim yaptı. Ama tanh'ın da bir zaafı var: girdi çok büyük ya da çok küçük olduğunda eğri düzleşir, türev sıfıra yaklaşır ve vanishing gradient sorunu ortaya çıkar — ağ öğrenmeyi bırakır. Bu yüzden derin ağlarda yerini büyük ölçüde ReLU ve türevlerine bıraktı. Yine de tanh, aktivasyon fonksiyonlarının neden gerektiğini ve nasıl davrandığını anlamak için temel bir referans.

Kullanım alanları

LSTM ve GRU gibi recurrent neural network hücrelerinin içinde hâlâ aktif olarak kullanılır; bu hücrelerin kapı mekanizmaları tanh'a dayanır. Ayrıca çıktının belli bir aralıkta olması istenen regresyon problemlerinde, bazı GAN mimarilerinin üretici çıkış katmanında ve klasik sığ ağlarda karşına çıkar.