U-Net

U-Net nedir?

U-Net, adını mimarisinin U harfine benzeyen şeklinden alan bir convolutional sinir ağı •görüntü işleyen katmanlı ağ• türü. 2015'te tıbbi görüntü bölütlemesi için tasarlandı ama bugün çok daha geniş bir yerde karşına çıkıyor: neredeyse her görüntü üreten diffusion modelin içinde bir U-Net ya da onun evrimleşmiş hâli var.

Nasıl çalışır?

İki koldan oluşur. İlk kol (encoder) görüntüyü adım adım küçültüp özünü çıkarır — "bu görüntüde neler var" bilgisini yoğunlaştırır. İkinci kol (decoder) bu özü tekrar adım adım büyütüp orijinal boyuta döndürür. İşin püf noktası aradaki skip connection •iki kolu birbirine bağlayan köprüler•: encoder'daki ince detaylar doğrudan decoder'a aktarılır, böylece büyütme sırasında keskinlik kaybolmaz. U şekli tam da bu iki koldan ve aralarındaki köprülerden doğar.

Neden önemli?

Diffusion modeller gürültüden görüntü üretirken her adımda "bu gürültünün ne kadarını temizlemeliyim" sorusunu bir U-Net'e sorar. Yani Stable Diffusion tarzı araçların görsel üretme yeteneğinin büyük kısmı bu mimariye dayanır. Ayrıca tıpta tümör sınırı çıkarmaktan uydu görüntüsü analizine kadar hassas bölütleme gerektiren her yerde kullanılır.

Kullanım alanları

Tıbbi görüntü bölütleme, diffusion tabanlı görsel üretimi, uydu ve harita analizi, arka plan silme ve inpainting •görüntüde eksik bölgeyi doldurma•.