Görüntü Segmentasyonu (Image Segmentation)

Görüntü segmentasyonu nedir?

Görüntü segmentasyonu, bir resmi piksel piksel bölümlere ayırma işidir. Nesne tespiti bir nesnenin etrafına kutu çizerken, segmentasyon o nesnenin tam sınırını, yani hangi pikselin nesneye ait olduğunu işaretler. Sonuç, resmin üstüne oturan bir maskedir: kedi buraya kadar, arka plan şuradan başlıyor.

Nasıl çalışır?

Modern segmentasyon modelleri genelde convolutional neural network ya da transformer tabanlı bir encoder-decoder yapısı kullanır. Encoder resmi sıkıştırıp özellik haritaları çıkarır, decoder bu haritaları tekrar orijinal çözünürlüğe büyütüp her piksele bir etiket atar. Model eğitim sırasında insan tarafından maskelenmiş binlerce örnek görür ve pikselleri doğru sınıfa atamayı öğrenir. Üç ana tür var: semantik segmentasyon (aynı sınıftaki her şey tek renk), instance segmentasyon (aynı sınıftan iki nesneyi ayırır — iki ayrı kedi, iki ayrı maske) ve panoptik segmentasyon (ikisinin birleşimi).

Neden önemli?

Kutu çizmek çoğu iş için yeterli değil. Bir tümörün tam sınırını bulmak, bir yolun neresi sürülebilir olduğunu anlamak ya da bir fotoğrafta arka planı temiz kesmek piksel hassasiyeti ister. Segmentasyon, "nesne şurada" demekle "nesne tam olarak bu şekilde" demek arasındaki fark.

Kullanım alanları

Tıbbi görüntülemede organ ve tümör sınırlarını çıkarmak, otonom araçlarda yol/yaya/araç ayrımı, uydu görüntülerinde arazi analizi, fotoğraf editörlerinde arka plan silme ve yeşil ekran gerektirmeyen kırpma, üretimde kusur tespiti. Meta'nın Segment Anything modeli gibi araçlar, tek tıkla neredeyse her nesneyi maskeleyebilecek kadar genel hale getirdi bu işi.