Akademik Veri Yönetim Sistemi
Sarıgül M. (Yürütücü), Karacan L.
TÜBİTAK Projesi, 2024 - 2026
Bir sahneden elde edilen tek bir görüntüdeki bulanıklık, düşük ışık, sis, pus ve gürültü gibi eksik veya bozulmuş bilgiyi düzeltmek ve görüntü kalitesini iyileştirmek oldukça zorlu görüntü işleme problemidir. Görüntü iyileştirme nesne tespiti, nesne takibi, sahne bölütleme gibi birçok bilgisayarlı görü probleminin çözümünde önemli rol üstlenir. Örneğin otonom araçların düşük ışık ve sis gibi koşullarda nesne algılama kabiliyetinin arttırılması için görüntü iyileştime yaklaşımlarına ihtiyaç duyulur.
Bu zorlu bu problemi daha çözülebilir hale getirmek ve daha kaliteli görüntü elde edebilmek için tek bir anlık görüntü yerine aynı sahnenin anlık değişimlerini bir dizi görüntü ile elde edip bu görüntülerdeki tamamlayıcı bilgiler kullanılarak görüntü iyileştirme ve restorasyonu için büyük avantaj sağlanabilir. Seri çekim (burst) modern kameralarda anlık olarak hızla çekilen bir görüntü serisini ifade eder. Seri görüntülerdeki tamamlayıcı bilgileri doğru bir şekilde birleştirmek ve görsel kalitesi daha yüksek görüntüler elde etmek için son yıllarda çeşitli görüntü iyileştirme ve resrorasyon yöntemleri önerilmiştir.
Difüzyon Olasılıksal Modeller bir girdi görüntüsüne kademeli olarak Gauss gürültüsünün eklendiği bir ileri işleme ve daha sonra bu görüntünün gürültüsüz ve temiz biçiminin elde edildiği öğrenilebilir bir ters işlemden oluşan bir derin üretici model olarak son yıllarda başarılı üretme sonuçlarıyla büyük ün kazanmıştır. Burada amaç eğitildiği veri kümesindeki verilere benzer yeni örnekler üretmektir. Çeşitli değişikliklerle farklı problemler için kullanılmaya başlanmıştır. Tek çekim görüntü iyileştirmede de difüzyon olasılıksal modelleri tabanlı yöntemler dikkate değer sonuçlar üretmiştir. Ancak seri çekim görüntü iyileştirmede henüz difüzyon olasıksal modellerinin gücünden yararlanılmamıştır.
Bu boşluğu doldurmak için, proje kapsamında, seri çekim görüntülerin sağladıkları zengin bilgileri görüntü iyileştirmesi ve restorasyonu amacı için kullanan özgün bir Difüzyon Olasılıksal Modelleri tabanlı derin öğrenme yaklaşımı araştırılacaktır. Birçok görüntü iyileştirme ve restorasyonu problemini çözmek için seri çekim görüntüler üzerinde çalışabilen ve görüntü bozulmalarını modelleyebilen veri güdümlü yaklaşımlara ihtiyaç vardır. Seri çekim görüntülerin sağlayacağı avantajların ve son yıllardaki derin öğrenme alanınde geliştirilen modellerin güçlerinin birleştirilmesi geleneksel görüntü işleme yöntemlerine kıyasla daha başarılı sonuçlar elde etmeyi mümkün kılacaktır. Bu projede hedeflenen modellerle hareket bulanıklığını giderme, gürültü azaltma, kontrast iyileştirme gibi birçok görüntü iyileştirme işlemi başarılı bir şekilde gerçekleştirebilecektir. Önerilen yöntemin, mevcut tek görüntülü ve seri görüntülü görüntü iyileştirme yaklaşımlarından daha başarılı nitel ve nicel sonuçlar üretmesi beklenmektedir.