Swin transformer based siamese network for thermal and optical image registration

Abstract

The process of multi-modal image registration is fundamental in remote sensing and visual navigation applications. However, existing image registration methods that are designed for single modality images do not provide satisfactory results when applied to multi-modal image registration. In this research, our objective is to achieve highly accurate alignment of both infrared and optical (visible range) images. To accomplish this goal, we explore the effectiveness of the Swin Transformer encoder and cosine loss in enhancing the keypoint-based image registration process. Simulation results show the improvement achieved in multi-modal registration by using a transformer based Siamese network.

Çok modlu görüntü çakıştırma işlemi, uzaktan algılama ve görsel navigasyon uygulamalarında temel bir aşamadır. Ancak, tek modlu görüntüler için tasarlanmış mevcut görüntü çakıştırma yöntemleri, çok modlu görüntü çakıştırmaya uygulandığında tatmin edici sonuçlar vermemektedir. Bu araştırmada, amacımız hem kızılötesi hem de optik (görünür aralık) görüntülerin yüksek doğruluklu eşleştirilmesini gerçekleştirmektir. Bu hedefe ulaşmak için, Swin dönüştürücüsünün ve kosinüs kaybının, anahtar nokta tabanlı görüntü çakıştırma sürecindeki etkinliği araştırılmıştır. Benzetim sonuçları, dönüştürücü tabanlı Siyam ağının çok modlu eşleştirme başarısında sağladığı artışı ortaya koymaktadır.