Super resolution of light fields using convolutional neural network

Abstract

Light field imaging extends the traditional photography by capturing both spatial and angular distribution of light, which enables new capabilities, including post-capture refocusing, post-capture aperture control, and depth estimation from a single shot. Micro-lens array (MLA) based light field cameras offer a cost-effective approach to capture light field. A major drawback of MLA based light field cameras is low spatial resolution, which is due to the fact that a single image sensor is shared to capture both spatial and angular information. In this thesis, we present a learning based light field enhancement approach. Both spatial and angular resolution of captured light field is enhanced using convolutional neural networks. The proposed method is tested with real light field data captured with a Lytro light field camera, clearly demonstrating spatial and angular resolution improvement.

Işık alan görüntüleme, ışığın hem uzamsal hem de açısal dağılımını kaydederek, kayıt sonrası odaklama, kayıt sonrası diyafram kontrolü ve tek bir çekimden derinlik kestirimi gibi geleneksel görüntülemeden daha öte yetenekler sağlar. Mikro-lens dizisi (MLD) tabanlı ışık alan kameraları ışık alanını kaydetmede uygun maliyetli bir yaklaşım sunar. MLD tabanlı ışık alan kameralarının temel sorunu tek bir görüntü sensörünün uzamsal ve açısal bilgiyi kaydetmesi için paylaşılmasından dolayı ortaya çıkan düşük uzamsal çözünürlüktür. Bu tezde, öğrenme temelli ışık alan iyileştirme yaklaşımı sunulmaktadır. Evrişimsel sinir ağları ile kaydedilmiş ışık alanının hem uzamsal hem de çözünürlüğü arttırılmaktadır. Önerilen metod Lytro ışık alan kamerasıyla çekilmiş gerçek ışık alan verisiyle test edilmiş, uzamsal ve açısal iyileştirme açık bir şekilde gösterilmiştir.