Deep learning model optimization for real-time smallobject detection on embedded gpus

Abstract

Camera mounted drones are mostly used in surveillance applications. Most of these surveillance systems track objects in two steps; firstly, they detect and recognize targets in a scene and then track those targets in the upcoming live video feed. However, current object detection algorithms mostly use deep learning models that are trained on large image datasets that require high computing power and GPU supported systems. Moreover, feature matching and association handling in object tracking also create more payload on a system that affects performance in real-time. For Wide Area Surveillance (WAS) applications vision-based object detection and target tracking is necessary to locate and follow ground targets. However, these UAVs operate at very high altitude above the ground, due to which ground objects look very small and less visible. Hence an accurate object detector is needed which can deeply scan the features and recognize these small ground objects respectively. Meanwhile, using the deep learning approach, CNN based object detectors are heavy to operate on embedded or edge devices because of their extensive computation and complex mathematical models. In this thesis we investigate both above stated problems that can affect the performance of Multi Object Tracking (MOT) system. The motivation of this thesis is to design a robust and real-time tracking system that can operate effectively on edge embedded devices like Nvidia Jetson AGX Xavier. First we choose one-stage detectors and work on architectural based feature enhancement by connecting Up-sampling layers and concatenating the up-sampled features with the original features to obtain more refined and grained features for small objects, which leads to more accurate small object detection, and Second we explore possible (CPU and GPU based) model optimization approaches involved in transforming the complex object detection models to lightweight systems, which include mix precision and layers fusion using TensorRT [1] pipeline, multi-threading, and several pruning techniques to work our object detection models for real-time performance, without sacrificing accuracy and efficiency goals. Moreover, we apply data augmentation techniques on Visdrone detection dataset [2] which also lead to improved mean Average Precision (mAP) [3] on the test dataset. Simulation results show extensive comparisons in performance between different detection/tracking models and their optimized versions.

Kameralı hava araçları genellikle gözetleme alanında kullanılmaktadır. Bu gözetleme sistemlerinin birçoğu objeleri iki adımda izler; ilk olarak, hedeflerini tespit eder ve tanır, daha sonra bu hedefleri canlı video akışında takip eder. Fakat, günümüzde obje tespit algoritmaları genellikle yüksek hesap gücü olan ve GPU ile desteklenen sistemlerde, geniş görüntü veri seti ile eğitilen derin öğrenme modelleri kullanmaktadır. Dahası, obje takibinde öznitelik eşleştirme ve ilişkilendirme yönetimleri sisteme daha fazla iş yükü bindirmekte ve bu gerçek zaman performansını etkilmektedir. Geniş Alan Gözetleme (GAG) uygulamalarında, yer hedeflerini bulmak ve takip etmek için görüş tabanlı nesne algılama ve hedef takibi gereklidir. Fakat, bu insansız hava uçakları (İHA) yerden çok yüksekte çalışır ve bu sebeple yerdeki objeler çok küçük görünür. Bu sebeple, özellikleri derinlemesine tarayabilen ve bu küçük yer nesnelerini tanıyabilen hassas bir obje dedektörü gereklidir. Ayrıca, derin öğrenme yaklaşımını kullanan CNN tabanlı obje dedektörleri, kapsamlı hesaplamaları ve karmaşık matematiksel modelleri nedeniyle gömülü veya uç cihazlarda çalışmak için ağırdır. Bu tezde, Çoklu Nesne Takibi (ÇNT) sisteminin performansını etkileyebilecek yukarıda belirtilen sorunları araştırdık. Bu tezin amacı, Nvidia Jetson AGX Xavier gibi uç gömülü cihazlarda etkin bir şekilde çalışabilen, gürbüz ve gerçek zamanlı bir takip sistemi tasarlamaktır. İlk olarak, tek aşamalı bir dedektör seçtik ve küçük objeler için daha rafine ve ince tanecikli öznitelikler elde etmek adına yukarı örnekleme katmanlarını bağlayarak ve yukarı örneklenen öznitelikleri orijinal özniteliklerle birleştirerek mimari tabanlı öznitelik iyileştirme üzerinde çalıştık. Bu da daha kesin obje algılamaya yardımcı oldu. Daha sonra, karmaşık obje tespit modellerini hafif sistemlere dönüştürmekle ilgili, olası (CPU ve GPU tabanlı) model optimizasyon yaklaşımlarını keşfettik. Bu yaklaşımlar, TensorRT [1] boru hattı kullanılarak yapılan karışık hassasiyet optimizasyonu ve katman füzyonu, çok-izlekli programlama ve çeşitli budama tekniklerini içermektedir. Bu tekniklerin kullanılması obje tespit modelimizin doğruluk ve verimlilik hedeflerinden ödün vermeden gerçek zamanlı sonuçlar almamızı sağlamıştır. Ayrıca, Visdrone [2] tespit veri seti üzerinde veri artırma teknikleri uyguladık ve bu da test veri setinde daha yüksek ortalama kesinliğe yol açtı. Benzetim sonuçları, farklı tespit/takip modelleri ile bunların optimize edilmiş sürümleri arasındaki performans açısından kapsamlı karşılaştırmaları göstermektedir.