رديابي انسان در تصاوير ويدئويي با استفاده از يادگيري عميق

كارشناسي ارشد

رديابي بصري انسان يك كار تحقيقاتي اساسي در بينايي ماشين بوده و طي دهه‌هاي اخير توجه زيادي را به خود جلب كرده است. با وجود پيشرفت‌هاي چشمگير، رديابي با استفاده از دوربين طيف مرئي، در برخي از شرايط پيچيده مانند روشنايي كم در شب، درهم‌ريختگي پس‌زمينه و هم‌چنين شرايط آب و هوايي بد ( باران ، مه ، دود و غيره )، كار بسيار چالش برانگيز است. با توجه به اينكه دوربين‌هاي حرارتي مي‌توانند اشعه مادون قرمز ساطع شده توسط افراد با دماي بالاتر از صفر مطلق را ضبط كنند، استفاده از داده‌هاي حرارتي در كنار داده‌هاي مرئي مي‌تواند اطلاعات بيشتري از صحنه را در اختيار ردياب قرار داده و موجب بهبود عملكرد آن شود. اين دوربين‌ها نسبت به دوربين‌هاي طيف مرئي داراي مزيت توانايي تصويربرداري در تاريكي و مقاومت نسبت به تغييرات روشنايي و سايه روشن‌ها هستند. با اين حساب با به كارگيري داده‌هاي RGB-TIR مي‌توان در روز و شرايط مساعد آب و هوايي از اطلاعاتي كه تصاوير مرئي در اختيار گذاشته‌اند، بهره برد و در تاريكي و شرايط بد روشنايي و جوي از اطلاعات تصاوير حرارتي استفاده كرد. ردياب‌هاي حوزه‌ي يادگيري عميق با استفاده از ويژگي‌هاي سطح بالا از دقت بالايي برخوردارند ولي به دليل حجم محاسباتي زياد عموما از سرعت پايين رنج مي‌برند. ردياب پيشنهادي در اين پژوهش با هدف بالا بردن سرعت ردياب مبتني بر يادگيري عميق با استفاده از داده‌هاي RGB-TIR ارائه شده است. اين ردياب از دو آداپتور عمومي و مخصوص براي بهره‌گيري از تصاوير مرئي و حرارتي به طور هم‌زمان استفاده شده است. آداپتور عمومي هر دو تصوير را گرفته و خصوصيات و ويژ‌گي‌هاي مشترك بين اين دو تصوير را استخراج مي‌نمايد. آداپتور خصوصي از دو شاخه تشكيل شده است كه هر يك متعلق به يكي از تصاوير است و ويژگي‌هاي خاص هر يك از آن‌ها را فرا مي‌گيرد. در نهايت اين ويژگي‌ها با هم تركيب شده و با استفاده از لايه‌ي RoIAlign، ويژگي‌هاي هر كي از ناحيه‌هاي محتمل حاوي هدف استخراج مي‌شود. آداپتور نمونه با هدف مدل‌سازي تغييرات ظاهري هدف و استنتاج، اين ويژگي‌ها را گرفته و مكان هدف را مشخص مي‌نمايد. آزمايش‌هاي مختلفي كه روي مجموعه داده‌ي RGBT234 انجام شده، نشان داده است كه ردياب ارائه شده با توجه به معيارهاي SR و PR نسبت به ردياب‌هاي ديگر در حوزه خود كارايي بيشتري داشته و با سرعت 10.2 فريم در ثانيه به دقت و مقاومت به ترتيب 0.744 و 0.519 رسيده است.

194934

دانشگاه علم و صنعت ايران

الكترونيك ديجيتال

دكتر شهريار برادران شكوهي