ادغام تصوير مادون قرمز و مرئي به كمك يادگيري عميق

كارشناسي ارشد

با توجه به ظهور فناوري ادغام تصاوير، ادغام تصاوير يكي از زمينه هاي تحقيقاتي مورد توجه در ميان محققين مي¬باشد كه سبب مي¬گردد اطلاعات مفيد¬تري نسبت به هر يك از تصاوير اصلي در تصوير ادغام شده وجود داشته باشد. ادغام تصاوير مادون قرمز و مرئي به عنوان يكي از انواع ادغام محسوب مي گردد كه در اين پژوهش به آن پرداخته شده است. اطلاعات دريافت شده توسط حسگرهاي مرئي و مادون قرمز مي توانند به عنوان مكملي براي يكديگر باشند و با ادغام آن¬ها به نتايج دلخواه كه شامل اهداف حرارتي قابل توجه و بافت غني نسبت به هريك از تصاوير اصلي است، در يك تصوير واحد دست پيدا نمود. در اين پژوهش، ما رويكرد هاي مختلف ادغام تصوير مادون قرمز و مرئي را بررسي كرده¬ايم و يك رويكرد نوين مبتني بر يادگيري عميق ارائه مي¬كنيم. چهارچوب پيشنهادي ما از يك شبكه متخاصم مولد با تمايزگر سه گانه براي ادغام اطلاعات حياتي تصويرمادون قرمز و مرئي بهره مي¬برد. تمايزگر سه¬گانه براي تشخيص اطلاعات حياتي همچون جزئيات، شدت مناسب و اهداف تصوير مادون قرمز در تصوير توليد شده توسط مولد استفاده شده است. استخراج بافت و جزئيات با استفاده از نقشه‌هاي گراديان انجام شده و ادغام تطبيقي اين نقشه‌ها با كمك مكانيزم توجه و در نظر گرفتن ارتباط آن‌ها در ويژگي هاي آماري، در حفظ جزئيات تصوير ادغام‌شده موثر بوده است. چهارچوب پيشنهادي براي ادغام تصاوير مادون قرمز و مرئي منجر به بهبود رويكردهاي¬ يادگيري عميق، با قرار گرفتن در اين چهارچوب شده است. همچنين توابع اتلاف بر اساس اطلاعات حياتي همچون نقشه گراديان مشترك، شدت مناسب از تصاوير اصلي و اهداف مادون قرمز به همراه پس زمينه تصوير مرئي تعريف شده كه به حفظ اطلاعات و تاثير پذيري كمتر در مقابل نويز احتمالي موجود در تصاوير مادون قرمز كمك شده است. همچنين ما معيار هاي ارزيابي عيني براي اندازه گيري كيفيت ادغام را مورد بررسي قرار مي¬دهيم. تجزيه و تحليل به صورت كمّي و كيفي ارائه شده و در جهت رفع نواقص موجود در سيستم ارزيابي، يك رويكرد پيشنهادي امتيازبندي ارائه شده است كه تفاوت ميان رويكردهاي ادغام را باتوجه به اطلاعات مورد نظر در تصوير ادغام شده، به نحو بهتري نمايان كرده است. آزمايش‌هاي كمّي و كيفي روي مجموعه داده¬ي در دسترس عموم، برتري رويكرد ما را نسبت به رويكرد هاي ارائه شده توسط محققين نشان مي‌دهد.

230410

دانشگاه اصفهان

مهندسي برق - سيستم هاي الكترونيك ديجيتال

پيمان معلم