پاسخ‌دهي به پرسش‌هاي بصري با استفاده از يادگيري عميق مبتني بر گراف

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

پاسخ‌دهي به پرسش هاي بصري يك مسئله در حوزه بينايي ماشين است كه از رايج ترين روش هاي حل اين مسئله، استفاده از شبكه‌هاي عصبي عميق است. در اين مسئله تصوير به همراه يك سوال متن كه در مورد تصوير پرسيده شده است به عنوان ورودي به مدل داده مي‌شود و مدل يك پاسخ صحيح متني را نسبت به سوال به عنوان خروجي برمي‌گرداند. حل اين مسئله از طريق يادگيري عميق همواره با چالش هايي مواجه بوده است كه ريشه اصلي آن را مي‌توان در استفاده هم زمان از بلوك‌هاي متفاوت يادگيري عميق در معماري مدل، وجود روابط پيچيده و غير واضح بين اجزاي تصوير و سوال و همچنين نياز به داده آموزشي زياد براي آموزش مدل، دانست. رايج ترين روش حل اين مسئله استخراج بردار ويژگي از تصوير با استفاده از ابزارهاي پردازش تصوير و استخراج بردار ويژگي از متن سوال و آموزش يك شبكه عصبي عميق با توجه به اين دو بردار به عنوان ورودي براي رسيدن به جواب از طريق يك سازوكار انتها به انتها نظارت شده است. مشكل اساسي كه اين مدل ها دارند اين است كه در درك روابط اشياء تصوير با يكديگر و همچنين ارتباط اشياء تصوير با متن سوال دچار ضعف هستند. در اين پژوهش به معرفي و پياده سازي يك معماري يادگيري عميق مبتني بر مدل گرافي براي حل مسئله پاسخ‌دهي به پرسش هاي بصري مي‌پردازيم. از آن جايي كه مدل‌هاي گرافي در درك روابط پيچيده بين اعضاي يك سامانه توانايي بالايي دارند، در اين پژوهش متن سوال شامل كلمات آن و تصوير شامل اشياء درون آن هر كدام به صورت گراف مدل مي‌شوند. با توجه به اينكه اشياء تصوير و روابط بين آن‌ها در رسيدن به پاسخ نهايي به سوال نقش كليدي دارند، براي بدست آوردن گراف تصوير، از كلمات متن سوال در يك فرايند يادگيري استفاده شده است. مدل پيشنهادي با يادگيري هر دو مدل گرافي با استفاده از شبكه عصبي گرافي و تركيب آن ها در يك معماري يادگيري عميق انتها به انتها بدست مي آيد. اين مدل توانسته است به دقت بالاتري نسبت به مدل هاي رقيب برروي مجموعه داده VQA2دست يابد. همچنين توانايي مدل در دادن جواب هاي يكسان و درست به سوالاتي كه از لحاظ لغوي و گرامري متفاوت اند اما از لحاظ معنايي يكسان هستند در فرايند يادگيري جملات هم معنا، افزايش يافته است.

211266

معماري كامپيوتر

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان

عبدالرضا ميرزايي

جلال ذهبي، محمدعلي خسروي فرد

مهران صفاياني