جايگذاري شيء مبتني بر گراف با استفاده از معناشناسي به كمك مدلهاي زباني براي تركيب تصاوير

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

پژوهش حاضر به بررسي چالش پيچيده جاگذاري اشياء در تصاوير با رويكردي جديد مبتني بر يادگيري عميق مي‌پردازد كه از قابليت‌هاي پيشرفته درك صحنه و پردازش معنايي بهره مي‌گيرد. چارچوب پيشنهادي GraPLUS با تلفيق راهكارهاي يادگيري عميق و بازنمايي ساختاري صحنه، رويكردي نو براي تعيين موقعيت‌هاي متناسب با زمينه ارائه مي‌دهد. در اين پژوهش، از مدل‌هاي زباني از پيش آموزش‌ديده براي تبديل اطلاعات صحنه به بازنمايي‌هاي معنايي غني استفاده شده كه قادر به درك ظريف ويژگي‌هاي توصيفي و الگوهاي مكاني اشياء مي‌باشد، و اين امر فهم دقيق روابط پيچيده بين عناصر صحنه و الگوهاي جايگذاري را امكان‌پذير مي‌سازد. با بهره‌گيري از معماري‌هاي عميق پيشرفته و سازوكارهاي توجه چندوجهي، اين چارچوب توانسته‌است محدوديت‌هاي روش‌هاي پيشين را برطرف نمايد. نتايج آزمايش‌ها نشان مي‌دهد كه GraPLUS با دستيابي به دقت جايگذاري 92/1 درصد و امتياز FID=28/83 در مجموعه داده OPA، عملكرد روش‌هاي موجود را 8/3 درصد بهبود بخشيده است. در مطالعات ارزيابي انساني با مشاركت 38 نفر و بررسي 964 نمونه، روش پيشنهادي در 51/8 درصد موارد بر ساير رويكردها برتري داشته است. نوآوري‌هاي اين پژوهش شامل طراحي معماري عميق براي پردازش ساختاري اطلاعات صحنه، بهره‌گيري از مدل‌هاي از پيش‌آموزش ديده براي انتقال دانش بين دامنه‌ها، توسعه سازوكارهاي توجه تخصصي براي جايگذاري اشياء و ايجاد چارچوب يكپارچه براي تركيب اطلاعات معنايي و هندسي مي‌باشد. ارزيابي‌هاي انجام‌شده، برتري GraPLUS را در جايگذاري دقيق اشياء با توانايي حفظ تناسبات هندسي و روابط معنايي در انواع مختلف صحنه‌ها نشان مي‌دهد.

234872

هوش مصنوعي و رباتيكز

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان