بهبود اثربخشي سيستم‌هاي CBIR با تكيه بر قابليت‌هاي مدل‌هاي چندوجهي و فراداده‌هاي مرتبط با تصوير

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

بازيابي تصوير مبتني بر محتوا تكنيكي است كه تصاوير مشابه را در آرشيوهاي بزرگ شناسايي مي‌كند. چنين رويكردي مي‌تواند در حوزه‌هاي زيادي ازجمله پزشكي، جرم‌شناسي، مكان‌يابي و غيره كمك‌كننده باشد. اين زمينه تحقيقاتي به‌سرعت درحال‌توسعه است و در دو دهه گذشته توجه محققين بسياري را به خود جلب كرده است. در اين پژوهش، يك سيستم CBIR جديد پيشنهاد شده است كه با تركيب تكنيك‌هاي پيشرفته هوش مصنوعي مانند مكانيسم توجه، شبكه‌هاي عصبي گراف (GNNs) و مدل‌هاي يادگيري چندوجهي مانند BLIP در زمينه CBIR بهبود ايجاد مي‌نمايد. اين سيستم با استفاده از مدل‌هاي چندوجهي و ادغام آن با شبكه‌هاي عصبي گرافي، به شيوه جديدي استخراج ويژگي‌ها را انجام مي‌دهد و از Tensor هاي با ابعاد بالا به‌عنوان ورودي يك معماري GNN استفاده مي‌نمايد كه روابط بين اجزاي مختلف يك تصوير را مدل مي‌كند. مكانيسم‌هاي توجه براي تمركز بر مرتبط‌ترين بخش‌هاي تصوير به كار گرفته شده‌اند و از GNN ها براي گرفتن وابستگي‌هاي ساختاري و زمينه‌اي بين عناصر تصوير استفاده شده است تا سيستم بتواند نتايج دقيق‌تري را ارائه نمايد. همچنين از مدل چندوجهي BLIP براي گسترش قابليت‌هاي سيستم استفاده شده است تا به ارتباط داده‌هاي بصري و متني در تشخيص هدفمند پراهميت‌ترين بخش‌هاي تصوير كمك كند. اين رويكرد چندوجهي درك عميق‌تري از رابطه بين تصاوير و متن توصيفي آن‌ها را امكان‌پذير مي‌كند و به‌طور قابل‌توجهي اثربخشي بازيابي را براي داده‌هاي تركيبي بصري و متني افزايش مي‌دهد. اين پژوهش با نمايش پتانسيل تركيب مكانيسم‌هاي توجه، GNN ها و يادگيري چندوجهي براي يك سيستم CBIR رويكرد جديدي در اين زمينه ايجاد مي‌كند. ارزيابي‌ها نشان مي‌دهند كه رويكرد پيشنهادي از نظر دقت در بازيابي مشابه‌ترين تصوير به تصوير پرس‌و‌جو به دقت 85/67 رسيده است و نسبت به مدل‌هاي ديگر بهتر عمل مي‌كند.

233286

هوش مصنوعي و رباتيكز

آموزش الكترونيكي

دانشگاه صنعتي اصفهان