توجه كارآمد مبتني بر موجك چندمقياسي براي ترنسفورمرهاي بينايي

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

معماري ترنسفورمرها كه در قلب آن مكانيسم استاندارد توجه به خود قرار دارد به تسلط گسترده‌اي در پردازش زبان طبيعي دست‌يافته است. مكانيسم استاندارد توجه به خود شباهت بين نشانه‌ها را ياد مي‌گيرد. بااين‌حال مكانيسم استاندارد توجه به خود داراي پيچيدگي درجه دوم با طول توالي است كه مانع از كاربرد آن در دنباله‌هاي طولاني‌تر (مثل تصاوير با وضوح‌بالا) مي‌شود. اخيراً، با الهام از عملگرهاي عصبي براي حل معادلات ديفرانسيل جزئي (PDE)، عملگر عصبي تبديل فوريه تطبيقي (AFNO) پيشنهادشده است. AFNO براي توجه به‌وضوح بالا با استفاده از كانولوشن سراسري كه به‌طور مؤثر از طريق تبديل فوريه سريع (FFT) پياده‌سازي مي‌شود، مورداستفاده قرار مي‌گيرد. درحالي‌كه FFT براي مطالعه‌ي رفتار فضايي هر تصوير مناسب نيست، AFNO مي‌تواند ويژگي‌هاي مقياس سراسري را كنترل كند ولي نمي‌تواند تصاوير طبيعي را كه معمولاً داراي نمايش‌هاي چند مقياسي هستند و ساختارهاي مقياس متوسط و كوچك كه معمولاً در تصاوير طبيعي ظاهر مي‌شوند، به‌خوبي نمايش دهد. در اين پايان‌نامه براي مدل‌سازي توجه‌هاي چند مقياسي و ساختارهاي مقياس درشت به متوسط و كوچك، توجه موجك چند مقياسي(MWA) را با استفاده از عملگرهاي عصبي موجك معرفي مي‌كنيم كه داراي پيچيدگي خطي در طول دنباله است. در معماري پيشنهادي پارامترهاي شبكه در فضاي موجك آموخته مي‌شوند كه هم در حوزه فركانس و هم در حوزه فضايي محلي هستند، بنابراين مي‌توانند الگوهاي موجود در تصاوير را بهتر ياد بگيرند. ما بلوك توجه به خود در ترنسفورمر بينايي (ViT) را با MWA جايگزين مي‌كنيم و آزمايش‌هايي را براي سنجش اثربخشي بلوك پيشنهادي خود انجام مي‌دهيم. آزمايش‌هاي انجام‌شده براي طبقه‌بندي تصوير، بر روي‌داده‌هاي CIFAR-10، CIFAR-100 و Tiny-ImageNet پيشرفت قابل‌توجهي را نسبت به جايگزين‌هاي توجه مبتني بر فوريه مانند AFNO و GFN نشان مي‌دهد.

221235

مخابرات سيستم

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان