فرايادگيري در فضاهاي ريماني

دكتري

هدف غايي يادگيري ماشين، ايجاد توانايي آموختن در كامپيوتر است. فرايادگيري حوزه‌اي نو در يادگيري ماشين است كه به كامپيوتر اجازه مي‌دهد كه چگونگي آموختن را بياموزد و عمل آموزش را با تعداد كمي از مشاهدات و همچنين بهره‌گيري از تجارب حل وظايف يادگيري ديگر انجام دهد. از آن‌جا كه بسياري از مسائل يادگيري ماشين در فضاهاي ريماني و نه اقليدسي مدل‌سازي و حل مي‌گردند، ارائه روش‌هاي فرايادگيري در فضاهاي نااقليدسي ضروري است. در اين پژوهش، چارچوبي براي فرايادگيري نا اقليدسي ارائه مي‌شود كه مبتني‌بر بهينه‌سازي است. اگرچه روش پيشنهادي را مي‌توان براي طيف وسيعي از منيفولدهاي ريماني به‌ كار برد، اما ما به طور ويژه تأثير استفاده از شرط تعامد در پارامترهاي شبكه عصبي مصنوعي را بررسي مي‌كنيم كه با فرايادگيري بر روي منيفولد استيفل معادل است. براي پياده‌سازي روش پيشنهادي، يك روش بهينه‌سازي ريماني كه توسعه‌اي از روش بهينه‌سازي اقليدسي lr{Adam} است توسعه داده شده است. از طرفي مسأله فرايادگيري شامل يك مسأله بهينه‌سازي دوسطحي است كه پيچيدگي محاسباتي بالا و نياز به حافظه زيادي دارد؛ زيرا نيازمند حل دو مسأله بهينه‌سازي تو در تو و محاسبه تانسورهاي مشتقات درجه دوم است. اين چالش در فرايادگيري ريماني بيشتر خواهد بود زيرا براي بهينه‌سازي در آن فضا، از عملگرهاي غيرخطي پيچيده استفاده مي‌شود. لذا در ادامه پژوهش، يك روش مبتني‌بر تخمين مرتبه اول نيز ارائه مي‌گردد. روش‌ پيشنهادي علاوه‌بر عدم نياز به محاسبه مشتقات درجه دوم، پيشنهاد مي‌كند كه علاوه‌بر استفاده از قيد تعامد بر روي ماتريس پارامترهاي لايه دسته‌بند مدل، داده ورودي آن لايه نيز نرمال‌سازي گردد. اين عمل منجر به يادگيري مناسب‌تر مدل خواهد شد. چالش ديگر مسائل فرايادگيري، مواجهه با وظايفي است كه از ماهيت‌هاي متفاوتي نمونه‌برداري شده‌اند. براي حل اين چالش، يك روش چندماهيتي مبتني بر مدولاسيون ارائه مي‌دهيم كه براي توليد ضرايب مدولاسيون از منيفولد استيفل استفاده مي‌كند. هر سه روش پيشنهادي توسط آزمايش‌هاي دسته‌بندي با تعداد نمونه كم ارزيابي و با روش‌هاي رقيب مقايسه شده‌اند. براي انجام آزمايش‌ها دو سناريوي فرايادگيري تك دامنه‌اي و ميان‌دامنه‌اي استفاده شده است. نتايج روش ارائه شده اول نشان مي‌دهد كه صحت دسته‌بندي با تعداد نمونه كم تا 9 نسبت به همتاي اقليدسي خود افزايش يافته است و نتايج برتري نسبت به روش‌هاي فرايادگيري رقيب كسب كرده است. همچنين براي روش پيشنهادي مرتبه اول، با وجود عدم استفاده از متشقات دوم، نتايج نسبت به روش نااقليدسي اول رقابتي و نسبت به ساير روش‌هاي رقيب برتر مي‌باشند. از لحاظ حافظه ويدئويي مصرفي و زمان اجرا، روش مرتبه اول در مقايسه با نسخه غير تقريبي آن مقدار قابل توجهي (در حدود 12 برابر سريعتر) بهبود نشان مي‌دهد. علاوه‌بر اين، اگرچه از عمليات ريماني استفاده مي‌كند كه از نظر محاسباتي پيچيده‌تر هستند، اما در مقايسه با روش‌هاي اقليدسي، از لحاظ حافظه مصرفي و زمان اجرا شرايطي رقابتي با آن‌ها دارد. روش پيشنهادي سوم براي فرايادگيري چندماهيتي نيز با بهبود كيفيت و جلوگيري از انفجار گراديان‌هاي مدل، صحت دسته‌بندي بهتري نسبت به رقباي خود داشته است.

231795

دانشگاه اصفهان

مهندسي كامپيوتر - هوش مصنوعي و رباتيكز

پيمان اديبي , حسين كارشناس