بررسي افزونگي پخش‌شده در شبكه‌هاي عصبي براي مسئله تعميم دامنه

اصفهان : دانشگاه صنعتي اصفهان

برق

كارشناسي ارشد

عملكرد چشمگير مدل‌هاي يادگيري ماشين، به‌ويژه شبكه‌هاي عصبي عميق، در انجام طيف گسترده‌اي از وظايف باعث شده است كه استفاده از آن‌ها افزايش بسيار زيادي داشته باشد و انتظار مي‌رود كه در حوزه‌هاي حساس مانند پزشكي و قضاوت نيز مورد استفاده قرار گيرند. با اين وجود، اغلب عملكرد اين شبكه‌ها با عوض شدن توزيع داده افت پيدا مي‌كند و بنابراين لازم است كه شبكه‌هايي با قابليت تعميم‌پذيري بالاتر طراحي شوند. در مسئله تعميم دامنه، تلاش مي‌شود كه با تركيب هوشمندانه داده‌هاي چند توزيع مرتبط، شبكه‌اي آموزش داده شود كه عملكرد خوبي روي توزيع‌هاي ديده‌نشده داشته باشد. ازسوي‌ديگر، شبكه‌هاي پيچيده‌اي كه با مجموعه‌داده‌هاي بزرگ آموزش داده شده‌اند و در برابر تغيير توزيع داده مقاومت بيشتري نشان مي‌دهند، معمولاً ساختارشان افزونگي زيادي در سطوح مختلف مانند نورون، كانال يا پارامتر دارد؛ موضوعي كه در كاربردهايي با منابع محاسباتي محدود، به مسئله‌اي چالش‌برانگيز تبديل مي‌شود و نيازمند شناخت دقيق و مديريت مؤثر است. در همين راستا، به‌تازگي فرضيه افزونگي پخش‌شده مطرح شده است كه طبق آن، اطلاعات مورد نياز براي پيش‌بيني شبكه، در سرتاسر نورون‌هاي يك لايه پخش شده است و با انتخاب تصادفي نورون‌ها، مي‌توان به عملكردي رسيد كه مشابه با عملكرد همه نورون‌ها است. در اين پژوهش، براي بررسي افزونگي پخش‌شده در آخرين لايه پنهان يك شبكه پيش‌آموزش‌ديده، زيرمجموعه‌هايي تصادفي از نورون‌هاي اين لايه با اندازه‌هاي مختلف انتخاب مي‌شود و با استفاده از آن‌ها، عملكرد شبكه روي دو مجموعه‌داده مسئله تعميم دامنه ارزيابي مي‌شود. به‌علاوه، براي بررسي نوع ديگري از افزونگي پخش‌شده، بعضي از گردايان‌هاي محاسبه‌شده در طول فرايند آموزش، به‌صورت تصادفي برابر صفر قرار داده مي‌شوند و در نتيجه، بخشي تصادفي از پارامترهاي شبكه منجمد مي‌شوند. شبيه‌سازي‌هاي انجام‌شده وجود افزونگي پخش‌شده در نورون‌ها را تأييد مي‌كنند و همچنين نشان مي‌دهند اگر نرخ يادگيري به‌صورت مناسب تنظيم شود، با انتخاب تصادفي بخش كوچكي از نورون‌هاي آخرين لايه پنهان و به‌روزرساني درصد كمي از كل پارامترها، مي‌توان به عملكردي رسيد كه تفاوت زيادي با عملكرد شبكه كامل ندارد. براي مثال، در تمامي آزمايش‌ها، تنها با انتخاب 5درصد از نورون‌ها و آموزش 10درصد از پارامترها، دقت حاصل‌شده حدود 3درصد كمتر از حالتي است كه كل شبكه به‌طور كامل آموزش داده مي‌شود. اين يافته‌ها مي‌توانند مقدمه‌اي براي توسعه روش‌هايي باشند كه با استفاده مؤثرتر از افزونگي شبكه‌هاي عصبي، به كاهش تعداد پارامترها و هزينه آموزش منجر مي‌شوند.

234524

مخابرات - سيستم

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان