تجميع تطبيقي جزئي و آگاه از لايه‌ها براي بهبود كارآمدي و شخصي‌سازي يادگيري فدرال

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

يادگيري فدرال به‌عنوان يك راه‌حل قدرتمند براي آموزش مدل‌هاي يادگيري ماشين به‌صورت مشاركتي در بين مشتريان توزيع‌شده، درحالي‌كه حريم خصوصي داده‌ها حفظ مي‌شود، ظهور كرده است. بااين‌حال، يادگيري فدرال هنوز با چالش‌هاي عمده‌اي از نظر سربار ارتباطي، همگرايي كند و عملكرد ضعيف تحت توزيع داده‌هاي ناهمگن مواجه است. يكي از تنگناهاي كليدي، همگام‌سازي دوره‌اي مدل‌هاي كامل است كه اغلب منجر به استفاده ناكارآمد از پهناي باند و واگرايي بين مدل‌هاي محلي مي‌شود. اين پايان‌نامه دو الگوريتم نوين يادگيري فدرال FedALPA (ميانگين‌گيري جزئي لايه‌اي تطبيقي فدرال) و FedALPPA (تجميع جزئي و شخصي‌سازي‌شده لايه‌اي تطبيقي فدرال) را معرفي مي‌كند كه به‌صورت مشترك اين محدوديت‌ها را برطرف مي‌كنند. FedALPA ابتدا لايه‌هاي مهم را شناسايي كرده و براي آن‌ها بازه به‌روزرساني سراسري سريع‌تري نسبت به ساير لايه‌ها تعيين مي‌كند. تنها كسري از پارامترهاي هر لايه در هر گام محلي مبادله مي‌شود تا كل لايه در طول بازه خود پوشش داده شود. پس از تكميل يك چرخه پوشش كامل، اهميت لايه‌ها دوباره محاسبه شده و زمان‌بندي جديد به دست مي‌آيد. FedALPPA اين رويكرد را با امكان شخصي‌سازي رفتار تجميع براي هر مشتري گسترش مي‌دهد. در هر همگام‌سازي، سرور براي هر لايه با وزن‌هاي تجميع ويژه هر مشتري و هر لايه، مدل‌ها را تركيب كرده و پارامترهاي اختصاصي هر مشتري و هر لايه را توليد مي‌كند. همچنين به‌صورت اختياري مي‌توان پس از دريافت مدل، يك يادگيري سبك محلي انجام داد و يا زيرمجموعه كوچكي از لايه‌ها را كاملاً محلي نگه داشت. اين روش‌ها موجب كاهش هزينه‌هاي ارتباطي، بهبود سرعت همگرايي و افزايش دقت نهايي مدل به‌ويژه در شرايط وجود داده‌هاي ناهمگن در بين مشتريان مي‌شوند. تحليل‌هاي نظري نشان مي‌دهد كه هر دو الگوريتم تحت مفروضات استاندارد همواري و ناهمگوني به نرخ‌هاي همگرايي بهينه دست مي‌يابند. آزمايش‌هاي گسترده بر روي مجموعه داده‌هاي معيار CIFAR-10، CIFAR-100، EMNIST، Fashion-MNIST با استفاده از مدل شبكه عصبي تأييد مي‌كند كه FedALPPA به‌طور معناداري از روش‌هاي پايه موجود هم در كارايي و هم در عملكرد پيشي مي‌گيرد. به‌طور ميانگين الگوريتم FedALPPA بيش از 1 درصد دقت مدل را نسبت به الگوريتم مشابه پيشين افزايش داده، درحالي‌كه هزينه ارتباطي را حدود 40 درصد كاهش مي‌دهد. نتايج، پتانسيل عملي تجميع تطبيقي، لايه‌اي و شخصي‌سازي‌شده را در كاربردهاي واقعي يادگيري فدرال نشان مي‌دهد.

236551

هوش مصنوعي و رباتيكز

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان