توسعه‌ي الگوريتم و بررسي عملكرد يادگيري پراكنده با حريم شخصي تفاضلي تطبيقي

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

يادگيري پراكنده روشي غير متمركز براي مدل‌سازي داده‌هاي ده‌ها تا ميليون‌ها دستگاه توزيع‌شده بدون دسترسي مستقيم به اطلاعات محلي آنهاست. اين روش ابزاري توانا در حفظ اطلاعات كاربران حين يادگيري است. علي‌رغم عدم دسترسي مستقيم سرور به مجموعه‌داده‌هاي محلي، امكان نشت اطلاعات از به‌روزرساني‌هاي ارسالي ميان دستگاه‌ها و سرور همچنان وجود دارد. ريسك نشت اطلاعات زمان به‌كارگيري شبكه‌هاي عصبي در مدل‌هاي محلي افزايش مي‌يابد. از اين رو، ارائه‌ي الگوريتم‌هاي حفاظتي قابل پياده‌سازي در يادگيري پراكنده بسيار حائز اهميت است. لازم است روش‌هاي پيشنهادي ضمن ارتقاء امنيت يادگيري، از نظر محاسباتي مقرون به صرفه، از نظر ارتباطي كارامد، و نسبت به ناهمگوني‌هاي سيستمي و آماري مقاوم عمل كنند. حريم شخصي تفاضلي از جمله الگوريتم‌هاي مورد استفاده در اين فضا است. اساس حريم شخصي تفاضلي اضافه كردن نويز مصنوعي به پارامتر‌هاي ارسالي تحت توزيعي تعيين‌شده است. توزيع گوسي (نرمال) يكي از روش‌هاي اعمال نويز براي حفظ حريم شخصي در داده‌هاي عددي است. اين روش به‌دليل تئوري رياضي قوي، سادگي الگوريتم، و هزينه‌ي نسبي كم از پركاربردترين الگوريتم‌هاي حفاظتي در يادگيري ماشين است؛ اما، به‌كارگيري آن در حوزه‌ي يادگيري پراكنده با كاستي‌هايي روبرو است. هدف اصلي اين پژوهش ارتقاء الگوريتم حريم شخصي تفاضلي بوده كه در دو شاخه دنبال شده است. در شاخه‌ي نخست به منظور ايجاد تعادل ميان دقت و امنيت مدل پس از اضافه ‌كردن نويز گوسي رويكرد استفاده از نويز تطبيقي پيشنهاد شده است. از آنجا كه اضافه كردن نويز به پارامتر‌هاي مدل منجر به تضعيف عملكرد سيستم مي‌شود، اعمال نويز بر اساس ميزان اهميت اين پارامتر‌ها مي‌تواند راه‌حلي براي بهبود دقت مدل‌سازي به‌كار گرفته شود. بنابراين، با اضافه كردن نويز بيشتر به پارامترهاي كم اهميت‌تر و نويز كمتر به پارامترهاي مهم‌تر علاوه بر حفظ حريم شخصي‌ كاربران، دقت الگوريتم بيش از پيش حفظ خواهد شد. در شاخه‌ي ديگر اين پژوهش، هدف ارائه‌ي الگوريتم حريم شخصي تفاضلي در فضاي ناهمگون يادگيري پراكنده است. تخصيص ضرايب تأثير شخصي‌سازي شده و متغير با زمان به دستگاه‌ها در زمان تجميع مدل سراسري مي‌تواند بسياري از آثار سوء تفاوت‌هاي موجود در شبكه‌ي يادگيري پراكنده را جبران سازد. در اين پژوهش، با به‌كارگيري ضرايب تأثير غير ثابت، ملزومات برقراري حريم شخصي تفاضلي ارائه گريده است. همچنين، باند همگرايي الگوريتم در هر دو حالت ضرايب غير ثابت (شخصي‌سازي شده) و متغير با زمان (تطبيقي) مورد تحليل و بررسي قرار گرفته است. الگوريتم‌هاي پيشنهادي تحت سناريوهاي مختلف و سطوح امنيتي گوناگون روي‌ مجموعه‌داده‌ي MNIST و به زبان پايتون پياده‌سازي شده‌اند.

213807

كنترل

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان

محمدرضا حيدرپور

مريم ذكري، حامد جلالي بيدگلي

ايمان ايزدي