برنامه ريزي مسير براي هدايت تك عامل و پوشش محيط توسط دوعامل در محيط گسسته با استفاده از يادگيري تقويتي

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

با توسعه سريع رايانه، تكنولوژي و ارتباطات، موضوع برنامه‌ريزي مسير براي پوشش محيط در سيستم‌هاي چندعاملي به موضوع تحقيقات گسترده تبديل شده‌است و داراي ارزش كاربردي مهندسي بسيار مهمي در زمينه‌هاي مختلف از جمله تحقيقات علمي، حمل و نقل، اكتشاف و ... مي‌باشد. برنامه‌ريزي مسير براي پوشش محيط در بسياري از كاربردها از قبيل جستجو و نجات، كشاورزي، تحويل بسته، بازرسي و ... به طور فزاينده‌اي مورد استفاده قرار مي‌گيرد. استفاده از چندعامل براي پوشش محيط مزاياي متعددي را فراهم مي‌كند و با توجه به اينكه عامل‌ها شارژ باتري محدودي دارند، هم‌كاري يك تيم براي فراهم آوردن پوشش موثر در يك فضاي كاري، مي‌تواند در بهينه كردن مصرف باتري موثر واقع شود. ازجمله الگوريتم‌هاي يادگيري متداول مي‌توان به الگوريتم‌هاي يادگيري Q و SARSA اشاره نمود. با استفاده از اين الگوريتم‌ها مي‌توان مسئله برنامه‌ريزي مسير براي پوشش محيط و هدايت تك عامل را حل نمود. با توجه به اينكه الگوريتم يادگيري SARSA سرعت همگرايي بيشتري نسبت به الگوريتم يادگيري Q دارد و داراي اثبات همگرايي است، ميخواهيم از اين الگوريتم نيز براي حل مسئله برنامه‌ريزي مسير استفاده كنيم. در اين پايان‌نامه ابتدا به بررسي مسئله هدايت تك عامل در محيط گسسته با درنظر گرفتن موانع مي‌پردازيم. هدف ما در اين مسئله شروع از يك نقطه به عنوان مبدا و رسيدن به نقطه مقصد، بدون برخورد با موانع و پيمودن كوتاه‌ترين مسير است. براي رسيدن به اين هدف با در نظرگرفتن يك عامل و بهره‌گيري از الگوريتم‌هاي يادگيري Q و SARSA مسئله موردنظر حل مي‌شود. سپس مسئله برنامه‌ريزي مسير را در حالتي كه اغتشاش باد وجود داشته باشد، بررسي مي‌كنيم. يكي از مشكلاتي كه در الگوريتم‌ يادگيري Q مطرح مي‌گردد، كاهش سرعت همگرايي الگوريتم يادگيري در نرخ‌هاي يادگيري كوچك است. در ادامه با استفاده از راه حل پيشنهادي سرعت همگرايي الگوريتم يادگيري Q را با راه حل پيشنهادي مورد بررسي قرار مي‌دهيم. همچنين با استفاده از اين راه حل، ميانگين پاداش دريافتي در هر دو الگوريتم يادگيري را با يكديگر مقايسه مي‌كنيم و با انجام شبيه‌سازي‌ در محيط‌هاي مختلف به بررسي اين مطلب خواهيم پرداخت و راه حل پيشنهادي را ارزيابي مي‌كنيم. در پايان به بررسي مسئله پوشش محيط توسط دو عامل در محيط گسسته مي‌پردازيم و اين مسئله را در حالتي كه هر دوعامل با يكديگر در ارتباط بوده و به صورت همزمان محيط را پوشش دهند، درنظر مي‌گيريم و همانند مسئله هدايت تك عامل، با بهره‌گيري از الگوريتم‌هاي يادگيري Q و SARSA به حل مسئله مي‌پردازيم. در اين حالت نيز عملكرد دو الگوريتم يادگيري را در نرخ‌هاي يادگيري متفاوت مقايسه مي‌كنيم و سرعت همگرايي الگوريتم يادگيري ‌ Qرا با راه حل پيشنهادي به‌وسيله شبيه‌‌سازي در محيط‌هاي مختلف بررسي مي‌كنيم. سپس در حالتي كه اغتشاش باد و مانع نيز در مسئله وجود داشته باشند به بررسي مسئله مي‌پردازيم و سرعت همگرايي الگوريتم‌هاي يادگيري SARSA و Q را با يكديگر مقايسه مي‌كنيم. همچنين در برخي موارد از جمله وجود اغتشاش باد و مانع در مسئله، الگوريتم يادگيري Q و SARSA را از نظر ميانگين پاداش‌هاي دريافتي با يكديگر مقايسه مي‌كنيم و مسئله را در حالتي كه در محيط مانع وجود داشته و اشتراك تجربه بين عامل‌ها داشته باشيم، مورد بررسي قرار مي‌دهيم و به مقايسه سرعت همگرايي الگوريتم‌ها و ميانگين پاداش دريافتي در حالتي كه عامل‌ها با يكديگر اشتراك تجربه داشته باشند، مي‌پردازيم.

210884

كنترل

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان

حامد جلالي، مجدالدين نجفي

فريد شيخ الاسلام، مريم ذكري

مرضيه كمالي