طراحي مسير بهينه براي ربات‌هاي چرخ‌دار زميني در محيط‌هاي ناشناخته با استفاده از يادگيري تقويتي و روش ميدان پتانسيل

كارشناسي ارشد

در اين پايان نامه، راهكاري براي طراحي مسير كه يكي از مهمترين چالشهاي رباتهاي چرخدار است، معرفي شده است. محيط عملياتي رباتها به صورت ناشناخته است. بنابراين واحد طراحي مسير بايد در هر گام، قادر به طراحي كوتاه ترين مسير تا هدف با توجه به اطلاعات محلي ربات و ديگر اعضاي گروه، به صورت بيدرنگ باشد. بنابراين منظور از مسير بهينه، كوتاه ترين مسير تا هدف است. روش ميدان پتانسيل ويژگي هايي همچون ساختار مبتني بر روشهاي بهنيه سازي براي حل مساله و توانايي يافتن كوتاه ترين مسير را دارد. اما مشكل اساسي آن وجود كمينه هاي محلي است. يادگيري Q توانايي يادگيري تنها با دريافت پاداش و جزا را دارد كه اين امر، ساختار حل مساله را ساده ميكند. همچنين يادگيري Q توانايي يادگيري و تصميم گيري به صورت بي درنگ را هم دارا مي باشد. بنابراين با توجه به ويژگيهاي هر يك از اين دو روش، يادگيري Q براي اجتناب از برخورد با موانع و روش ميدان پتانسيل براي جهتگيري و حركت به سمت هدف درنظر گرفته شده اند. براي رفع كند بودن فرايند يادگيري Q، از يادگيري Dyna-Q استفاده شده است. از مهمترين دلايل برخورد با موانع، نبود آموزش در شروع فرايند يادگيري، وجود حالت هاي تعريف نشده و مستقل بودن حالتها از يكديگر است. براي رفع اين مشكلات، در روش پيشنهادي تصميم گرفته شد كه ابتدا صلاحيت عمل انتخاب شده توسط يادگيري Q بررسي و درصورت اشتباه بودن عمل انتخاب شده، روش ميدان پتانسيل به عنوان ناظر، عمل مناسب را انتخاب كند و عمل مناسب به يادگيري Q آموزش داده و سپس اجرا شود. در اين پاياننامه، براي نزديك شدن به شرايط تضمين همگرايي يادگيري Q، ماتريسي تحت عنوان ماتريس ويژگي معرفي شدهاست كه امكان يادگيري حالت هاي تجربه نشده از حالتهاي تجربه شده را فراهم ميكند. در روش پيشنهادي، براي رفع مشكل كمينه ي محلي در روش ميدان پتانسيل، از مفهومي به نام مانع مجازي استفاده شده است تا پتانسيل موقعيت ربات به گونه اي تغيير يابد كه همواره مسير و جهتي مناسب براي خارج شدن از كمينه ي محلي ايجاد شود. بنابراين روشي تحت عنوان يادگيري تقويتي بهبوديافته با حضور ناظر روش ميدان پتانسيل تطبيقي، براي طراحي مسير رباتها ارائه شده است. همچنين در اين پاياننامه، از دو سيستم فازي براي نرمتر كردن حركت، در هر يك از رباتها استفاده شده است. نتايج به دست آمده براي روش ميدان پتانسيل تطبيقي، حاكي از آن است كه روش ارائه شده قادر به خارج شدن از كمينه ي محلي در محيط هايي با هدف و موانع ثابت و پويا است. يادگيري تقويتي بهبوديافته با حضور ناظر، حساسيتي در قبال حالتهاي تعريفنشده نشان نميدهد و در طي آموزش (اولين تا آخرين رخداد) هيچ برخوردي با مانع رخ نميدهد. تعداد درايه-هايي از جدول Q كه پر شدهاند، بهطور قابل توجهاي بيشتر از زماني است كه يادگيري Q بدون حضور ماتريس ويژگي استفاده شدهبود. در نتيجه، مشخص شد كه استفاده از ماتريس ويژگي، افزايش سرعت همگرايي و نزديكشدن به شرايط تضمين همگرايي در يادگيري تقويتي را در پي دارد.

195634

دانشگاه علم و صنعت ايران

كنترل

دكتر محمد فرخي