يادگيري تقويتي عميق ربات دوپا جهت راه رفتن روي سطح شيب دار با استفاده از بهينه سازي سياست مجاورتي

اصفهان : دانشگاه صنعتي اصفهان

مهندسي مكانيك

كارشناسي ارشد

كنترل حركت ربات دوپا يكي از مسئله‌هاي چالش‌برانگيز در زمينه كنترل و رباتيك مي‌باشد. روش‌هاي كلاسيك مدل-محور براي حل اين مسئله به طراحي مسير و همچنين يك سيكل تكرارشونده به نام گيت براي پاهاي ربات مي‌پردازند، سپس يك كنترل‌كننده براي ربات طراحي مي‌شود. هر چند روش‌هاي كلاسيك مدل-محور ربات را مجبور به تكرار يك الگو به صورت دقيق مي‌كند، ولي معمولا نياز به فرض‌هاي ساده‌ساز و مدل دقيق دارد. روش‌هاي يادگيري تقويتي عميق كه الهام گرفته از مغز انسان است يك رويكرد مقاوم و تطبيق‌پذير جهت كنترل و تصميم‌گيري ارائه مي‌دهد. اين پژوهش به بررسي پيشرفت‌هاي اخير يادگيري تقويتي عميق و كاربرد آن در كنترل هوشمند حركت ربات مي‌پردازد. استفاده شبكه‌هاي عصبي مصنوعي در اين روش كارايي آن را در مسئله‌هاي كنترلي بسيار افزايش داده است. در اين پژوهش از الگوريتم بهينه‌سازي سياست مجاورتي كه يك روش يادگيري تقويتي عميق بدون-مدل است جهت آموزش ربات دوپاي محيط Walker-2d جيم در شبيه‌ساز MuJoCo استفاده مي‌شود. طراحي كنترل‌كننده به صورت پايان به پايان مي‌باشد، به اين معني كه كنترل‌كننده، كل فرايند دريافت داده‌هاي حسگري تا توليد فرمان‌هاي گشتاور را خودش به تنهايي و بدون نياز به سيستم ديگري انجام مي‌دهد. در اين پژوهش اقدام به آموزش ربات دوپا روي زمين‌هايي با شيب‌هاي مختلف مي‌شود. براي انجام اين آموزش بنا به لزوم، تابع پاداش محيط به منظور ايجاد انگيزه در عامل براي راه رفتن در جهت موازي با جهت زمين شيب‌دار اصلاح مي‌شود. علاوه بر آن، شرط تمام شدن اجراي محيط جهت قادر ساختن ربات به ادامه اجرا در صورت افزايش يا كاهش ارتفاع ناشي از راه رفتن بر روي سطح شيب‌دار تغيير داده مي‌شود. دليل ديگر اين اصلاح، وابستگي تابع پاداش به شرط اجرا مي‌باشد، به صورتي كه در هر گام زماني كه شرط اتمام اجرا نقض نشود و ربات زنده بماند پاداش مثبتي دريافت مي‌كند. اين پژوهش نشان‌دهنده پتانسيل بالاي الگوريتم‌هاي يادگيري تقويتي عميق جهت كنترل هوشمند حركت ربات و تطبيق‌پذيري بالاي آن در محيط‌هايي با شيب‌هاي مختلف است. آزمايش ديگري روي ربات آموزش ديده روي يك محيط شيب‌دار با شيب معين انجام مي‌شود تا قوام آن براي راه رفتن روي زمين با شيب‌هاي ديگر ارزيابي شود. نتايج اين آزمايش نشان مي‌دهد كه بر خلاف انتظار، ربات هنوز تا حدودي قادر به راه رفتن است. همچنين آزمايشي نيز جهت تحليل و گزارش داده‌هاي گشتاور و داده‌هاي حالت همچون سرعت و موقعيت ربات انجام مي‌شود.

219736

طراحي كاربردي

مهندسي مكانيك

دانشگاه صنعتي اصفهان