عنوان
يادگيري تقويتي عميق معكوس عاطفي در كاربردهاي رباتيك: يك مطالعه موردي بر روي ربات انسان‌نما
مقطع تحصيلي
كارشناسي ارشد
چكيده
يكي از چالش‌هاي اصلي در كنترل ربات‌ها با استفاده از تكنيك‌هاي يادگيري تقويتي، تسريع فرآيند يادگيري است. اين پژوهش به طراحي يك كنترل‌كننده يادگيرنده با ساختار يادگيري تقويتي عميق معكوس عاطفي مبتني بر الگوريتم TD3 براي تسريع فرآيند يادگيري و آموزش مي‌پردازد. اين كنترل‌كننده در دو ساختار با و بدون استفاده از تابع پاداش (با استفاده از ساختار الگوريتم GAIL) طراحي شده‌است. نوآوري‌هاي مختلفي در اين پژوهش براي تسريع يادگيري و كاهش سعي و خطا در آموزش به كار رفته‌اند. نخست، در نوآوري Transfer با تنظيم وزن‌هاي اوليه شبكه‌هاي عصبي TD3 با دانش پيشين مربي، نشان داده شده كه اين روش مي‌تواند نقش عاطفه را در كاهش سعي و خطا در يادگيري ايفا كند. دوم، نوآوري EDC تابع هزينه را نه تنها از لايه انتهايي، بلكه از لايه مياني نيز براي محاسبه ارزش انجام عمل در حالت خاص به كار مي‌گيرد. سوم، نوآوري در ساختار يادگيري تقويتي عميق معكوس مبتني بر الگوريتم GAIL است كه با محدودسازي كرانه پاداش، كاركرد اين الگوريتم را در تركيب با TD3 و بدون استفاده از تابع پاداش بهبود مي‌بخشد. نتايج اين پژوهش نشان مي‌دهند كه نوآوري‌هاي مطرح شده مي‌توانند به تسريع فرآيند يادگيري و كاهش سعي و خطا در رسيدن به سياست بهينه كمك كنند. كنترل‌كننده‌هاي طراحي شده در محيط‌هاي مختلفي از جمله پاندول معكوس (در حالت‌هاي Balancing و Swing Up)، پاندول معكوس دوگانه، ربات چيتا و ربات هاپر جهت راستي‌آزمايي و اعتبارسنجي شبيه‌سازي شده‌اند. همچنين، مطالعه موردي بر روي ربات انسان‌نما انجام شده‌است. اين پژوهش با ادامه شبيه‌سازي‌ها در محيط‌هاي دو بعدي BipedalWalker و Walker2D با 4 و 6 درجه آزادي آغاز شده و تا شبيه‌سازي بر روي ربات PLEN2 به صورت سه‌بعدي و 18 درجه آزادي ادامه يافته‌است. به منظور پياده‌سازي، ربات PLEN2 ساخته شده و محيط شبيه‌سازي با واقعيت ادغام و الگوي راه‌رفتن آن در ساختار كنترل كلاسيك و الگوريتم‌هاي يادگيري انجام شده‌است. نتايج نشان مي‌دهند كه استفاده از نوآوري‌هاي اين پژوهش مي‌تواند بهبود قابل توجهي در فرآيند و سرعت يادگيري در شبيه‌سازي‌هاي دو بعدي و سه‌بعدي داشته باشد.
شماره ركورد
229767
دانشگاه
دانشگاه اصفهان
رشته تحصيلي
مهندسي مكاترونيك
استاد راهنما
حامد شهبازي