عنوان
بهبود عملكرد يادگيري تقويتي در شبيه‌ساز دوبعدي ربات هاي فوتباليست
نويسنده اصلي
ابوالفضل يزداني پرائي
مقطع تحصيلي
كارشناسي ارشد
چكيده
چكيده
الگوريتم‌هاي يادگيري تقويتي به‌طور موفقيت‌آميز در چندين بخش حوزه فوتبال شبيه‌ساز روبوكاپ اعمال شده است. يكي از آن حوزه‌ها بازي Keepaway در ربات‌هاي فوتباليست شبيه‌ساز دوبعدي هست. فوتبال ربات‌ها يكي از سيستم‌هاي چندعاملي بسيار پيچيده است كه در آن عامل‌ها نقش بازيكنان فوتبال را ايفا مي‌كنند و با استفاده از الگوريتم‌هاي مختلف، عمل يادگيري توسط بازيكنان انجام مي‌پذيرد. اين سيستم داراي محيطي با ويژگي‌هاي نويزي، غيرقطعي، نيمه مشاهده‌پذير، بلادرنگ و با ابعاد بالا هست. يادگيري تقويتي داراي مشكل مقياس‌پذيري در محيط‌هاي با ابعاد بالا هست. به‌عبارت‌ديگر براي عامل يادگيري تقويتي مسئله نحسي ابعاد (معضل ابعاد بالا) وجود دارد. هدف از اين بازي نگه‌داشتن هرچه بيشتر توپ توسط بازيكنان Keeper در محدوده زمين‌بازيهست.
در اين پايان‌نامه براي كاهش ابعاد روش Tile codingبكار برده شده و براي يادگيري عامل‌ها از الگوريتم Q-SARSAدر بازي Keepaway ربات‌هاي فوتباليست استفاده شده است. سپس به مقايسه اين الگوريتم با سه روش پايه و الگوريتم يادگيري SARSA پرداخته و نتايج كسب‌شدهرا گزارش كرديم.
با استفاده از الگوريتم يادگيريQ-SARSAمدت‌زماننگه‌داشتن توپ توسط عامل‌هاي Keeper در مقايسه با روش‌نگه‌داشتن 2.5 برابر ، روش تصادفي 2.1 برابر ، روش كدگذاري دستي 1.6برابر و روش SARSAحدوداً 1.4 برابر بهبود داشتيم.
واژه‌هاي كليدي:يادگيري تقويتي، ربات‌هاي شبيه‌ساز دوبعدي، keepaway، Q-SARSA، Tile Coding
شماره ركورد
187867
دانشگاه
دانشگاه علم و صنعت ايران
رشته تحصيلي
هوش مصنوعي و رباتيك
استاد راهنما
دكتر ناصر مزيّني و دكتر احمد اكبري