يادگيري چندعاملي با نگاه ذهني در محيط‌هاي نيمه‌مشاهده‌پذير با وظايف مكاني

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

دكتري

تخصيص وظيفه غيرمتمركز در يك سيستم چندعاملي موضوعي است كه علاقه‌مندي فزاينده‌اي در سال‌هاي اخير ايجاد كرده است. از كاربردهايي مانند همكاري ميان ربات‌هاي فوتباليست و ربات‌هاي امدادگر در مسابقات رباتيك تا كاربردهايي مثل مديريت پهپادها در امور نظامي همگي مسائلي هستند كه نياز به روش‌هاي سريع و غيرمتمركز را در سال‌هاي اخير افزايش داده‌اند. وقتي صحبت از ربات مي‌شود، مي‌بايست حسگرهايي را در نظر بگيريم كه الزاماً دقيق نيستند و دامنه‌ي محدود دارند و همين امر محيط را از حالت كاملاً مشاهده‌پذير به نيمه‌مشاهده‌پذير تبديل مي‌كند. با پذيرش اين واقعيت مي‌بايست دشواري و هزينه‌ي بالاتر كار با داده‌هاي مبهم ورودي را نيز بپذيريم. استفاده از نگاه ذهني به ما اين فرصت را مي‌دهد كه يك سيستم كاملاً غيرمتمركز داشته‌باشيم. پيش از اين، كليس و همكاران از رويكرد ذهني براي حل غيرمتمركز مسئله تخصيص وظيفه مكاني(SPATAP) در يك محيط كاملاً مشاهده‌پذير استفاده كرده بودند [5]. هدف اين پژوهش، حل غير‌متمركز SPATAP در يك محيط نيمه‌مشاهده‌پذير است. در مسائل SPATAP با يك محيط شبكه‌اي روبرو هستيم كه در هر مكان آن با احتمالي وظيفه جديد ظاهر مي‌شود. نگاه ذهني به معناي آن است كه يك عامل در مورد رفتار عامل‌هاي ديگر استنتاج كرده و عمل آنها را پيش‌بيني كند. دو روش عامل خودجذب و گونه‌اي از تابع ارزش توزيع‌يافته (DVF) بر اين اساس در [5] معرفي شدند. در روش پيشنهادي عامل خودجذب آنها، هر عامل خودش را تنها عامل در سيستم فرض مي‌كرد و به سايرين مانند نويز نگاه مي‌كرد يا يك توزيع يكنواخت بر روي رفتار آنها مي‌ساخت. در اين رساله، ايده عامل خودجذب در SPATAP به محيط نيمه‌مشاهده‌پذير توسعه داده شد. براي انجام اين كار و به منظور پيش‌بيني سودمندي حالت باور آتي، از الگوريتم طرح‌ريزي مونت‌كارلو نيمه‌مشاهده‌پذير (POMCP) استفاده شد. الگوريتم حاصل، عامل خودجذب در محيط نيمه‌مشاهده‌پذير (POSA) نام گرفت. هم‌چنين در پژوهش حاضر، تابع ارزش توزيع‌يافته كه پيش از اين در محيط‌هاي كاملاً مشاهده‌پذير (بدون نياز به ارتباط) استفاده شده بود، به محيط‌هاي نيمه‌مشاهده‌پذير توسعه داده شد و تابع ارزش توزيع‌يافته نيمه‌مشاهده‌پذير (PODVF) نام گرفت. PODVF با استفاده از متر تشابه دو توزيع احتمال و مفهوم فاصله باتاچاريا، احتمال حضور عامل‌ها را به دنياي پيوسته تعميم داده و با استفاده از POMCP ارزشمندي باور آتي را تقريب مي‌زند. نتايج شبيه‌سازي بيانگر دقت مناسب دو الگوريتم POSA و PODVF است، اما سرعت اجراي هر دو الگوريتم پايين است. براي رفع مشكل كندي سرعت، اصلاحاتي در POMCP انجام شد تا آن را مناسب يك محيط چندعاملي غيرمتمركز كند. دو ايده براي انجام اين كار پيشنهاد و مورد بررسي قرار گرفت: روش اول، ساخت درخت جستجوي مونت‌كارلو با اعمال منفرد عامل تصميم‌گيرنده (عمل تك‌عامل) كه به آن POMCP با عمل منفرد (SPOMCP) مي‌گوييم. روش ديگر، ساخت درخت POMCP با عمل همه عامل‌ها (پروفايل اعمال) است كه آن را POMCP با عمل سراسري (GPOMCP) نامگذاري كرديم. در ساخت SPOMCP، عامل با استفاده از نوعي نگاه حريصانه، تأثير عمل سايرين را در درخت جستجو به طور ضمني لحاظ مي‌كند. در روش GPOMCP كه درخت جستجو به صورت ذهني و با اعمال توأم عامل‌ها ساخته مي‌شود، عامل با بهينه‌سازي مبتني بر مختصات، ابتدا ارزش عمل انفرادي خودش و سپس ارزش عمل سايرين را مي‌يابد و بردار عمل بهينه تقريبي را حدس مي‌زند. نتايج تجربي بيانگر سرعت و دقت مناسب اين دو الگوريتم است. الگوريتم‌هاي SPOMCP و GPOMCP از سويي قادرند به كيفيت جواب الگوريتم متمركز POMCP دست يابند و از سوي ديگر قادرند به لحاظ سرعت از آن پيشي گيرند.

220353

هوش مصنوعي و رباتيك

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان