ارائه‌ يك سازوكار زمان‌بندي آگاه به كيفيت خدمات جهت جايابي برخط عملگرها در سامانه‌هاي توزيع‌شده پردازش جريان داده‌ها

كارشناسي ارشد

سامانه‌هاي پردازش جريان داده‌ها باهدف پردازش در لحظه‌ي داده¬هاي جرياني توسعه‌يافته‌اند. براي دستيابي به زمان پاسخ سريع¬تر، مي¬توان داده¬ها و پردازش داده¬ها توسط عملگرها را به‌صورت گراف‌هاي جهت‌دار يك‌طرفه مدل و موازي¬سازي نموده و بخش¬هاي موازي را توسط گره¬هاي محاسباتي مختلف در يك خوشه‌ي محاسباتي متشكل از چند كامپيوتر اجرا نمود. با توجه به متغير بودن نرخ جريان داده¬ها در زمان اجرا، زمان‌بندي برخط و پويا از طريق تغيير درجه‌ توازي عملگرها، به‌ويژه هنگام مواجهه با نرخ بالاي جريان داده¬ها و متعاقباً افزايش باركاري برخي گره¬هاي محاسباتي متولي اجراي عملگرها، بر كارايي سامانه‌هاي پردازش جريان داده‌ها تأثير بسزايي دارد. زمان‌بندهاي موجود براي پردازش برخط جريان داده¬ها در خوشه‌هاي محاسباتي متشكل از كامپيوترهاي ناهمسان از كارايي ضعيفي برخوردارند. جهت بهبود زمان پاسخ سامانه¬هاي پردازش داده¬ها، در در اين پايان¬نامه يك سازوكار زمان‌بندي برخط كشسان و با هدف افزايش كيفيت خدمت ارائه شده است. زمان پاسخ به عنوان يك معيار مهم كيفيت خدمت در نظر گرفته شده است. همچنين به دليل ناهمسان بودن منابع محاسباتي و نياز به تخمين قدرت پردازشي گره‌ها، سازوكار پيشنهادي آگاه به منابع است. بجهت كاهش ارتباطات بين گره¬هاي محاسباتي در زمان اجرا، نخست از الگوريتم بسته‌بندي براي زمان‌بندي عملگرها استفاده مي¬شود. هنگام مواجهه با باركاري سنگين، ابتدا گره‌هايي كه داراي مصرف بالاي پردازنده (گلوگاه) هستند شناسايي‌شده و جابجايي عملگرها بر اساس اعمال يك سياست سه مرحله¬اي تكثير، انتخاب و جابجايي به‌جاي سياست مرسوم تكثير و جابجايي صورت مي¬پذيرد. به‌جاي جابجايي عملگر گلوگاه، عملگرهايي با مقدار مصرف پردازنده‌ معادل با اين عملگر و با ارتباطات كمتر انتخاب و به گره¬هاي ديگر منتقل مي‌شوند. در ادامه براي انتخاب گره محاسباتي مناسب براي ميزباني عملگر‌ها از يك سياست سه مرحله‌اي اكتشاف، يادگيري و اصلاح استفاده مي¬شود. سازوكار زمان‌بندي پيشنهادي با استفاده از تكنيك يادگيري تقويتي به نحوي پياده‌سازي شده است كه بتواند با اعمال سياست¬هاي يادشده در زمان اجرا به‌صورت تكاملي زمان‌بندي¬هاي مرحله¬اي خود را به هدف دستيابي به زمان پاسخ سريع¬تر پردازش داده¬ها تعديل نمايد. سازوكار ديگري نيز به نام وظيفه‌ي محك براي كاهش زمان همگرايي روش يادگيري تقويتي پيشنهاد شده است. وظايف محك به‌صورت نوبه‌اي بر روي گره‌هاي محاسباتي اجرا شده و توان پردازشي موجود گره‌ها را اندازه¬گيري مي¬كنند. اين اطلاعات به زمان‌بند كمك مي¬كند كه كدام گره‌ها از لحاظ توان پردازشي در يك خوشه‌ي ناهمسان توانايي ميزباني عملگرهاي ديگر را دارند. همچنين بجهت جلوگيري از استفاده‌ي بيش ‌از حد از خاصيت كشساني (تغيير مقياس) كه باعث افت كارايي سامانه و افزايش ميزان خطا به دليل پيكربندي مجدد مي‌شود، از الگوريتم دسته‌بند Naïve Bayes استفاده شده است. سازوكار پيشنهادي بر روي نسخه 2.1.0 نرم‌افزار متن‌باز Apache Storm پياده¬سازي شده است. با اجراي برنامه¬هاي محك¬ استاندارد نشان داده شده است كه سازوكار زمان‌بندي پيشنهادي در مقايسه با زمان‌بند پيش¬فرض و زمان‌بند آگاه به منابع موجود در Storm، در هنگام مواجهه با نرخ بالاي ورود داده، حدود 70 درصد بهبود در زمان پاسخگويي داشته است.

195524

دانشگاه علم و صنعت ايران

نرم افزار

دكتر محسن شريفي