بازشناسي رويداد و خلاصه‌سازي ويديو در ورزش كشتي آزاد

دكتري

بازشناسي اعمال انسان كاربردهاي فراواني در حوزه پردازش تصوير دارد و سال‌هاست كه پژوهشگران و علاقه‌مندان در اين حوزه كار مي‌كنند. يكي از خلأهاي تحقيقاتي موجود در اين زمينه بازشناسي اعمال ورزشي دونفره است. در اين پژوهش، بازشناسي اعمال ورزشكاران در كشتي آزاد انتخاب‌شده و مجموعه‌داده‌اي از فنون كشتي در دو قالب ويديوهاي اصلي تمام‌رنگي و ويديوهاي پيش‌زمينه به‌صورت سايه‌نما تهيه شده‌است. در اولين تلاش، اسكلت سايه‌نماي ورزشكاران تبديل به گرافي به نام گراف آزاد مي‌شود. برخلاف روشهاي رايجي كه از مدل بدن استفاده مي‌كنند، اين گراف مستقل از مدل بدن است؛ با اين حال ساختار تقريبي اسكلت بدن را نشان مي‌دهد. با محاسبه هيستوگرام نقاط گراف، ويژگيها را استخراج و از الگوريتمهاي SVM و KNN براي دسته¬بندي استفاده كرديم. بالاترين دقت با KNN برابر 9/82% و براي SVM 3/%68 به‌دست آمد. براي ارزيابي و مقايسه روش پيشنهادي، آزمايشها را روي دو مجموعه‌داده‌ي عمومي SBU و THETIS نيز انجام داديم. نتايج به‌دست آمده، قابل مقايسه با روشهاي مشابه بوده و براي كار در اين حوزه رضايت بخش به‌نظر مي‌رسد. در ادامه پژوهش، از روشهاي يادگيري عميق و از جمله شبكه¬ي LSTM استفاده كرديم. براي استحراج ويژگي شبكه‌اي فرضي را به‌كار برديم كه براي بازشناسي تصاوير آموزش ديده است. ابتدا فريمهاي ويديويي به اين داده شده و خروجي آن وارد شبكه LSTM مي‌شود. در اين روش علاوه‌بر داده‌هاي RGB معمولي، با بهره‌گيري از رويكرد توجه، از پيش‌زمينه ويديوها نيز به عنوان ورودي استفاده و آزمايشها را تكرار كرديم. براي جبران حجم نسبتا كم داده‌ها در يادگيري عميق، از روشهاي داده¬افزايي تصاوير و ويديو استفاده كرديم. علاوه بر داده‌افزايي ويديو در بعد زمان، داده‌افزايي تصوير را به روشهاي مختلف و همچنين با رويكردهاي قطعي و تصادفي انجام داديم. نتايج به‌دست‌آمده نشان از تأثير مثبت داده¬افزايي روي عمكرد سامانه دارد. با اين وجود بايد در داده‌افزايي عوامل ديگري از جمله مجموعه‌داده را در نظر داشته و با دقت لازم اين كار را انجام گردد.

196371

دانشگاه علم و صنعت ايران

دكتر حميد سيفي

مهندسي كامپيوتر

دكتر محسن سرياني