تشخيص ژست دست انسان در تصاوير ثابت با استفاده از يادگيري عميق

كارشناسي ارشد

نحوه ارتباط انسان با كامپيوتر همواره در حال تكامل است. تشخيص ژست دست به طور آني به كاربران قابليت تعامل طبيعي وذاتي با كامپيوترها را مي دهد و از مسائل بنيادي هوش مصنوعي هستند. ارتباطات غيرشفاهي، شامل ارتباطات از طريق حركت دست، حالات بدن و حالت چهره حدود دوسوم كليه ارتباطات بين انسان ها را تشكيل مي دهند. حركات دست يكي از رايج ترين انواع زبان بدن هستندكه براي ارتباط وتعامل استفاده مي شوند.حركات دست مي توانند محتواي زبان خاصي باشند و به عنوان مثال مي توان از زبان اشاره نام برد. در اين پايان نامه ما ويژگي هاي ژست دست را با الگوريتم هاي يادگيري عميق استخراج نموده، سپس با استفاده از ماشين بردار پشتيبان و درخت تصميم اين ويژگي ها را كلاس بندي كرده ايم. استخراج ويژگي ها با كمك توابع تشخيص رنگ پوست و با جدا كردن ژست دست از پس زمينه با شبكه هاي عصبي عميق انجام شده است. با برچسب گذاري و دخيره هريك از اين ژست ها، تابع كاهش ابعاد PCA اين ابعاد را كاهش داده تا سرعت مدل افزايش يافته باشد.اين ويژگي ها را به دسته بندي كننده هاي ماشين بردار پشتيبان وجنگل تصادفي داده و دسته بندي نموده ايم.نتايج استخراج شده را باهم مقايسه نموده و ماتريس confusion حاصل شده از هردو روش را گزارش كرده ايم. آزمايشات انجام شده بر روي چندين مجموعه داده اي دقت بالاي مدل ما را نشان مي دهد. به عنوان مثال دقت حاصل ازروش ما 98.5 است در حاليكه مقاله پايه به دقت83.4 دست يافته است.

196360

دانشگاه علم و صنعت ايران

دكتر محسن ابراهيمي مقدم

مهندسي كامپيوتر نرم افزار

دكتر محسن ابراهيمي مقدم