تشخيص احساس غيرارادي از گفتار با استفاده از يادگيري عميق

كارشناسي ارشد

تشخيص احساس از گفتار (SER) يكي از عناصر مهم رابط¬هاي انسان - رايانه (CHI) به شمار مي¬رود. ماشين¬هايي كه توانايي درك احساس را دارند، مي¬توانند نقش مهمي در تجارت و سلامت الكترونيك ايفا كنند. از دو دهه¬ي گذشته كه صحبت از تشخيص احساس از گفتار به ميان آمده، پژوهشگران زيادي سعي در درك اين پديده از طريق استخراج ويژگي¬هاي مختلف صوتي و زباني گفتار داشته¬اند. اما اين ويژگي¬ها تا حد محدودي مؤثر واقع مي¬شوند. زيرا اين ويژگي¬ها نمايش كاملي از احساس شكل‌گرفته در گفتار نيستند. باتوجه‌به كاربرد يادگيري عميق در استخراج ويژگي¬هاي سطح بالا و موفقيت آن در حوزه¬هايي نظير بينايي ماشين ، پردازش زبان طبيعي ، تشخيص گفتار ، موضوع تشخيص احساس از گفتار با استفاده از يادگيري عميق موردتوجه بيشتري قرار گرفته است. البته چالش¬هاي بيشتر و جديدي را نيز پيشروي محققان قرار داده است. احساسات موجود در گفتار ممكن است القا شده يا بازي شده باشند و يا به‌صورت غيرارادي و واقعي (مانند آن چه در زندگي رخ مي¬دهد) به وجود آيند. اين پژوهش به بررسي عملكرد مدل¬هاي يادگيري عميق در دسته¬بندي مجموعه داده‌هاي احساس واقعي و غيرارادي مي¬پردازد. در اين پژوهش، ويژگي¬هاي سطح بالا با به‌كارگيري روش¬هاي يادگيري عميق از طيف خام و مجموعه ويژگي‌هاي دست¬ساز شناخته¬شده استخراج شده¬اند. براي جلوگيري از بيش¬برازشي كه توسط ابعاد زياد مجموعه ويژگي‌ها ممكن است ايجاد شود، از روش انتخاب ويژگي كمك گرفته شده و تابع زياني جديد براي حل مشكل عدم تعادل مجموعه دادهي BAUM-1s معرفي شده است. در نهايت، با معرفي يك شبكه¬ي عصبي عميق Stacking براي استخراج و دسته¬بندي ويژگي¬هاي سطح بالا، دقت مربوط به دسته¬بندي احساسات دو مورد از پرچالش¬ترين مجموعه داده‌هاي گفتار احساسي غيرارادي با حدود %2 بهبود نسبت به آخرين كار انجام شده، %46.26 براي BAUM-1s و %37.63 براي AFEW5.0 به دست آمده است

195102

دانشگاه علم و صنعت ايران

سيستم هاي الكترونيك ديجيتال

دكتر ستار ميرزاكوچكي