تشخيص هيجان از روي سيگنال گفتار براي كاربردهاي پزشكي و پژوهش در حوزه سلامت روان

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

رفتار انسان به منزله پنجره‌اي به سوي ذهن و شرايط رواني او مي باشد. يكي از نمودهاي رفتاري هر انسان كه تا حدي بازگو كننده حالات رواني و ذهني مي باشد، گفتار اوست. به طور خاص، گفتار انسان و چگونگي ادا كردن آن، اعم از ويژگي هاي صوتي و آوايي، لحن، شدت و يا سرعت آن، در كنار كلمات به كار رفته كه در مجموع براي بيان مقصود و رساندن پيام گوينده به كار گرفته مي‌شوند، بستري براي نمود هيجانات فرد نيز هستند. از اين منظر، پردازش و داده كاوي سيگنال گفتار مي‌تواند از ديد تحقيقات در حيطه بررسي سلامت روان و روانشناسي محاسباتي حايز اهميت باشد. از سوي ديگر در حوزه پزشكي و خدمات باليني، يكي از عوامل كليدي در تشخيص و درمان بيمار توسط پزشك معالج درك صحيحي از شرايط ذهني و هيجاني بيمار مي‌باشد. به عنوان مثال بسياري از اختلال هاي عملكردي نظير سندرم روده تحريك پذير، به شدت تحت تاثير عوامل روحي رواني از جمله استرس و اضطراب مي‌باشند. اين در حالي است كه معمولا بيماران هنگام بيان علايم جمساني خود از بازگو كردن هيجانات خود به پزشك (غير متخصص در حيطه روانشناسي و روانپزشكي) خودداري مي‌كنند. در سوي مقابل، پزشك معالج نيز تخصص و يا زمان كافي براي كشف هيجانات و زمينه هاي رواني از گفتار بيمار را ندارد. در اين ميان، روش‌هاي هوشمند براي تشخيص هيجان از روي گفتار ميتواند به عنوان يك راهنما و پشتيبان كمك تشخيصي ظاهر شود. در همين راستا در اين پايان نامه به مسئله تشخيص هيجان از گفتار (SER) با استفاده از روش‌هاي يادگيري عميق مي‌پردازيم . به طور مشخص در طي ارزيابي عملكرد روش‌ها و ساختار‌هاي متداول، ملاحضه شد كه استفاده از ساختار‌هاي مبتني بر مدل‌هاي ترنسفرمر كه پيش‌تر در پردازش متون بهره‌گيري شده‌اند در پردازش سيگنال گفتار و حل مسئله SER نيز مي‌توانند عملكرد خوبي داشته باشند. براي بهبود دقت و داشتن عموميت بيشتر مدل طراحي شده، از تركيب گفتار‌ها در زبان‌هاي مختلف استفاده شد. اين اقدام، به عنوان يك راه حل مناسب براي مواجهه با چالش‌هاي مربوط به تنوع زباني و محدوديت در گفتار‌ها مي‌تواند موثر باشد. در اين پژوهش علاوه بر هيجانات اوليه از هيجانات ثانويه نيز در راستاي ساخت مدلي كاربردي‌تر استفاده شد. همچنين در راستاي قدم برداشتن در بهره‌گيري بهتر و بيشتر اين روش‌ها در حوزه ارتباط بيمار و پزشك، بستري براي جمع‌آوري گويه بيماران و برچسب گذاري آن‌ها از نظر هيجانات در قالب يك وب سرويس طراحي گرديد.

224886

بيوالكتريك

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان