الگوريتمي براي تحليل نظرسنجي هاي متني در پايگاه داده هاي فيلم

درك زبان‌هاي محاوره‌اي يكي از اهداف مهم در هوش مصنوعي محسوب مي‌شود و پردازش زبان‌هاي طبيعي با هدف انجام اين مهم توسعه داده شده است. از كاربردهاي مهم پردازش زبان‌هاي طبيعي مي‌توان از جستجو در اينترنت، تبليغات، ايميل‌ها، خدمات به مشتريان و ترجمه از يك زبان به زباني ديگر نام برد. در گذشته قوانين حاكم بر داده‌ها بطور دستي استخراج مي‌شد و مدل‌ها براساس اين قوانين كار مي‌كردند كه محدوديت‌هاي فراواني داشتند. امروزه از روش‌هاي مبتني بر يادگيري ماشين بجاي قوانين مذكور استفاده مي‌شود كه مزايايي چون امكان استفاده از استنتاج آماري در مواجه با نويز، امكان استفاده از داده‌هاي انبوه و تمركز بر قوانين عمومي‌تر را داراست. در اين پروژه با به‎كارگيري يك شبكه بازگشتي RNN با معماري حافظه كوتاه مدت طويل LSTM ، در مجموعه داده‌هاي IMDB كه شامل نقد‌هاي منتقدين سينمايي است، نظرات متني ارائه شده، واكاوي مي‌شود. به اين ترتيب با داده شدن يك نقد فيلم، بعد از انجام پيش‌پردازش، مدل آموزش داده شده، مثبت يا منفي بودن نقد مورد نظر را مشخص مي‎كند. در الگوريتم LSTM ارائه شده در اين پروژه، بردار بسترسازي همراه با مدل LSTM بصورت توأمان آموزش داده شده است. اين امر فرايند آموزش را قدري طولاني مينمايد ولي در عوض محدود به لغات موجود در ماتريس بسترسازي ثابت نخواهيم بود و از طرفي بسترسازي مناسب كاربرد مورد نظر حاصل ميشود. در مدل ارائه شده در لايه اول، توالي از واحد‌هاي LSTM قرار داده مي‌شود كه منجر به تشكيل بازنمايي متناظر در خروجي واحد‌هاي LSTM مي‌گردد. در اين پروژه به هنگام آموزش واحدهاي LSTM، از تكنيك حذف تصادفي استفاده شده است. اين امر باعث شده، اندكي فرايند آموزش طولاني شود ولي در عوض عموميت‎پذيري مدل افزايش يافته و از بيش‎برازش جلوگيري شود كه به نوبه خود منجر به افزايش دقت نهايي مدل شده است. در لايه خروجي LSTM از نرمالسازي دستهاي استفاده شده است كه با تغيير مناسب آرايش دادهها در فضاي ويژگي‎ها، باعث شده فرآيند آموزش با كارايي و سرعت بهتري انجام شود. در لايه خروجي از يك لايه رگرسيون لجستيك بمنظور رده‌بندي توالي ورودي استفاده شده است. اين امر باعث شده است كل مراحل از بازنمايي تا رده‎بندي بصورت يكپارچه با الگوريتم انتشار عقبگرد آموزش داده شود. در نهايت دقت نهايي مدل ارائه شده در ردهبندي مجموعه دادههاي IMDB به دقت رقابتي 90 درصد رسيده است.

190696

دانشگاه علم و صنعت ايران

دكتر خنجري

نرم افزار

دكتر بهروز مينايي