مدل سازي زباني با استفاده از شبكه هاي عصبي عميق

كارشناسي ارشد

در سال‌هاي اخير توجه ويژه‌اي به شبكه‌هاي عصبي به منظور مدل‌سازي زباني در كاربردهاي مختلف پردازش زبان طبيعي شده است. در اين مدل‌هاي زباني ساختارهاي مختلفي از شبكه‌هاي عصبي مورد استفاده قرار گرفته‌اند كه شبكه‌هاي بازگشتي نتايج خوبي در اين زمينه به‌دست آوردند، اين شبكه‌ها با توجه به محدود نبودن به طول ثابتي از كلمات ورودي نتايج بهتري نسبت به شبكه‌هاي پيش‌رو داشتند. با اين وجود شبكه‌هاي عصبي بازگشتي در يادگيري دنباله‌هاي طولاني مشكلاتي دارند كه براي رفع اين مشكل شبكه‌ي حافظه‌ي كوتاه‌مدت ماندگار پيشنهاد شده است. در اين پژوهش به دنبال روشي براي مدل‌سازي زبان با در نظر گرفتن اجزاي كلام بوديم و از شبكه‌هاي كوتاه‌مدت ماندگار يك طرفه و دو طرفه براي مدل‌سازي زباني استفاده شد. ساختاري كه براساس شبكه‌هاي گفته شده پيشنهاد شد، ساختاري موازي براي در نظر گرفتن كلمات و نقش آن‌ها بود. ساختار پيشنهادي شامل دو مسير موازي از شبكه‌هاي حافظه‌ي كوتاه‌مدت ماندگار است كه ورودي مسيرها كلمات و نقش آن‌ها مي‌باشد. ورودي‌ها بعد از عبور از لايه‌ي تعبيه‌ساز وارد حافظه‌ي كوتاه‌مدت ماندگار مي‌شوند و سپس اين دو مسير با هم الحاق شده و در مسير الحاق‌شده با توجه به اين‌كه از شبكه‌هاي يك طرفه و يا دوطرفه استفاده شده باشد، به ترتيب از شبكه‌‌ي حافظه‌ي كوتاه‌مدت ماندگار و لايه‌ي تماماً متصل استفاده مي‌شود و در نهايت هم لايه‌ي بيش‌نرم براي پيش‌بيني كلمه‌ي بعدي قرار دارد. از مجموعه‌ داده‌ي ptb در اين پژوهش استفاده شده است كه يكي از مجموعه‌‌ داده‌هايي است كه به طور گسترده‌ براي ارزيابي عملكرد مدل زبان در زبان انگليسي مورد استفاده قرار مي‌گيرد. براي ارزيابي عملكرد روش‌ها از معيار سرگشتگي استفاده شده‌است. نتايج به‌دست آمده نسبت به مدل‌هاي پايه در يك مجموعه آزمون يكسان، حدود۱/۵ درصد كاهش مقدار سرگشتگي براي شبكه يك‌طرفه و 7 درصد كاهش براي شبكه‌ي دوطرفه داشته‌است.

192736

دانشگاه علم و صنعت ايران

دكتر بابك ناصرشريف

هوش مصنوعي

دكتر احمد اكبري ازيراني - دكتر ناصر مزيني