عنوان
پردازش معنايي متن با استفاده از بازنمايي‌هاي تنك
نويسنده اصلي
علي مهدوي‌فر
مقطع تحصيلي
كارشناسي ارشد
چكيده
در دو دهه اخير، افزايش سرعت پردازش كامپيوتر‌ها و حجم داده‌هاي در دسترس، به تدريج محققان هوش مصنوعي و علم داده را به سمت استفاده از سيستم‌هاي اتصال‌گرا و به طور خاص شبكه‌هاي عصبي، به جاي منطق مهندسي شده سيستم‌هاي قديمي‌تر سوق داده است. در اين ميان شبكه‌هاي عصبي موفقيت خود را بيش از هر چيز، مديون فن بهينه‌سازي بر اساس مشتق، با استفاده از الگوريتم انتشار عقبگرد بوده‌اند.
با وجود موفقيت‌هاي بسياري كه بهينه‌سازي بر اساس مشتق براي شبكه‌هاي عصبي به همراه آورده است، بايد توجه داشت كه تأثير ديگر اين موفقيت‌ها به حاشيه رانده شدن، و حتي به فراموشي سپرده شدن ساير روش‌ها در يادگيري ماشين بوده است.
به طور خاص يكي از زمينه‌هاي پژوهشي در سايه موفقيت‌هاي روش‌هاي مبتني بر بهينه‌سازي عملاً به حاشيه رانده شد، تلاش براي پياده‌سازي يادگيري از طريق روش‌هاي الهام‌گرفته از علوم عصبي، مانند يادگيري هِبين، و روش‌هاي مبتني بر آن‌ها مانند مدل‌هاي انرژي-محور بوده است.
در اين پايان‌نامه ابتدا به بررسي خواص بازنمايي‌هاي تنك، يعني بازنمايي‌هاي دودويي كه بيشتر ابعادشان برابر با صفر بوده و تنها كسر كوچكي از آن‌ها يك باشد، مي‌پردازيم و در ادامه برخي از خواص جالب توجه مدل‌هاي انرژي-محور را مورد بررسي قرار مي‌دهيم.
سپس با الهام از مدل‌هاي انرژي-محور الگوريتم جديدي را معرفي مي‌كنيم كه با استفاده از شكل متفاوتي از انتشار عقبگرد، توانايي يادگيري بازنمايي‌هاي چندلايه از داده‌ها را، براي مدل‌هاي مشتق‌ناپذير، با فعاليت‌هاي دودويي و تنك، و اتصالات دودويي دارا باشد.
در نهايت، چندين نوع مختلف از مدل‌ها را طراحي و پياده‌سازي مي‌كنيم كه با استفاده از اين الگوريتم جديد، توانايي يادگيري رشته‌هاي زماني مانند جملات زبان طبيعي را هم به صورت مستقيم، مانند شبكه‌هاي عصبي بازگشتي، و هم به صورت غيرمستقيم، مانند شبكه‌هاي كدكننده-كدگشا دارا باشد.
شماره ركورد
195397
دانشگاه
دانشگاه علم و صنعت ايران
استاد مشاور
دكتر محمدطاهر پيله‌ور
رشته تحصيلي
نرم‌افزار
استاد راهنما
دكتر بهروز مينايي