تفسيرپذيري و انتقال‌پذيري دانش‌هاي زباني در مدل‌هاي زباني از پيش‌آموزش‌ديده

كارشناسي ارشد

به‌دنبال موفقيت‌هاي چشم‌گير مدل‌هاي زباني از پيش‌آموزش‌ديده در حوزه پردازش زبان طبيعي و يادگيري انتقالي، اخيرا موج قابل‌توجهي از تحقيقات به آشكارسازي دانش‌هاي زباني كسب‌شده توسط بازنمايي‌هاي اين مدل‌ها اختصاص يافته است. يكي از روش‌هاي محبوب و پركاربرد در اين تحقيقات استفاده از رده‌بند‌هايي موسوم به كاوش‌گر هستند كه بر روي بازنمايي‌هاي يك مدل آموزش داده شده و از دقت آن‌ها به‌عنوان توانايي مدل در كسب دانش‌ها تعبير مي‌شود. اگرچه اين نتايج ديد خوبي از نوع دانش‌هاي زباني كدشده در لايه‌هاي مختلف فراهم مي‌كنند، اما اين تحقيقات به نتيجه‌گيري تنها برحسب سنجه‌هايي مانند دقت بسنده كرده و دلايل متفاوت بودن دقت كاوش‌ها در لايه‌هاي مختلف و نقشي كه توسط بازنمايي هر يك از توكن‌ها ايفا مي‌شود را روشن نكرده‌اند. در اين تحقيق ابتدا با معرفي يك روش كاوش بديع مبتني‌بر گراديان، تحقيقات در اين زمينه را به سطح توكن‌ها توسعه داده و به‌كمك آن به‌دنبال اكتشاف زيرفضاهايي متمايز و معنادار در فضاي بازنمايي‌هاي بافتاري مدل هستيم كه بتوانند نتايج به‌دست‌آمده توسط كاوش‌ها را توضيح دهند. نتايج اين كاوش بر روي مجموعه وظايف متنوع سطحي، نحوي و معنايي نشان مي‌دهد مدل‌هاي برت و روبرتا در بازنمايي بعضي از توكن‌ها دانش نسبتا بيشتري كد مي‌كنند. سپس با الهام از اين نتيجه، يك روش بديع و پويا براي حذف توكن‌هاي بي‌اهميت در هر لايه از مدل پيشنهاد مي‌دهيم كه موجب كاهش هزينه محاسباتي و مدت زمان استنتاج شود. همچنين نشان مي‌دهيم استفاده از معيار برجستگي با اختلاف قابل توجهي بهتر از اتكا به وزن‌هاي خودتوجه در سنجش اهميت توكن‌ها در يك جمله است. در پايان، تحقيقات در حوزه كاوش بازنمايي‌ها را به ساير مدل‌ها توسعه داده و با بهره‌گيري از يك كاوش مبتني بر علم نظريه اطلاعات، سه مدل محبوب و پركاربرد مبتني‌بر برت با اهداف آموزشي كاملا متفاوت را مورد تحقيق قرار داده و نشان مي‌دهيم توزيع دانش‌هاي كدشده در اين مدل‌ها يكسان نبوده و رفتار متفاوتي را نسبت‌به هم به‌نمايش مي‌گذارند. به‌طور خاص نشان مي‌دهيم مدل ايكس‌ال‌نت دانش‌هاي زباني را در لايه‌هاي ابتدايي‌تر انباشته كرده در حالي كه الكترا بيشتر اين دانش‌ها را در لايه‌هاي آخر كد كرده است.

204722

دانشگاه علم و صنعت ايران

مهندسي كامپيوتر

دكتر محمدطاهر پيله‌ور، دكتر بهروز مينايي بيدگلي