بازنمايي جملات در فضاي معنايي با استفاده از روش‌هاي تخمين پارامتر

دكتري

مدل‌هاي معنايي توزيعي، معناي كلمات را به صورت بردار بازنمايي مي‌كنند. براي بدست آوردن بردارهاي معنايي كلمه دو روش مبتني بر شمارش و مبتني بر پيش‌بيني وجود دارد. بردارهاي حاصل از روش‌هاي مبتني بر شمارش داراي ابعاد زيادي هستند و معمولا از روش‌هاي كاهش ابعاد براي كاستن ابعاد بردار كلمه استفاده مي‌شود. بردارهاي مبتني بر پيش‌بيني با استفاده از روش‌هاي يادگيري عميق تعبيه‌هاي كلمه فشرده با ابعاد كم توليد مي‌كنند. اين بردارها كارايي خوبي در كاربردهاي NLP از خود ارائه مي‌كنند. مولفه‌هاي تعبيه كلمه اعداد حقيقي هستند و بردارهاي پايه معادل واژگاني ندارند. در بردارهاي كلمه بدست آمده با روش‌هاي مبتني بر شمارش، هر بعد معادل واژگاني دارد. اين بردارها با روش‌هاي كاهش ابعاد به بردارهاي ضمني تبديل مي‌شوند. ما در اين پژوهش با توجه به حوزه هوش مصنوعي توضيح‌پذير يك رويكرد تركيبي براي بازنمايي كلمه صريح با ابعاد كم پيشنهاد مي‌كنيم كه هر بردار پايه در فضاي معنايي معادل يك كلمه پايه است. اين رويكرد تركيبي ابعاد بردارهاي كلمه را به گونه‌اي كاهش مي‌دهد كه هر بعد يك معادل واژگاني داشته باشد و كارايي بردارهاي كلمه بر روي وظيفه شباهت كلمه افت نكند. در رويكرد تركيبي پيشنهادي، براي شمارش هم‌رخدادي‌هاي كلمه هدف و كلمه‌هاي بافتار، ايده به‌كارگيري از روش محلي‌سازي را پيشنهاد مي‌كنيم كه به جاي استفاده از پنجره با طول ثابت از يك تابع نمايي برحسب فاصله كلمه هدف و كلمه بافتار براي شمارش هم‌رخدادي بهره مي‌برد. ما دو معيار يعني شباهت كلمه و تعداد مولفه‌هاي صفر را علاوه بر فراواني كلمه، به عنوان ويژگي‌ براي كلمات پيكره معرفي مي‌كنيم. سپس تعدادي قاعده براي بدست آوردن كلمات پايه اوليه با استفاده از درخت تصميم رسم شده براساس سه ويژگي، استخراج مي‌كنيم. در اين رويكرد تركيبي از يك روش انتخاب كلمه براي يادگيري فضاي برداري استفاده مي‌كنيم كه هر يك از ابعادش يك كلمه طبيعي است. روش انتخاب كلمه از پرتكرارترين كلمه‌ها شروع مي‌كند و زيرمجموعه‌اي انتخاب مي‌كند كه داراي بهترين كارايي است. با استفاده از روش انتخاب كلمه 1000 كلمه پايه به دست مي‌آوريم. همچنين با استفاده از روش وزن‌دهي دودويي براساس الگوريتم بهينه‌سازي ازدحام ذرات دودويي، كلمات طلايي پيكره را انتخاب كرده و به عنوان كلمات طلايي بافتار به 1000 كلمه پايه انتخاب شده با روش انتخاب كلمه مي‌افزاييم. در اين پژوهش از پيكره ukWaC براي ساخت بردارهاي كلمه استفاده مي‌شود. ما بردارهاي كلمه صريح با ابعاد كم حاصل را بر روي وظيفه شباهت كلمه ارزيابي مي‌كنيم. همچنين، قابليت تفسيرپذيري بردارهاي كلمه صريح بدست آمده را به صورت كيفي و كمي ارزيابي مي‌نماييم. در آزمايش‌هاي اين پژوهش، نتايج ارزيابي بردارهاي كلمه بر روي وظيفه شباهت كلمه با نتايج مدل پايه مبتني بر شمارش كه داراي 5000 كلمه پرتكرار بافتار است و از پنجره ثابت به جاي روش محلي‌سازي براي شمارش هم‌رخدادي استفاده مي‌كند، مقايسه‌ مي‌شود. با مقايسه بردارهاي كلمه با ابعاد كم حاصل در مقايسه با بردارهاي مدل پايه، ضريب همبستگي اسپيرمن براي مجموعه‌هاي آزمون MEN، RG-65 و SimLex-999 به ترتيب به ميزان 4.66%، 15.23% و 3.27% افزايش مي‌يابد. همچنين قابليت تفسيرپذيري بردارهاي كلمه به صورت كيفي و كمي نسبت به مدل‌هاي مبتني بر پيش‌بيني به ميزان قابل ملاحظه‌اي افزايش مي‌يابد.

210225

دانشگاه علم و صنعت ايران

مهندسي كامپيوتر

دكتر آنالويي