استفاده از شبكه‌هاي عصبي ترنسفورمر براي استخراج رابطه با نظارت از راه دور

كارشناسي ارشد

استخراج رابطه با نظارت از راه دور براي توليد مجموعه داده به صورت خودكار استفاده مي‌شود ولي با توليد نمونه‌هاي اشتباه همراه است. اغلب روش‌هاي موجود از يادگيري چند نمونه‌اي كاهش اثر اين نمونه‌هاي اشتباه استفاده مي‌كنند. با اين حال به دليل اين كه استخراج رابطه، به جاي سطح جمله، در سطح سبد (مجموعه جملاتي كه جفت موجوديت يكسان دارند) انجام مي‌شود و هر سبد يك نمونه محسوب مي‌شود، استفاده از شبكه‌هاي ترنسفورمر با تعداد پارامتر زياد به عنوان كدگذار در يادگيري چند نمونه‌اي نيازمند حافظه‌ي زياد براي آموزش نسبت به يادگيري سطح جمله است. در اين تحقيق، يك روش جديد مبتني بر نمونه‌گيري براي استخراج رابطه با نظارت از راه دور پيشنهاد مي‌دهيم كه حافظه‌ي مورد نياز براي يادگيري چند نمونه‌اي را به طور قابل توجهي كاهش مي‌دهد. در روش پيشنهادي، در هر گام از فرآيند آموزش، مجموع تعداد جملات موجود در سبد‌ها در يك دسته را با نمونه‌گيري از سبد‌ها محدود مي‌كنيم. با اين حال اين نمونه‌گيري تصادفي باعث حذف شدن جملات صحيح از سبد‌هاي جملات مي‌شود. همچنين به دليل ماهيت تصادفي اين روش آموزش، جملات يك سبد در هر گام از آموزش متفاوت خواهند بود و به اين دليل با هر بار آموزش، مثل اين است كه مدل روي يك مجموعه داده كمي متفاوت آموزش ديده و به همين دليل عملكرد مدل داراي واريانس بيشتري نسبت به حالت عادي خواهد بود. براي رفع اين مشكلات، ما از تركيب چند مدل آموزش داده شده در فاز آزمون استفاده مي‌كنيم. ما از روش پيشنهادي براي تنظيم شبكه ترنسفورمر BERT بر روي مجموعه داده NYT استفاده مي‌كنيم. نتايج به‌دست آمده نشان مي‌دهد كه روش پيشنهادي عملكرد بسيار بهتري نسبت به روش‌هاي مرز دانش كنوني در معيار‌هاي P@N و AUC (به ميزان 0.104) دارد.

207463

دانشگاه علم و صنعت ايران

مهندسي كامپيوتر- هوش مصنوعي و رباتيك

بهروز مينايي بيدگلي