بهبود الگوريتم هاي تركيبي آماري و پردازش زباني در استخراج عبارات كليدي از متون انگليسي

كارشناسي ارشد

استخراج عبارات كليدي به عنوان هسته پردازش هاي خودكاري است كه روي داده هاي متني انجام مي شود. بنابراين در الگوريتم هاي متن كاوي استخراج عبارات كليدي از اهميت ويژه اي برخوردار است. در واقع استخراج عبارات كليدي يك مرحله بنيادي از اكثر پروژه هاي متن كاوي است، كه تحقيق بر روي آن و پيدا كردن بهترين روش استخراج عبارات كليدي كه دقت و زمان اجرا مناسبي داشته باشد، اهميت ويژه اي دارد. آن ها براي دسته بندي ، خوشه بندي ، نمايه سازي ، جستجو ، خلاصه سازي ، تعيين كيفيت مشابهت معنايي اسناد متني و تقريبا در تمامي حوزه هاي ديگر متن كاوي كاربرد دارند. در اين تحقيق، الگوريتم جديدي ارائه مي گردد كه علاوه بر سرعت بالاي استخراج عبارات كليدي، داراي دقت مناسبي نسبت به ساير الگوريتم هاي موجود در اين زمينه مي باشد. براي حذف كلمات زائد، يك ليست بهينه و مناسب براي كلمات زائد ارائه مي شود كه دقت و سرعت حذف كلمات زائد از متن ورودي را افزايش مي دهد. همچنين براي استخراج عبارات كليدي مناسب از رويكرد پردازش زباني استفاده شده است. در اين رويكرد با دو روش نحوي و لغوي عبارات كانديد مناسب را جهت پردازش و استخراج عبارات كليدي، مشخص مي نمايد. علاوه بر بهينه سازي هايي كه در بالا ذكر شد، بهينه سازي هاي ديگري نيز روي تمامي الگوريتم هاي مطرح شده در اين تحقيق، از جمله الگوريتم هاي TF-IDF و RAKE انجام مي شود و الگوريتم هاي جديدي به نام TFIDF-1-TEXT و optimized-RAKE ارائه مي گردد. با استفاده از چهار معيار دقت، فراخواني، امتياز-F و ضريب تشابه ژاكارد، نشان داده خواهد شد كه، اين دو الگوريتم در مقايسه با ساير الگوريتم ها، نتايج بهتري را ارائه مي كنند. در آزمايشات مشخص خواهد شد كه الگوريتم TFIDF-1-TEXT بهتر از الگوريتم TF-IDF و يكسري الگوريتم هاي مطرح ديگر است. همچنين نشان داده خواهد شد كه، الگوريتم optimized-RAKE از تمامي الگوريتم هاي مطرح شده در اين تحقيق بهتر است و خروجي مناسب¬تر و دقيق¬تري را توليد مي كند. واژه‌هاي كليدي: متن كاوي، استخراج عبارت كليدي، عبارت اسمي، برچسب بخش كلامي، فراواني عبارت، ماتريس همرخدادي، عبارات باقاعده، پردازش زبان طبيعي

191015

دانشگاه علم و صنعت ايران

نرم افزار

دكتر سعيد پارسا