نشانه گذاري خودكار پيكره هاي فارسي با استفاده از مدل ماركو

كارشناسي ارشد

هدف ققق زاز انجام اين پايان نامه ،خودكارسازي رويه برچسب دهي جزء كلام براي متون فارسي مي باشد . خودكار سازي اين رويه با استفاده از روشهاي آماري تفسير پيكره ارائه و پياده سازي گرديد اند . محاسبه احتمالات لغوي و احتمالات گذار بين برچسب ها و رفع ابهام در برچسب دهي كلمه با استفاده از مدلهاي ماركف پياده سازي شده اند در برچسب دهي كلماتي كه داراي ابهام نمي باشند روش مبتني بر تعداد تكرار مورد استفاده قرار گرفته شده است . اين روش طي سال ها بر روي زبان هاي ديگر پياده سازي شده است . اما در رابطه با برچسب دهي خودكار بر روي پيكره هاي فارسي با استفاده از مدل ماركف تاكنون كاري بدين شكل صورت گرفته نشده است . و اين طرح براي اولين بار مورد آزمايش قرار گرفته مي شود . در طي انجام اين پايان نامه مجموعه اي از برچسب ها براي تعيين نقش دستوري كلمات فارسي انتخاب شدند . در اين مجموعه ،پانزده برچسب براي دسته بندي نقش دستوري كلمات ، يك برچسب براي كلمات مبهم (كه جهت برچسب دهي به مدل داده مي شوند )يك برچسب براي كلمات ناشناخته و هشت برچسب براي مشخص نمودن نكات نوشتاري كلمات يا جملات ، در متن در نظر گرفته شده اند . سپس پيكره بندي نوشتاري خام به زبان فارسي تهيه گرديد . پس از گردآوري متون ،ويرايش ابتدايي روي آنها انجام گرفت كه متن ها آماده براي برچسب دهي گردند . پيكره تهيه شده از 47،600 كلمه و 2093 جمله تشكيل شده است . برچسب دهي متون گردآوري شده به صورت دستي به وسيله برچسب هاي انتخاب شده انجام گرفت . پس از آماده شدن اين متون ،نرم افزاري جهت انجام رويه برچسب دهي خودكار و تعيين پارامترها و آموزش ماركف و نمايش مدل پياده سازي گرديد . نرم افزار پياده سازي شده به زبان جاوا مي باشد . در آخر ، اين برنامه طي مراحل مختلف مورد تست و ارزيابي قرار داده شده است . تست عملكرد برنامه با تقسيم پيكره به دو بخش صورت پذيرفت . به اين گونه كه بخشي از پيكره كه علامت گذاري شده است براي آموزش مدل استفاده گرديد و پارامترهاي مدل بدين وسيله تخمين زده شدند . سپس با مجموعه تست كه متن هاي خام مي باشند و از قسمت ديگر كنار گذاشته پيكره ، هستند ، دقت مدل مورد ارزيابي قرار گرفت . اين كار چندين بار و هر بار با قسمت هاي متفاوت تكرار گرديد . جدا كردن بخش آموزش و تست از پيكره در دو روش مختلف صورت پذيرفت و ارزيابي با مجموعه هاي هر دو اين روشها صورت پذيرفت . دقت حاصل از برچسب دهي متون با استفاده از مدلهاي ماركف ،برابر 86,86 ./ در آزمون اوليه و برابر 57،87/. در آزمون ثانويه نتيجه گيري گرديد .

200369

دانشگاه علم و صنعت ايران

دكتر مرتضي آنالويي