خلاصه پایان نامه شناسایی مشخصه های مناسب موجود در متن جهت رفع ابهام معنایی
پایان‌نامه‌ی کارشناسی ارشد در رشته‌ی مهندسی کامپیوتر- نرم‌افزار
چکیده
شناسایی مشخصه های مناسب موجود در متن جهت رفع ابهام معنایی
به جرأت میتوان ادعا کرد که عصر حاضر، عصر انفجار اطلاعات است و شاید بتوان زبان را بعنوان مهمترین سد و مانع در انتقال اطلاعات دانست. بنابراین ضرورت بکارگیری ماشین در پردازش و ترجمهی متون تبدیل به نیازی غیر قابل انکار شده است. اما مشکلاتی که بر سر راه مترجمهای ماشینی وجود دارد مانع شده تا این مهم از کیفیت و دقت کافی برخوردار باشد.
یکی از تأثیرگذارترین مسائل در دقت و کیفیت ترجمهی ماشینی، رفع ابهام معنایی است که دقت در آن باعث بالا رفتن دقت کل عمل ترجمه میگردد. منظور از رفع ابهام معنایی انتخاب معنای مناسب کلمه با توجه به متن، برای کلماتی است که دارای چندین معنای متفاوت هستند. لذا در این پژوهش سعی شده است تا به بررسی روش های مختلف و ایدههای متفاوت پرداخته و با ارائهی شیوهای متفاوت در این راستا قدمی برداریم.
روش ارائه شده در این پایان نامه، روشی مبتنی بر دانش است که با بهرهگیری از اطلاعات تکمیلی پیرامون کلمهی مبهم در متن و ارائهی یک روش امتیازدهی، به رفع ابهام میپردازد. به این منظور از یک طرف با بکارگیری وردنت و منابع دیگری که به نوعی مکمل وردنت هستند، فهرستی از کلمات مرتبط با کلمهی مبهم تهیه کرده و از طرف دیگر کلمات همراه با کلمهی مبهم در متن را از پیکرهی مورد نظر استخراج میکنیم. سپس با استفاده از یک رابطهی امتیازدهی، معنایی که دارای بیشترین امتیاز است و مرتبطتر به نظر میرسد را انتخاب میکنیم. در نهایت، دقت روش ارائه شده را بررسی کرده و نتایج را با دقت سایر روشها مقایسه میکنیم.
کلمات کلیدی: رفع ابهام معنایی، دیدگاه مبتنی بر دانش، وردنت، وردنت توسعه یافته، ترجمهی ماشینی
فصل اول
مقدمه
1-1- مقدمه
تولید حجم عظیمی از مقالات و مستندات، جامعهی علمی را بر آن داشت تا با بهرهگیری از مزایا و تواناییهای روشهای خودکار جهت پردازش این متون، به حوزهای تحت عنوان پردازش زبانهای طبیعی[1] روی آورد. همچنین با توجه به وجود لیستی از معانی کلمات و عبارات یا همان دیکشنری و حتی اختصاص موسساتی جهت تعیین نحوهی استفاده از یک زبان در برخی از کشورها، اینطور به نظر میرسد که امکان مکانیزه کردن فهم یک زبان توسط کامپیوتر وجود دارد [1].
مبحث پردازش زبان های طبیعی خود زیرمجموعهای از حوزهی گستردهی هوش مصنوعی است که توجهات دانشمندان و محققان فراوانی را به خود معطوف کرده است. شاید به ظاهر زبانهایی که ما در زندگی روزمره برای ایجاد ارتباط با دیگران به کار میگیریم، ساده باشند. اما در حقیقت این زبانهای انسانی پیچیدگیهای فراوانی دارند که همین پیچیدگیها منجر به شکلگیری زیرشاخههای متعددی همچون ترجمهی ماشینی[2]، بازیابی اطلاعات[3]، پردازش متون[4]، تشخیص صحبت[5]، تحلیل گرامری[6] ، رفع ابهام معنایی[7] و غیره در زمینهی پردازش زبانهای طبیعی شده است.
در بین مباحث متفاوتی که در زمینهی پردازش زبانهای طبیعی موجود است، برای اینجانب ابهام معنایی[8] جذابیت بیشتری داشته که در این پایاننامه به این موضوع پرداختهام. ابهام معنایی یکی از مباحث پیچیده و در عین حال پراهمیت است که در شاخههایی نظیر ترجمهی ماشینی و بازیابی اطلاعات نیز مطرح بوده و بعنوان جزء جدایی ناپذیری از اینگونه سیستمها دارای ارزش و حائز اهمیت است.
در واقع این مبحث نشأت گرفته از ابهامی است که در زبانهای طبیعی نهفته است؛ هرچند که وجود این ابهامها در اکثر مواقع از دید انسان پوشیده است. آنچه ابهامهای موجود بین سخنگویان بومی را مرتفع میسازد توانش زبانی آنها، اطلاعات آنها در خصوص جهان پیرامون، طرح پرسش مجدد در صورت وجود یا احساس ابهام و بطور کلی مجموعهای از اطلاعات زبانی و غیرزبانی است که سخنگویان بومی به آن مجهزند [40].
مسأله ی ابهام معنایی شامل تشخیص معنای صحیح یک کلمه با توجه به متنی است که در آن آمده است و در زمینهی پردازش زبانهای طبیعی به آن رفع ابهام معنایی گفته میشود. این مهم در بسیاری از شاخههای پردازش زبانهای طبیعی نیز مطرح بوده و کاربرد دارد که در این میان اصلیترین و مشهودترین مورد استفادهی آن در شاخهی ترجمهی ماشینی است. لذا در این فصل ابتدا اشارهی کوتاهی به گسترهی پردازش زبانهای طبیعی و زیرشاخههای آن داشته، سپس مختصری به شرح مفهوم ترجمهی ماشینی و روشهای آن میپردازیم.
1-2- پردازش زبانهای طبیعی
پردازش زبانهای طبیعی که معمولاً به اختصار به آن NLP گفته میشود یکی از نیازهای عصر فناوری جهت استفادهی بهینه از منابع اطلاعاتی است که امروزه با رشد حجم مستندات تولید شده و نیاز به نگهداری، دسته بندی، بازیابی و پردازش ماشینی و سریع آنها، توجه به این شاخه بیش از پیش خودنمایی میکند.
زبان طبیعی، زبانی است که ما در تعاملات اجتماعی روزمره با استفاده از آن مینویسیم و صحبت میکنیم. زبانهای طبیعی متنوع و فراوانی وجود دارند که ممکن است فرم گفتاری و نوشتاری متفاوتی داشته باشند و از هم مستقل باشند. پردازش زبان‌ها و مکالمات طبیعی یکی از اموری‌ست که با ورود فناوری رایانه‌ای به زندگی بشر مورد توجه بسیاری از دانشمندان قرار گرفته است. حتی اندیشه‌ای که آلن تورینگ[9] از ماشین هوشمند خود و تعریفی که او از هوش مصنوعی[10] داشت، در مرحلهی اول مربوط به پردازش زبانهای طبیعی می‌شد. بعلاوه تلاش‌های بسیاری توسط بشر برای پیگیری این امر صورت گرفته بود که به عنوان مثال ماشین لیزا یکی از محصولات این تلاش‌هاست. ماشین لیزا ماشینی بود که با تایپ از راه دور با یک انسان، جملات او را پردازش می‌کرد و جوابی درخور به او می‌داد.
بنابراین میتوان گفت که یکی از زیرشاخههای با اهمیت در حوزهی گستردهی هوش مصنوعی پردازش زبانهای طبیعی است؛ تا حدی که بسیاری از متخصصین در زمینهی هوش مصنوعی بر این باورند که مهمترین وظیفهای که هوش مصنوعی باید به آن بپردازد NLP است. دلیلی که ایشان برای این اعتقاد خود ارائه میکنند آن است که پردازش زبان طبیعی راه ارتباط مستقیم انسان و کامپیوتر را از طریق مکالمه باز میکند. به این ترتیب دیگر برنامه نویسی معمولی و قراردادهای مربوط به سیستمهای عامل کنار گذاشته خواهد شد. همچنین اگر یک کامپیوتر بتواند یک زبان انسانی را درک کرده و به وسیلهی آن صحبت کند، دیگر به بسیاری از وظایفی که باید توسط مهندسین نرم افزار طراحی شوند نیازی نخواهد بود. اما ابعاد و پیچیدگیهای زبانهای بشری دستیابی کامل به این قابلیت را دشوار ساخته است.
در پردازش زبان های طبیعی، سعی میشود تا قابلیت درک دستوراتی که به زبانهای انسانی استاندارد نوشته شدهاند، به کامپیوتر داده شود. یعنی کامپیوتری داشته باشیم که قادر باشد زبان انسان را تحلیل کند، بفهمد و حتی بتواند زبان طبیعی تولید کند. بدیهی است که در راستای تحقق این هدف، نیاز به دانشی وسیع از زبان است. بنابراین علاوه بر محققان علوم کامپیوتر، دانش زبانشناسان نیز مورد لزوم میباشد. در زمینهی پردازش زبانهای طبیعی باید پاسخ چهار سوال زیر مورد مطالعه قرار گیرد:
یک زبان از چه کلماتی تشکیل شده است؟
چگونه کلمات ترکیب میشوند تا جملات زبان تشکیل شوند؟
معنی کلمات زبان چیست؟
معانی کلمات چگونه به کار گرفته میشوند تا معنی جملات ساخته شود؟
در حقیقت هدف اصلی در NLP، ماشینی کردن فرایند درک و برداشت مفاهیم بیان گردیده با یک زبان طبیعی انسانی میباشد. به تعریف دقیق‌تر پردازش زبانهای طبیعی عبارت است از استفاده از کامپیوتر برای پردازش زبان گفتاری و نوشتاری به نحوی که کامپیوترها از زبان طبیعی به عنوان ورودی و خروجی استفاده نمایند. بدین وسیله میتوان به ترجمهی زبان‌ها پرداخت، از صفحات وب و بانکهای اطلاعاتیِ نوشتاری جهت پاسخ دادن به پرسش‌ها استفاده کرد، یا با دستگاه‌ها مثلاً برای مشورت گرفتن به گفتگو پرداخت.
به طورکلی نحوهی کار این شاخه این است که زبانهای طبیعیِ انسان را تقلید کند. در این میان، پیچیدگی انسان از بعد روانشناسی بر روی ارتباط متعامل تأثیر می‌گذارد. لذا پردازش زبانهای طبیعی رهیافت بسیار جذابی برای ارتباط بین انسان و ماشین محسوب میشود و در صورت عملی شدنش به طور کامل، میتواند تحولات شگفت‌انگیزی را در پی داشته باشد. شکل زیر یک شمای کلی از معماری پردازش زبانهای طبیعی را نشان میدهد:
مسألهی پردازش زبانهای طبیعی معمولاً یک مسألهی AI-Complete محسوب میشود، چراکه محقق شدن آن به طور کامل مستلزم سطح بالایی از درک جهان خارج و حالات انسان برای ماشین است. از جملهی موانع اساسی که در این زمینه وجود دارد میتوان به نیاز به درک معانی توسط کامپیوتر اشاره کرد. منظور این است که کامپیوتر برای آنکه بتواند برداشت درستی از جمله‌ای داشته باشد و اطلاعات نهفته در آن جمله را درک کند، گاهی لازم است که برداشتی از معنای کلمات موجود در جمله داشته باشد و تنها آشنایی با دستور زبان کافی نباشد. مثلاً جملهی "حسن سیب را نخورد برای این که کال بود." و جملهی "حسن سیب را نخورد برای این که سیر بود." ساختار دستوری کاملاً یکسانی دارند. اما تشخیص این که کلمات کال و سیر به حسن برمی‌گردند یا به سیب، بدون داشتن اطلاعات قبلی دربارهی ماهیت حسن و سیب ممکن نیست. بعنوان مانعی دیگر میتوان دقیق نبودن دستور زبان‌ها را نامید. چراکه دستور هیچ زبانی آنقدر دقیق نیست که با استفاده از قواعد دستوری همیشه بتوان به نقش[11] هر یک از اجزای جمله‌های آن زبان پی برد.
همانطور که اشاره شد از لحاظ ردهبندى، علم پردازش زبان طبیعى از شاخههاى هوش مصنوعى به حساب مىآید که خود این علم به شش ردهی مختلف تقسیمبندى مىشود:
آواشناسی و صداشناسى[12] که به تشخیص آواها، صداها و بازشناسى گفتار مىپردازد.
ریختشناسى[13] که به ساختارهای کلمات و ریشهیابى واژگان مىپردازد.
نحو[14] که به ارتباط کلمات با یکدیگر و مباحث دستورى آنها در گروهها و جملات میپردازد.
معناشناسى[15] که به ارتباطات معنایى کلمات مىپردازد.
عملگرایى[16] که به کاربردهاى زبان براى رساندن یک مطلب به مخاطب یا مخاطبان، در حالت عملى یا در نوشتار و گفتار طبیعى مىپردازد.
مباحثه[17] که به ارتباطات کلى یک زبان، فراى یک یا چند جملهی خاص مىپردازد.
احتمالاً میتوانید حدس بزنید که یک پردازشگر زبان طبیعی به خودی خود هیچ فایدهای ندارد، مگر در زمینهی تحقیقات. با این وجود NLP میتواند در برنامههای کامپیوتری دیگر، بویژه برنامههای مدیریت بانکهای اطلاعاتی و برنامههای عمومی حل مسائل، تحول عظیمی بوجود آورد. همچنین برنامهنویسان بسیاری به سیستمهای عامل مکالمهای از این نوع علاقمندند. زیرا به این ترتیب زمانی که باید جهت آموختن نحوهی استفاده از کامپیوتر صرف شود دیگر حذف میگردد. مترجمهایی که زبانهای بیگانه را بصورت موضوعی ترجمه میکنند، جهت ایجاد ترجمههای دقیق به پردازش زبان طبیعی نیاز دارند. نهایتاً اینکه هیچ شک و شبههای وجود ندارد که NLP در رباتهای خودکار مستقل، که باید بتوانند به گونهای مؤثر با جهان بشر ارتباط برقرارکنند، از ارکان اساسی محسوب میشود.
به طور کلی تاریخچهی پردازش زبان طبیعی از دههی ۱۹۵۰ میلادی شروع میشود. چراکه هوش مصنوعی اولین بار در سال 1950 توسط آلن تورینگ مطرح شد و در این سال بود که او مقالهی معروف خود را دربارهی آزمایش تورینگ که امروزه به عنوان ملاک هوشمندی شناخته میشود، منتشر ساخت. اهمیت مطالعهی درک و پردازش زبانهای طبیعی در تست تورینگ هم لحاظ شده است. زیرا تورینگ مشخصه و نشانهی مهم هوشمندی ماشین را توانایی آن در درک زبان طبیعی میداند.
فهرست پایان نامه شناسایی مشخصه های مناسب موجود در متن جهت رفع ابهام معنایی
فهرست:
فصل اول: مقدمه
1-1- مقدمه. 2
1-2- پردازش زبانهای طبیعی.. 3
1-3- ترجمهی ماشینی.. 8
1-3-1- روشهای ترجمهی ماشینی 10
1-3-1-1- روشهای مبتنی بر قانون.. 11
1-3-1-2- روشهای مبتنی بر پیکره 13
1-3-2- عوامل موثر بر کیفیت ترجمه 15
1-4- ساختار رساله. 17
فصل دوم: رفع ابهام معنایی
2-1- مقدمه. 20
2-2- انواع منابع دانش.... 22
2-2-1- منابع دانش ساختیافته 23
2-2-2- منابع دانش بدون ساختار 24
2-2-2-1 تقسیمبندی دیگری از پیکرهها 25
2-3- رویکردهای مختلف در رفع ابهام معنایی.. 26
2-3-1- دیدگاه مبتنی بر پیکره 26
2-3-1-1- سیستمهای نظارتی.. 26
2-3-1-2- سیستمهای غیرنظارتی.. 27
2-3-2- دیدگاه مبتنی بر دانش 28
2-3-3- دیدگاه ترکیبی و خلاقانه 30
2-4- فاکتورهای ارزیابی.. 30
2-4-1- پوشش 31
2-4-2- دقت 31
2-4-3- درستی و یادآوری 31
2-4-4- F-SCORE 32
فصل سوم: مروری بر کارهای مرتبط پیشین
3-1- مقدمه. 34
3-2- روشهای نظارتی.. 35
3-3- روشهای غیرنظارتی.. 39
3-4- روشهای مبتنی بر دانش.... 41
3-5- روشهای ترکیبی و خلاقانه. 44
فصل چهارم: روش پیشنهادی
4-1- مقدمه. 51
4-2- معرفی ابزارها و منابع مورد استفاده 52
4-2-1- ریشهیاب 52
4-2-2- برچسب گذار بخشی از گفتار 53
4-2-3- وردنت 54
4-2-4- وردنت توسعه یافته 57
4-2-5- دامنهی وردنت 59
4-3- مراحل روش پیشنهادی.. 59
4-3-1- استخراج کلمات همراه 60
4-3-1-1- پیش پردازش.... 61
4-3-2- استخراج فهرست لغات 61
4-3-2-1- کلمات مترادف و تعاریف... 62
4-3-2-2- کلیهی روابط معنایی.. 62
4-3-2-3- هایپرنیم در چند سطح.. 63
4-3-2-4- دامنهی کلمات... 64
4-3-2-5- امتیازدهی.. 64
فصل پنجم: پیادهسازی و ارزیابی
5-1- مقدمه. 67
5-2- نتایج.. 68
فصل ششم: جمعبندی و نتیجهگیری
6-1- جمعبندی.. 71
6-2- کارهای آتی.. 72
فهرست منابع.. 74
منبع:
[1] D. Martinez Iraolak, “Supervised Word Sense Disambiguation: Facing Current Challenges,” University of the Basque Country, 2004.
[2] A. H. Rasekh, “Word Sense Disambiguation Based on Conceptual and Morphological Analysis of Words,” Shiraz University, 2012.
[3] A. R. Rezapour, “An Investigation into Knowledge-Based Machine Translation in Persian Language,” Shiraz University, 2011.
[4] S. M. Fakhrahmad, “Machine Translation Using Data Mining Methods and Deductive Schemes,” Shiraz University, 2012.
[5] E. Shafiee, “Applying a Supervised and Knowledge-Based Approach to Word Sense Disambiguation,” Shiraz University, 2013.
[6] http://people.lett.unitn.it/baroni/tp/materials/WSD-HLT-2011.pdf
[7] A. E. Agirre and P. G. Edmonds, “Word Sense Disambiguation: Algorithms and Applications,” Springer Science + Business Media, Vol. 33, 2006.
[8] R. Navigli, " Word Sense Disambiguation: A Survey,” ACM Computing Surveys, Vol. 41, No. 2, Article. 10, 2009.
[9] http://icame.uib.no/brown/bcm.html#n1
[10] H. T. Ng and H. B. Lee, “Integrating Multiple Knowledge Sources to Disambiguate Word Sense: An Exemplar-Based Approach,” Proceedings of the 34th Annual Meeting of the Association for Computational Linguistics, pp. 40-47, 1996.
[11] A. R. Rezapour, S. M. Fakhrahmad and M. H. Sadreddini, “Applying Weighted KNN to Word Sense Disambiguation,” Proceedings of the World Congress on Engineering 2011, Vol. III, 2011.
[12] M. Nameh, S.M. Fakhrahmad and M. Zolghadri Jahromi, “A New Approach to Word Sense Disambiguation,” Proceedings of the World Congress on Engineering 2011 (WCE 2011), London, Vol. I, 2011.
[13] T. Pedersen, “A Simple Approach to Building Ensembles of Naïve Bayesian Classifiers for Word Sense Disambiguation,” Proceedings of the 1st Annual Meeting of the North American Chapter of the Association for Computation Linguistics, Seattle, pp. 63-69, 2000.
[14] S. Elmougy, T. Hamza and H. M. Noaman, “Naïve Bayes Classifier for Arabic Word Sense Disambiguation,” Proceedings of the INFOS2008, pp. 16-21, 2008.
[15] P. F. Brown, S. A. DellaPietra, V. J. DellaPietra and R. L. Mercer, “Word Sense Disambiguation Using Statistical Methods,” Annual Meeting of the Association for Computational Linguistics, pp. 264-70, 1991.
[16] I. Dagan and A. Itai, “Word sense disambiguation using a second language monolingual corpus,” Association for Computational Linguistics, 20(4): 563–96, 1994.
[17] M. Soltani and H. Faili, “A Statistical Approach on Persian Word Sense Disambiguation,” The 7th International Conference on Informatics and Systems (INFOS), pp. 1-6, 2010.
[18] D. Yarowsky, “Unsupervised word sense disambiguation rivaling supervised methods,” Proceeding ACL '95 Proceedings of the 33rd annual meeting on Association for Computational Linguistics, pp.189-196, 1995.
[19] X. Wang, “Automatic acquisition of English topic signatures based on a second language,” Proceedings of the ACL 2004 workshop on Student research, 2004.
[20] M. Lesk, “Automatic Sense Disambiguation Using Machine Readable Dictionaries: How to Tell a Pine Cone From an Ice Cream Cone,” Proceedings of the 5th Annual International Conference on Systems Documentation, New York, pp. 24-26, 1986.
[21] S. Banerjee and T. Pedersen, “An Adapted Lesk Algorithm for Word Sense Disambiguation Using WordNet,” Proceedings of the Third Computational linguistics and intelligent text processing, pp. 136-145, 2002.
[22] A. Kilgarriff and J. Rosenzweig, “English SENSEVAL: Report and results,” Proceedings of the 2nd International Conference on Language Resources and Evaluation, 2000.
[23] S. Banerjee and T. Pedersen, “Extended gloss overlaps as a measure of semantic relatedness,” International Joint Conference on Artificial Intelligence, vol. 18, pp. 805-810, 2003.
[24] F. Vasilescu, P. Langlais and G. Lapalme, “Evaluating Variants of the Lesk Approach for Disambiguating Words,” Proceedings of the Conference of Language Resources and Evaluations, pp. 633-636, 2004.
[25] S. Kumar Naskar and S. Bandyopadhyay, “JU-SKNSB: extended WordNet based WSD on the English all-words task at SemEval-1,” Proceedings of the 4th International Workshop on Semantic Evaluations, pp. 203-206, 2007.
[26] D. Yarowsky, “Word Sense Disambiguation Using Statistical Models of Roget’s Categories Trained on Large Corpora,” Proceedings of 15th International Conference on Computational Linguistics, pp.454–60, 1992.
[27] R.Mihalcea and D. Moldovan, “An Iterative Approach to Word Sense Disambiguation,” Proceedings of FLAIRS, pp. 219-223, 2000.
[28] A. H. Rasekh and M. H. Sadreddini, “Word Sense Disambiguation Algorithms Based on the Context, Structure and Meaning,” International Journal of Signal and Data Processing, Vol. 2, pp. 40-47, 2013.
[29] S.M. Fakhrahmad, A.R. Rezapour, M. Zolghadri Jahromi and M.H. Sadreddini, “A New Word Sense Disambiguation System Based on Deduction,” Proceedings of the World Congress on Engineering, vol. II, pp. 1276-1281, 2011.
[30] M. F. Porter, “An Algorithm for Suffix Stripping,” in Program: Electronic Library and Information Systems, Vol. 14 Issue: 3, pp. 130 – 137, 1980.
[31] R. Krovetz , “Viewing Morphology as an Inference Process,” in R. Korfhage et al., Proc 16th ACM SIGIR Conference, Pittsburgh, pp. 191-202, June 27-July 1,1993.
[32] K. Glass and S. Bangay, “Evaluating Parts-of-Speech Taggers for Use in a Text-to-Scene Conversion System,” Proceedings of SAICSIT, pp.1-9, 2005.
[33] http://nlp.stanford.edu/nlp/javadoc/javanlp/edu/stanford/nlp/tagger/maxent/ MaxnetTagger.html
[34] http://wordnet.princeton.edu
[35] http://xwn.hlt.utdallas.edu
[36] L. Bentivogli, P. Forner, B. Magnini and E. Pianta, “Revising WordNet Domains hierarchy: semantics, coverage, and balancing,” In Proceedings of COLING 2004 Workshop on Multilingual Linguistic Resources, Geneva, Switzerland, pp. 101-108, August 28, 2004.
[37] B. Magnini and G. Cavaglia, “Integrating Subject Field Codes into WordNet,” Proceedings of LREC-2000, Second International Conference on Language Resources and Evaluation, pp. 1413-1418 Athens, Greece, 31 May - 2 June, 2000.
[38] J. J. Jiang and D. W. Conrath, “Semantic similarity based on corpus statistics and lexical taxonomy”, arXiv preprint cmp-lg/9709008, 1997.
[39] http://www.cse.unt.edu/~rada/downloads.html
[40] محمدرضا فلاحتی قدیمی فومنی: ابهام در ماشین ترجمه. فصلنامه سازمان کتابخانهها، موزهها و اسناد مرکز آستان قدس رضوی، 35، 1386.
[41] امیر شهاب شهابی و عبدالحسین صراف زاده: ترجمهی ماشینی زبان فارسی: راهکارها و موانع. در تازههای علوم شناختی، سال 3، شماره 1 و 2، 1380.