خلاصه پایان نامه بهبود هوشمندانه انتخاب سوال بر پایه سطح دانش آزمون دهنده در آزمون انطباقی کامپیوتری
پایان نامه کارشناسی ارشد مهندسی فناوری اطلاعات گرایش مدیریت سیستم های اطلاعاتی
چکیده
آزمون انطباقی کامپیوتری یک روش رو به رشد ارزیابی در بسیاری از موسسات آموزشی و همچنین غیر آموزشی در سراسر جهان است. ویژگی متمایزکننده آزمون انطباقی کامپیوتری اجرای آزمون متناسب با توانایی آزموندهنده بر اساس پاسخ سوالات قبلی میباشد. از این رو، میتوان آزمون کوتاهتر را اجرا و در عین حال تخمین دقیقتری از توانایی آزموندهنده به دست آورد. روشهای مختلفی برای ایجاد آزمون انطباقی کامپیوتری بر اساس نظریه سوال پاسخ ارائه شده است. هدف این پایان نامه بهبود روش انتخاب سوال در آزمون انطباقی کامپیوتری بر اساس نظریه سوال پاسخ با توجه به سطح دانش آزموندهنده میباشد. در این پایان نامه علاوه بر پارامترهای سوال که در نظریه سوال پاسخ مطرح شده است، ساختاری برای سوالات پیشنهاد شده است که بر اساس آن میتوان روش انتخاب سوال را بهبود بخشید، علاوه بر این طول آزمون کوتاهتر خواهد شد. همچنین میتوان مبحثی که آزموندهنده در آن ضعیف میباشد را شناسایی و بر اساس آن رویکردی مناسب آزموندهنده پیشنهاد داد. یعنی اگر آزموندهندهای در مبحثی ضعیف بود، معلم میتواند تصمیمی متناسب با سطح آزموندهنده اتخاذ کند.
در انتخاب سوال، موضوع دیگری که مطرح است محاسبه سطح توانایی آزموندهنده است، چون بر اساس سطح او، سوال مناسب برای او انتخاب میشود. روشهای مختلفی برای محاسبه و تخمین سطح آزموندهنده وجود دارد، در این پایان نامه از شبکههای عصبی برای تحمین سطح دانش استفاده شده است. سه مدل شبکه عصبی در اینجا مطرح شده است، مدل اول شبکه عصبی هرس جامع است که شبکهای دقیق ولی با طول زمان آموزش بالاست، مدلهای دیگر، شبکه عصبی پرسپترون چند لایه و مدل شبکه عصبی تابع پایه شعاعی است.
واژگان کلیدی: سنجش کامپیوتری ، آزمون های مبتنی بر کامپیوتر ، آزمون انطباقی کامپیوتری، نظریه سوال پاسخ، شبکه بیزین، شبکه عصبی.
1- فصل اول : مقدمه
آزمون یکی از رایجترین راههای آزمایش دانش است. هدف اصلی از آزمایش به منظور تعیین سطح دانش آزموندهنده از یک یا چند موضوع که در آن زمینهی دانش انتخاب شده باشد، است. امروزه از روشهای مختلفی نظیر ارائه مطلب در کلاس ، نوشتن مقالات، پروژهها، و غیره برای ارزیابی دانش استفاده میشود. با این حال، رایجترین ابزار برای سنجش دانش، آزمون و امتحان شفاهی است. از آنجا که در دهههای اخیر کامپیوتر به عنوان بیشترین ابزار آموزش مورد استفاده بوده است، و از آنجایی که استفاده از آن در همه سطوح آموزش و پرورش رایج شده است، آزمون مبتنی بر کامپیوتر بسیار مورد پسند است.
امروزه از انواع روش های آزمونی که در دسترس میباشد، «آزمون انطباقی کامپیوتری» تعادلی حداکثری از دقت و کارایی را فراهم می کند. در طول چند دهه گذشته، «آزمون انطباقی کامپیوتری» در زمینههای آموزش، صدور گواهینامه و پروانه، بطورگسترده استفاده شده است. «آزمون انطباقی کامپیوتری» براساس پاسخ آزمودنی به سوالات پیشین، به صورت پیشروندهای، سوالاتی را انتخاب میکند که دقت آزمون را افزایش دهد. از نظر آزمودنی به نظر میرسد که دشواری سوال با سطح توانایی او انطباق پیدا میکند. به عنوان مثال، اگر آزمودنی در پاسخ به سوالی با دشواری متوسط خوب عمل کند به او سوالی ارائه میشود که دشواری بیشتری دارد و یا اگر در پاسخ به سوال با دشواری متوسط عمل کند سوال سادهتری ارائه میشود. در آزمونهای انطباقی کامپیوتری، در مقایسه با آزمونهای چند گزینهای ثابت که مجموعه ثابتی از سوالات به آزمودنی ارائه میشود، به تعداد سوالات کمتری نیاز دارد تا بتواند به همان نتایج دقیق دست پیدا کند. البته هیچ محدودیتی وجود ندارد که در روش شناسی «آزمون انطباقی کامپیوتری» الزاماً از سوالات چند گزینهای استفاده شود اما از آنجایی که اکثر سوالات چندگزینه‌ای هستند، در بیشتر آزمونهای انطباقی کامپیوتری نیز از این نوع سوالات استفاده میشود.
«آزمون انطباقی کامپیوتری» از اجرای سوالات نامربوط اجتناب میکند. مانند سوالهایی که برای آزمودنی خیلی آسان و یا خیلی سخت هستند و رفتارهایی نامناسب مثل حدس زدن، بی توجهی، و الگوهایی که پاسخ دادن را تحریک میکنند. این سوالات تا حد خیلی زیادی حذف می شوند. زمانی که سوالات به گونه ای ارائه شوند که با سطح توانایی آزمودنی منطبق نباشد و سطح چالش سوال (درجه دشواری) بالا باشد آزموندهنده مضطرب خواهد شد و اگر پایین باشد دچار بی علاقگی خواهد شد. تنها در صورتی فرد تجربه آزمون مناسب را تجربه خواهد کرد که دشواری سوال با سطح تواناییاش منطبق باشد که آزمونهای انطباقی این ویژگی را دارند.
1 - 1 اهداف تحقیق و تبیین صورت مسئله
در این پایاننامه نحوه انتخاب سوال بعدی برای آزموندهنده را با توجه به اینکه بیشترین نزدیکی به سطح دانش او داشته باشد را بهبود داده شده است. برای انتخاب سوال سه تابع برای آن تعریف شده است :
انتخاب سوال بر اساس موضوع درس
انتخاب سوال بر اساس نظریه سوال پاسخ
انتخاب سوال بر اساس تاریخچه سوالها پاسخ داده شده
در تابع اول سوالاتی که به موضوع مورد نظر مربوط است انتخاب میشوند. سپس در تابع با استفاده از نظریه سوال پاسخ و بهبود روشهای محاسبه احتمال پاسخگویی آزموندهنده به سوال، سوالاتی که بیشترین احتمال را دارند که آزمون دهنده آنها را پاسخ دهد انتخاب میشوند. بعد از آنکه سوالات در تابع دوم انتخاب شدند، بر اساس سابقه سوالات، از بین آنها یک سوال انتخاب و از آزموندهنده پرسیده میشود. بهبود فرآیند انتخاب سوال در تابع اول و دوم در این پایاننامه مورد نظر است. در واقع سوالاتی انتخاب خواهد شد که برای آزموندهنده از نظر سنجش دانش او، بهترین هستند.
در این پایاننامه، ساختار آزمون انطباقی کامپیوتری شرح داده خواهد شد که با ترکیب روشهای استفاده شده توسط دیگران و تغییری در پیادهسازی آنها ساخته میشود، پارامترهای مطرح شده در نظریه سوال پاسخ برای انتخاب سوال کافی نمیباشد و نیاز به ویژگیهای دیگری در این تابع است، به همین منظور ساختار سوال را با استفاده از موضوع، مبحث و مفهوم ایجاد کرده و سوالات با این دستهبندی از بانک سوالات انتخاب میشوند و در صورتی که آزموندهنده در مفهومی قوی بود، میتوان آن مفهوم را کنار گذاشته و به مفهوم دیگری مراجعه کرد.
مسئله مهم دیگری که در انتخاب سوالات آزمون انطباقی کامپیوتری باید به آن توجه کرد، برآورد و تخمین سطح دانش آزموندهنده است. روشهای مختلفی برای این برآورد وجود دارد که میتوان به اطلاعات فیشر، روش نیوتن-رافستر ، شبکههای بیزین و شبکه عصبی اشاره نمود. در این پایان نامه این برآورد با استفاده از سه مدل شبکه عصبی که عبارتند از شبکه عصبی هرس جامع، شبکه عصبی پرسپترون چند لایه و شبکه عصبی تابع پایه شعاعی. در این پایان نامه، این سه مدل شبکه عصبی را پیادهسازی و با استفاده از نتایج بدست آمده مقایسه خواهند شد.
این پایان نامه بدین صورت سازماندهی شده است. در فصل دوم در مورد آزمون انطباقی کامپیوتری بحث خواهد شد و در فصل سوم مباحث مرتبط با آزمون انطباقی کامپیوتری که شامل نظریه سوال پاسخ، شبکههای بیزین و کاربرد آن در آزمون انطباقی کامپیوتری و در آخر شبکههای عصبی، بحث خواهد شد. در فصل چهارم روش پیشنهاد شده شرح داده خواهد شد و در فصل پنجم در مورد پیادهسازی روش پیشنهادی صحبت میشود. در فصل ششم، مقایسات و نتیجهگیریها و کارهای آینده صحبت خواهد شد.
2- فصل دوم : آزمون انطباقی کامپیوتری
2 - 1 مقدمه
«آزمون انطباقی کامپیوتری» توسط لرد (1971) ، اوون (1975)، و وایس (1976)، در میان دیگران، برای اندازهگیری سطح توانایی آزموندهندهها با دقت بیشتر از آزمونهای معمولی و با ساخت یک آزمون فردی برای هر آزموندهنده، پیشنهاد شد [1].
«آزمون انطباقی کامپیوتری» از نوع آزمون توسعه یافته برای افزایش بهرهوری برآورد دانش آزموندهنده است. هدف اصلی «آزمون انطباقی کامپیوتری»، بهینه کردن فرآیند یادگیری آزموندهنده است [2]. که برآورد را با انتخاب سوالها برای آزموندهنده بر اساس پاسخهای خود (بنابراین اغلب به آن، آزمون مناسب[1] گفته میشود) در طول مدت آزمون قبلی به دست آورد. درجه دشواری سوال بعدی به طوری انتخاب می شود که برای آزموندهنده نه خیلی سخت باشد و نه خیلی آسان. بطور دقیقتر، سوال طوری انتخاب می شود که آزموندهنده با احتمال 50 درصد سوال را به درستی پاسخ دهد. البته، سوال اول نمیتواند از این راه تعیین شود چرا که در این نقطه هیچ چیز شناخته شدهای در مورد قابلیتهای امتحان بدست نیامده است (سوال با دشواری متوسط انتخاب میشود)، اما انتخاب از سوال دوم به بعد را میتوان برای هر آزموندهنده با سازگاری بهتر انتخاب نمود. با هر پاسخ به سوال ، کامپیوتر به طور بهتری میتواند ارزیابی دانش آزمونگر را انجام دهد.
2 - 2 انواع سنجش انطباقی
2 - 2 - 1 نظریه رایت و داگلاس [3]
رایت و داگلاس (1975) سنجش انطباقی را که در آن سوالها بر اساس سطح دشواری الگوی منطقی راش مقیاس بندی شده بودند پیشنهاد کردند. آنها در این روش به آزمودنی اجازه میدهند سوالاتی را که می خواهند پاسخ دهد، خود انتخاب کند. به آزمودنی آزمونی ارائه میشود که در آن سوالات بر اساس افزایش درجات دشواری مرتب شدهاند و به او گفته میشود که کار خود را با پاسخ دادن به سوالهایی دشوارتر و آسانتر ادامه دهد. نمره آزمودنی برابر است با تعداد سوالهایی که او درست پاسخ داده است، به اضافه تعداد سوالهایی که از نظر او ساده بوده و ارزش پاسخ دادن را نداشتهاند.
2 - 2 - 2 سنجش دو مرحله ای [4]
نوع دیگر سنجش انطباقی، سنجش دو مرحلهای است. نمره آزمودنی در یک آزمون (معمولاً یک آزمون کوتاه جایگزین یک آزمون کوتاه معمولی) تعیین میکند که کدام سطح از آزمون دو مرحلهای باید پذیرفته شود. در برخی از موارد، در آزمون جایگزین، نمره آزمودنی فقط برای ارزشیابی دومین مرحله آزمون به کار برده میشود؛ نه به عنوان بخشی از برآورد نمره واقعی یا مقدار ویژگی آزمودنی. روش لرد (1969)بدین گونه است که اجرای آزمون عادی، با برآورد حاصل از اجرای دومین مرحله ترکیب میشود. لرد با استفاده از مطالعه شبیهسازی، اطلاعات توابع ترکیبهای مختلف طرحهای آزمون عادی و دومین مرحله را مورد بررسی قرار داده است. روش سنجش دو مرحلهای در برآورد ویژگی های افراطی بر سنجش تک مرحلهای مرسوم برتری دارد، اما برای برآورد ویژگیهایی که در حد متوسط قرار دارند، مفید نیستند.
2 - 2 - 3 بر اساس کامپیوتر
فهرست پایان نامه بهبود هوشمندانه انتخاب سوال بر پایه سطح دانش آزمون دهنده در آزمون انطباقی کامپیوتری
فهرست:
فهرست مطالب
چکیده........................................................................................................................................................1
فصل اول : مقدمه. 2
1 - 1 اهداف تحقیق و تبیین صورت مسئله. 3
فصل دوم : آزمون انطباقی کامپیوتری.. 5
2 - 1 مقدمه. 5
2 - 2 انواع سنجش انطباقی.. 5
2 - 3 انتخاب سوال.. 9
2 - 4 پایان دادن به آزمون انطباقی.. 12
2 - 5 کاربردهای آزمون انطباقی کامپیوتری.. 13
2 - 6 ساختار آزمون انطباقی کامپیوتری.. 13
فصل سوم : بحثهای مرتبط.. 18
3 - 1 نظریه سوال پاسخ.. 18
3 - 1 - 1 مقدمه. 18
3 - 1 - 2 مدلهای نظریه سوال پاسخ.. 21
3 - 1 - 3 مدلهای دو ارزشی نظریه سوال پاسخ.. 22
3 - 1 - 4 مدلهای سوال پاسخ تک بعدی برای دادههای دو ارزشی.. 22
3 - 1 - 5 مدلهای سوال پاسخ چند ارزشی.. 27
3 - 1 - 6 نمرهگذاری آزمودنیها بر اساس مدلهای نظریه سوال پاسخ.. 27
3 - 1 -7 بیشنه پسین.. 35
3 - 1 - 8 نمره گذاری به روش پسین مورد انتظار. 37
3 - 1 - 9 مدرج کردن سوالها (برآورد کردن) 39
3 - 1 - 10 برآورد به روش بیشینه درستنمایی.. 40
3 - 1 - 11 برآورد بیشینه درستنمایی با پارامترهای معلوم شخص.... 41
3 - 1 - 12 معادلههای برآورد. 44
3 - 1 - 13 روش جستجوی نیوتن – رافسون. 44
3 - 1 - 14 بیشینه درستنمایی همزمان (JML) 46
3 - 1 - 15 بیشینه درستنمایی حاشیهای (MML) 47
چهار
3 - 1 - 1 6 بیشینه درستنمایی شرطی (CML) 51
3 - 2 شبکههای بیزین.. 55
3 - 2 - 1 مقدمه. 55
3 - 2 - 2 استنتاج با استفاده از توزیع توام کامل.. 56
3 - 2 - 3 رابطه‌های استقلال شرطی در شبکههای بیزی.. 59
3 - 2 - 4 نمایش کارآمد توزیع‌های شرطی.. 60
3 - 2 - 5 یادگیری شبکههای بیزین.. 61
3 - 2 - 6 شبکه های باوری بیزین.. 61
3 - 2 - 7 استفاده از شبکه های بیزین در آزمون انطباقی کامپیوتری.. 63
3 - 3 شبکه های عصبی.. 66
3 - 3 - 1 مقدمه. 66
3 - 3 - 2 کاربردهای شبکه های عصبی.. 69
3 - 3 - 3 مزیتهای شبکههای عصبی.. 69
3 - 3 - 4 محدودیتهای شبکههای عصبی.. 70
3 - 3 - 5 تعمیم شبکه. 71
3 - 3 - 6 استراتژیهای یادگیری.. 71
3 - 3 - 7 پیشبینی با استفاده از شبکههای عصبی.. 72
فصل چهارم : پیشنهاد روش بهبود یافته. 73
4 - 1 مقدمه. 73
4 - 2 مشکلات روشهای قبل.. 74
4 - 3 روش پیشنهادی.. 75
4 - 4 مدلسازی ساختار سوالات بر اساس شبکه بیزین.. 77
4 - 5 مدلسازی آزمون با استفاده از شبکههای عصبی.. 79
4 - 5 - 1 شبکه عصبی پرسپترون ساده 80
4 - 5 - 2 شبکه عصبی پرسپترون چند لایه ) MLP ( 81
4 - 5 - 3 شبکه با تابع پایه شعاعی (RBF) 82
4 - 5 - 4 شبکه عصبی هرس جامع. 83
4 - 6 نتیجه گیری.. 84
فصل پنجم : پیادهسازی.. 85
5 - 1 مقدمه. 85
5 - 2 مجموعه داده. 85
5 - 3 آزمایشات و نتایج.. 85
پنج
5 - 3 - 1 آزمایش اول. 86
5 - 3 - 2 آزمایش دوم. 89
5 - 3 - 3 آزمایش سوم. 95
5 - 3 - 4 نتیجه گیری.. 100
فصل ششم : مقایسه و نتیجهگیری.. 102
6 - 1 مقدمه. 102
6 - 2 نتیجه گیری.. 103
6 - 3 کارهای آتی.. 105
مراجع.. 106
منبع:
[1]
H H Chang and Z Ying, A global information approach to computerized adaptive testing, vol. 20, pp. 213-229, 1996.
[2]
Theo J H M Eggen, Computerized Adaptive Testing Item Selection in Computerized Adaptive Learning Systems. Netherlands: RCEC, Cito/University of Twente, Enschede, 2012.
[3]
Benjamin D Wright & Graham A Douglas, Best Test and Self-Tailored Testing, Research Memorandum, vol. 19, Jun. 1975.
[4]
F M Lord, A Theoretical Study Of Two-Stage Testing, Psychometrika, vol. 36, no. 3, pp. 227-242, Sep. 1971.
[5]
Sanja Maravić Čisar, Dragica Radosav, Branko Markoski, Robert Pinter, Petar Čisar, Computer Adaptive Testing of Student Knowledge, vol. 7, no. 4, 2010.
[6]
Ricardo Conejo, Eduardo Guzmán, Eva Millán, Mónica Trella, José Luis Pérez-De-, SIETTE: A Web–Based Tool for Adaptive Testing, International Journal of Artificial Intelligence in Education, vol. 14, pp. 1-33, 2004.
[7]
T J H M Eggen, Item Selection in Adaptive Testing with the Sequential Probability Ratio Test, Psychological Measurement, vol. 23, pp. 249-261, Sep. 1999.
[8]
S Kullback and R A Leibler, On information and sufficiency, Annals of Mathematical Statistics, vol. 22, pp. 76-86, 1951.
[9]
N R E a W C L J C Principe, Neural and Adaptive Systems:Fundamentals Through Simulations, illustrated ed. Wiley, 2000.
[10]
Oto Vozár, Mária Bieliková, Adaptive Test Question Selection for Web-based Educational System, in , Prague, 2008.
[11]
F Baker, S H Kim, Item response theory : Parameter estimation techniques, 2nd ed. CRC, 2004.
[12]
Ronald K Hambleton, Hariharan Swaminathan, H Jane Rogers, Fundamentals of item response theory. SAGE Publications, 1991.
رایس, سوزان ای امبرتسون، استیون یی / مترجم شریفی، نظریههای جدید روانسنجی برای روانشناسان، چاپ اول، انتشارات رشد، تهران ، 1388 .
[13]
[14]
Wim J van der Linden, Handbook of Modern Item Response Theory, R K Hambleton, Ed Springer, 1997.
مارتین تیهاگان ، هاوارد بی دیموث ، مارک بیل / مترجم کیا سید مصطفی، طراحی شبکه های عصبی، چاپ سوم ، انتشارات دانشگاهی کیان، تهران، 1392.
[15]
[16]
Ben Krose,Patrick van der Smagt, An Introduction to Neural Networks, 8, Ed. University of Amsterdam, 1996.
[17]
F B BAKER, The Basics of Item Response Theory, 2nd ed. United States of America: ERIC Clearinghouse on Assessment and Evaluation.
[18]
Bock , R D & Mislevy, R j, Adaptive EAP estimation of ability in microcomputer environment, Applied Psychological Measurement, vol. 6, pp. 431-444, 1982.
[19]
T M Mitchell, Machine Learning, 1st ed. McGraw Hill, 1997.
[20]
S Russell and P Norvig, Artificial Intelligence: A Modern Approach, 2nd ed. Prentice Hall, 2003.
[21]
J Vomlel, Building Adaptive test using Bayesian networks, vol. 40, p. 333–348.
[22]
E Millán, M. Trella, J L Pérez-de-la-Cruz and R Conejo, Using Bayesian Networks in Computerized Adaptive Tests, in Computers and Education in the 21st Century, 2000, pp. 217-228.
[23]
M Arbib, "The Handbook of Brain Theory and Neural Networks," 1998.
[24]
J Cristianini , J Shawe-Taylor, "An introduction to support vector machines," 2000.
م البرزی، آشنایی با شبکه های عصبی، انتشارات علمی دانشگاه صنعتی شریف، تهران، 1380.
[25]
[26]
Neural Network Applications. [Online]. HYPERLINK "http://www.ip-atlas.com/pub/nap/" http://www.ip-atlas.com/pub/nap/
سید محسن حائری، ناصر ساداتی،رضا مهین روستا، استفاده از شبکه عصبی در پیشبینی رفتار تنش کرنش خاکهای رسی، پنجمین کنفرانس بین المللی عمران، مشهد، 1379.
[27]
[28]
S Haykin, Neural Networks : A Comprehensive Foundation. Macmillan College Publishing Company, 1999.
[29]
Neural Network Toolbox User's Guide, 1992-2002.
[30]
J A Leonard and M A Kramer, Radial-basis function networks for classifying process faults, vol. 31, 1991.
[31]
M D Buhmann , M J Ablowitz, adial basis functions: Theory and implementations, 2003.
[32]
J Elman, Learning and development in neural networks: the importance of starting small, vol. 48, pp. 71-99, 1993.