پایان نامه روش تصمیم گیری دسته جمعی جهت بهبود عملکرد الگوریتم نزدیک ترین همسایه

  • Code: # 31069

  • تعداد صفحات: 60
  • فرمت فایل: word
  • سال: 1390
  • مقطع: کارشناسی ارشد
  • دسته بندی: مهندسی کامپیوتر
قیمت: ۳۵,۰۰۰ تومان
۶۴,۰۰۰ تومان
دانلود فایل
  • خلاصه
  • فهرست و منابع
  • خلاصه پایان نامه روش تصمیم گیری دسته جمعی جهت بهبود عملکرد الگوریتم نزدیک ترین همسایه

    پایان‌نامه کارشناسی ارشد در رشته مهندسی کامپیوتر (هوش مصنوعی)

    چکیده

    نتایج آزمایشات نشان داده است که ترکیب چندین دسته ­بند[1] می­تواند کارایی الگوریتم­ های متنوع را بالا ببرد. روش­های تصمیم­گیری دسته­جمعی[2] بسیاری ارائه شده­اند که با استفاده از آن­ها، خطای روش­های مختلف دسته­بندی[3] کاهش یافته است. با این حال، این گونه روش­ها نتوانسته­اند کارایی الگوریتم نزدیک­ترین همسایه[4] را افزایش دهند. در این پایان­نامه یک روش تصمیم­گیری دسته­جمعی ارائه شده است تا با استفاده از ترکیب وزن­دار چندین دسته­بند، کارایی را بهبود بدهد. در این روش هر کدام از این دسته­بند­ها یک دسته ­بند نزدیک­ترین همسایه است که تنها از زیر مجموعه­ای از مجموعه ویژگی­ها[5] نمونه­ها استفاده می­کند. در ادامه، الگوریتم به هر کدام از آن­ها یک وزن اختصاص می­دهد و در نهایت از یک مکانیسم رای­گیری وزنی[6] برای تعیین خروجی مدل دسته­جمعی استفاده می کند.

    فصل اول

    مقدمه

    در دنیای امروزی حجم اطلاعات دیجیتالی به صورت روز افزونی در حال افزایش است. در همین راستا، به جهت مدیریت و بررسی علمی این اطلاعات، نیاز به پردازش هوشمندانه و خودکار این اطلاعات بیش از پیش احساس می شود.

    یکی از مهم ترین این پردازش ها که در فناوری اطلاعات و ارتباطات مورد نیاز است، دسته­بندی خودکار این اطلاعات می باشد. دسته بندی در مسائل متنوعی در فناوری اطلاعات به کار گرفته می شود، در مسائلی مانند امنیت اطلاعات، شناسایی نفوزگری در شبکه، دسته بندی کاربران بر اساس اطلاعات شخصی، پردازش تصویر و در واقع شناسایی هر گونه الگو بر اساس نمونه­ها و اطلاعات پیشین. این پردازش می تواند دسته[1]­ی نمونه­های جدید که به مجموعه اطلاعات اضافه می شود را پیش بینی نماید. از این رو در هوش مصنوعی توجه خاصی به توسعه انواع روش­های دسته­بندی هوشمند و خودکار شده است.

     

    دسته­ بندی یکی از مهم­ترین شاخه‌های یادگیری ماشین[2] است. دسته­بندی به پیش­بینی برچسب دسته[3] نمونه[4] بدون برچسب، بر اساس مجموعه نمونه­های آموزشی برچسب­دار (که قبلا به با کمک یک کارشناس دسته­ بندی  شده­اند) گفته می­شود. درواقع دسته­بندی روشی است که هدف آن، گروه­بندی اشیا به تعدادی دسته یا گروه می­باشد. در روش‌های دسته­بندی، با استفاده از اطلاعات بدست آمده از مجموعه نمونه­های آموزشی، از فضای ویژگی­ها[5] به مجموعه برچسب دسته­ها نگاشتی بدست می آید که بر اساس آن، نمونه­های بدون برچسب به یکی از دسته­ها نسبت داده می­شود.

    در مسائل دسته­بندی، هر نمونه توسط یک بردار ویژگی[6] به صورت X= معرفی می­شود که نشان دهنده­ی مجموعه مقادیر ویژگی­های نمونه­ی­ مربوطه است. بر اساس این بردار، نمونه­ی ­ X دارای m خصوصیت یا ویژگی است. این ویژگی­ها می­توانند مقادیر عدد صحیح، اعشاری ویا مقادیر نامی[7] به خود اختصاص بدهند. همچنین این نمونه دارای یک برچسب C است که معرف دسته­ای­ است که نمونه­ی­ X به آن تعلق دارد.

    تفاوت روش­ها دسته­بندی در چگونگی طراحی نگاشت است. در بعضی از آن­ها با استفاده از داده­های آموزشی مدلی ایجاد می­شود که بر اساس آن فضای ویژگی­ها به قسمت­های مختلف تقسیم می­شود که در آن، هر قسمت نشان دهنده­ی یک دسته است. در این گونه روش­های دسته­بندی از مدل برای پیش­بینی دسته­ی­ نمونه بدون برچسب استفاده شده و از نمونه­­های آموزشی به طور مستقیم استفاده نمی شود. یک نمونه از این دسته­بندها، دسته­بندهای احتمالی[8] می­باشد. این گونه الگوریتم­ها، از استنتاج آماری برای پیدا کردن بهترین دسته استفاده می­کنند؛ برخلاف سایر دسته­بند­ها که فقط بهترین کلاس را مشخص می­کنند الگوریتم­های احتمالی به ازای هر دسته موجود یک احتمال را به عنوان تعلق نمونه به آن مشخص می­کنند و کلاس برنده، بر اساس بیشترین احتمال انتخاب می­شود. روش­های احتمالی در یادگیری ماشین معمولا با نام الگوریتم­های آماری نیز شناخته می­شوند. در گروهی دیگر از روش­های دسته بندی، نمونه براساس خود مجموعه نمونه­ها و بدون ساختن مدل، به پیش­بینی دسته­ی نمونه مورد نظر می­پردازد. به این گونه الگوریتم های دسته­بندی، نمونه- بنیاد[9] گفته می­شود.

    تاکنون الگوریتم ­های متفاوتی به عنوان دسته­بند ارائه شده­اند. از جمله­ی­ آن­ها می­توان به الگوریتم نزدیک ترین همسایه­ها[10] [1] ، دسته­بند بیز[11][2]، ماشین بردار پشتیبان[3] و شبکه عصبی[12][4] اشاره کرد.

    1-2-

    اولین موضوعی که در مورد هر الگوریتم مورد توجه قرار می­گیرد، کارایی و دقت آن الگوریتم است. در هوش مصنوعی، معیار­های متفاوتی وجود دارند که در مسائل مختلف و زیر شاخه­های این علم استفاده می­شود. در مورد کارایی یک دسته­بند­، به عنوان یکی از مسائل اصلی هوش مصنوعی، روش­های متنوعی وجود دارد که در این قسمت بررسی شده­اند.

    معیار کارایی نظر­گرفته شده برای یک دسته­ بند، ارتباط مستقیمی با کاربرد و ضمینه کار خاص آن دسته­بند دارد. بنابراین در مسائل متفاوت، ممکن است معیار­های مختلفی برای اندازه­گیری کارایی الگوریتم در نظر­گرفته شود. همچنین همان طور که مشخص است، یک دسته­بند که بتواند برای همه مسائل موجود بهترین جواب را ارائه دهد، وجود ندارد.

    در بررسی آماری کارایی یک دسته­بند، از یک مجموعه که شامل تعداد مشخصی نمونه­ی­ آموزشی دارای برچسب است استفاده می­شود. برای این کار، قسمتی از این نمونه­ها و یا تمام مجموعه،­ به عنوان مجموعه آموزشی[13]، در اختیار دسته­بند برای آموزش قرار می­گیرد. پس از آموزش، دسته بند به وسیله­ی­ زیر­مجموعه­ای­ از نمونه­ها، به عنوان نمونه­های­ آزمایشی، محک زده می­شود. نمونه­ها­ی موجود در مجموعه­ی­ آزمایشی، بسته به نوع آزمون کارایی، می­تواند عضو مجموعه آموزشی بوده و یا متفاوت با آن باشند.

    نرخ دسته­ بندی[14] یا صحت[15] پرکاربردترین و ساده­ترین معیار اندازه­گیری کارایی هر دسته­بند است. این معیار برابر است با نسبت تعداد نمونه­های درست دسته­بندی شده به تعداد کل نمونه­ها. براساس این تعریف، نرخ خطای دسته­بندی از رابطه زیر بدست می­آید:

    1     

    مقادیر دقت[16] و بازخوانی[17] نیز معیارهای مناسبی برای ارزیابی دسته­بندها می­باشند. که اخیرا برای ارزیابی رقابت[18] بین اشتباه-مثبت[19] و درست-مثبت[20] استفاده می­شود. در ادامه این معیار­ها معرفی می­شود.

    معیاردقت : احتمال مثبت بودن نمونه­هایی که مثبت اعلام شده­اند.

    2                                

    معیار بازخوانی : احتمال مثبت اعلام کردن نمونه­های دسته مثبت.

    3                  

    معیار  اختصاص[21]: احتمال منفی اعلام کردن  نمونه­های دسته منفی.

    4                             

    که در این معیارها، دسته مثبت، دسته مورد بررسی است و دسته منفی به سایر دسته­ها گفته می­شود.

    (تصاویر و فرمول ها در فایل اصلی موجود است)

    یک روش برای ارزیابی آماری دسته­بند، تصدق متقابل[5] می­باشد. در این تکنیک برای ارزیابی کارایی دسته­ بند، نمونه­ها را به صورت تصادفی به دو گروه که مکمل یکدیگر هستند، تقسیم می­کنند. با یک گروه سیستم را آموزش داده و با گروه دیگر سیستم آموزش دیده را مورد آزمایش قرار می­دهند. با این کار از تطبیق بیش از حد[23] مدل بر روی داده­های آموزشی جلوگیری می­شود و نتایج بدست آمده از ارزیابی، دارای درجه اطمینان بیشتر خواهد بود. برای اطمینان بیشتر از نتایج، تصدیق متقابل در چندین مرحله صورت تکرار شده و در هر مرحله، از تقسیم­بندی متفاوتی برای نمونه­ها استفاده می­شود. در پایان از نتایج تمامی تکرار آزمایش­ها میانگین­گیری صورت می­گیرد.

    در ادامه روش­های مختلف تطبیق متقابل توضیح داده می­شود.

    تصدیق زیر گروه تصادفی[24]: در این روش، نمونه­ها به صورت تصادفی به دو گروه آموزشی[25] و آزمایشی[26] تقسیم می­شوند. سپس دسته­بند به وسیله­ی­ نمونه­های آموزشی، آموزش داده می­شود و با استفاده از مجموعه دیگر آزمایش شده و کارایی محاسبه می­شود. این عملیات چندین بار انجام می­گیرد و در نهایت میانگین آن­ها به عنوان کارایی دسته­بند ارائه می­شود. با توجه به تصادفی انتخاب شدن مجموعه­های آموزشی و آزمایشی، مهم­ترین مشکل این روش امکان عدم انتخاب بعضی از نمونه­ها به عنوان عضو یکی از دو گروه و یا انتخاب بیش از یک بار بعضی از نمونه­ها می­باشد.

    تصدیق متقابل k قسمت[27]: در روش ابتدا مجموعه نمونه­ها به K دسته تقسیم می­شوند. در هر مرحله نمونه­های k-1 دسته به عنوان مجموعه آموزشی در نظر گرفته می­شود و با استفاده از یک دسته دیگر کارایی سیستم دسته­بند ارزیابی می­شود. در نهایت کارایی سیستم برابر با میانگین کارایی در همه مراحل می­شود.  در این روش از همه نمونه­ها برای آموزش و آزمایش استفاده می­شود.

    تصدیق یکی در مقابل بقیه[28]: یک روش دیگر، تصدیق یکی در مقابل بقیه است. در این روش، هر نمونه یک بار به عنوان نمونه آزمایشی انتخاب می­شود و از سایر نمونه­­ها برای آموزش استفاده می­شوند. این روش بر روی تمامی نمونه­ها انجام می­شود. در پایان، کارایی الگوریتم برابر نسبت تعداد نمونه­های درست دسته­بندی شده به کل است.

    (تصاویر و فرمول ها در فایل اصلی موجود است)

    یکی از الگوریتم­ های معروف دسته­ بندی، الگوریتم نزدیک همسایه است؛ با این که از معرفی آن چندین دهه می­گذرد، این روش همچنان محبوب بوده و کاربرد بسیاری در مسائل مختلف دارد. دلیل این موضوع سادگی پیاده­سازی و کارایی بالا این روش است. به علاوه، این الگوریتم را به سادگی می­توان در مسائل مختلف به کار برد. الگوریتم نزدیک­ترین همسایه از یک قانون بسیار ساده در عمل دسته­بندی استفاده می­کند. نمونه­هایی که شباهت بیشتری با یکدیگر دارند(در فضای ویژگی­ها در نزدیکی یکدیگر قرار گرفته­اند)، به احتمال بالا در یک دسته قرار دارند. بر طبق این، در الگوریتم نزدیک­ترین­ همسایه، برای بدست آوردن دسته­ی­ نمونه­ی­ پرس­و­جو شده[29]، بر اساس یک معیار شباهت(تفاوت)[30]، نزدیک­ترین­ نمونه، از مجموعه­ی­ نمونه­های آموزشی تعیین می­شود. سپس الگوریتم دسته­ی­ این نمونه را به عنوان دسته­ی­ نمونه­ی پرس­و­جو شده اعلام می­کند.

    (تصاویر در فایل اصلی موجود است )

    به عنوان مثال، شکل 1 نحوه بدست آوردن دسته­ی نمونه­ی­ پرس­وجو شده را توسط الگوریتم نزدیک­ترین­ همسایه، در یک فضای ویژگی دو بعدی و در مسئله­ای­ با سه دسته نمایش می­دهد. در این مثال، از معیار فاصله اقلیدسی برای بدست آوردن نزدیک­ترین همسایه استفاده شده است.

    در مثال شکل 1 ، دسته­بند­ نزدیک­ترین همسایه، نمونه­ی­ پرس­وجو شده را به دسته دوم که با علامت دایره(قرمز) مشخص شده است، انتساب می­دهد.

    1-5-

    همان طور که گفته شده الگوریتم نزدیک­ترین همسایه به دلیل سادگی، کارایی بالا و تعمیم­پذیری مناسب در مسائل مختلف استفاده می­شود. اما این روش گذشته از کارایی بالا دارای کبودهایی نیز هست که از کارایی آن می­کاهد. این روش به نمونه­های­ نویزی و خارج از محدوده­ی­ دسته[31] حساس است و وجود این گونه نمونه­ها تاثیر مخربی در کارایی این روش دارد. همچنین این روش برای تعیین نزدیک­ترین نمونه اموزشی به نمونه­ی­ پرس­وجو شده، نیاز به یک معیار شباهت/تفاوت دارد. انتخاب این معیار در فضا­های ویژگی متنوع، می­تواند در کارایی دسته­بند نزدیک­ترین همسایه موثر باشد.

    نکته دیگر در مورد کارایی این روش، حساس بودن آن به مجموعه ویژگی مسئله است. این مجموعه در بدست آوردن نمونه­ای که بیشترین شباهت را با نمونه­ی پرس­جو شده دارد به کار می­رود. از این رو، استفاده از ویژگی­های نامناسب از کارایی این روش می­کاهد.

  • فهرست و منابع پایان نامه روش تصمیم گیری دسته جمعی جهت بهبود عملکرد الگوریتم نزدیک ترین همسایه

    فهرست:

    فصل اول   1

    مقدمه  1

    1-1- مقدمه. 2

    1-2- روش­های دسته­بندی.. 3

    1-3- ارزیابی دسته­بند. 4

    1-4- تصدیق متقابل.. 6

    1-5- الگوریتم نزدیک­ترین همسایه. 7

    1-7- سر فصل­ها 9

    فصل دوم  10

    الگوریتم نزدیک­ترن همسایه و روش­های موجود برای بهبود آن.. 10

    2-1-الگوریتم نزدیک­ترین همسایه. 11

    2-2- محدودیت­های روش نزدیک­ترین همسایه. 14

    2-3- مروری بر راه­کارهای ارائه شده در گذشته برای بهبود الگوریتم نزدیکترین همسایه. 15

    فصل سوم  18

    روش­های تصمیم­گیری دسته­جمعی.. 18

    3-1- مقدمه. 19

    3-2- روش­های متفاوت برای ایجاد یک تصمیم­گیر دسته­جمعی.. 21

    3-3- ساختارهای مختلف در روش تصمیم­گیری دسته­جمعی.. 22

    3-4- رای­گیری بین دسته­بندها 23

    3-5- معرفی چند روش تصمیم­گیری دسته­جمعی پرکاربرد. 24

    فصل چهارم  28

    روش پیشنهادی برای دسته­جمعی کردن الگوریتم نزدیک­ترین همسایه. 28

    4-1- مقدمه. 29

    4-2- ایده­ی اصلی.. 30

    4-3- دسته­جمعی کردن مجموعه دسته­بندهای وزن­دار نزدیک­ترین همسایه. 31

    فصل پنجم   39

    نتایج آزمایشات پیاده سازی و نتیجه­گیری.. 39

    5-1- نتایج.. 40

    فصل ششم   45

    نتیجه­گیری   45

    فهرست منابع.. 48

    Abstract  1

     

    منبع:

    Nearest Neighbor Pattern Classification, T. Cover, and P. Hart, , IEEE Transactions on Information Theory,1967, 13(1): 21-27.

    Full Bayesian network Classifiers. Zhang, Jiang Su and Harry. ACM, 2006, international Conference on Machine Learning, Vol. 148, pp. 897-904.

    A Simple Decomposition Method for Support Vector Machines. Chih-Wei Hsu and Chih-Jen Lin.  ACM, 2002, Machine Learning , Vol. 46.

    Neural networks for classification: a survey. Zhang, Guoqiang Peter. 2000, IEEE Transactions on Systems, Man, and Cybernetics, Part C , pp. 451-462.

    Kohavi, Ron.A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. 1995. pp. 1137-1145.

    Locally adaptive metric nearest neighbor classification, C. Domeniconi, J. Peng, D. Gunopulos, IEEE Transaction on Pattern Analysis and Machine Intelligence 24 (2002) 1281–1285.

    Improving nearest neighbor rule with a simple adaptive distance measure,J. Wang, P. Neskovic, L.N. Cooper, Pattern Recognition Letters 28 (2007) 207–213.

    Flexible Metric Nearest-neighbor Classification, J. Friedman, Technical Report 113, Department of Statistices, Stanford University, 1994.

    A method of learning weighted similarity function to improve the performance of nearest neighbor, M. Zolghadri Jahromi, E. Parvinnia, R. John, Information Sciences 179 (2009)

    Neighborhood rough set based heterogeneous feature subset selection, Q. Hu, D. Yu, J. Liu, C. Wu, Information Sciences 178 (2008) 3577–3594.

    A new approach to attribute reduction of consistent and inconsistent covering decision systems with covering rough sets, G. Chen, C.Z. Wang, Q.H. Hu Information Sciences 177 (2007) 3500–3518.

    A novel feature selection approach: combining feature wrappers and filters, O. Uncu, I.B. Turks, Information Sciences 177 (2007) 449–466.

    A cost sensitive learning algorithm for intrusion detection, S. Ghodratnama, M. R. Moosavi, M. Taheri, and M. Zolghadri Jahromi, Proceedings of ICEE 2010, art. no. 5507006: 559-565.

    Bagging predictors, L.Brreima, Machine Learning 24:123-140, 1996.

    Experiments with a new boosting algorithm. Y. Freund, and R. Schapire. Thirteenth International Conference on Machine Learning, 1996.

    Active Learning for kNN based on Bagging Features, Shuo, S., Yuhai, L., Yuehua, H., Shihua, Z.,and Yong, L., Fourth International Conference on Natural Computation ICNC 2008 7, art. no. 4667945: 61-64.

    Boosting k-nearest neighbor classifier by means of input space projection,  García-Pedrajas, and Ortiz-Boyer, Expert Systems with Applications, 2009 36(7): 10570-10582.

    Nearest Neighbor Ensemble, C. Domeniconi, and B. Yan, in Proceedings of the 17th International Conference on Pattern Recognition, Cambridge, UK, August 23-26, 2004.

    A Proposed Method for Learning Rule Weights in Fuzzy Rule Based Classification Systems, M. Zolghadri Jahromi, and M. Taheri, Fuzzy Sets and Systems, 2008, 159 (4): 449–459.

    A proposed method for learning rule weights in fuzzy rule based classification systems , M. Zolghadri Jahromi and M. Taheri, Fuzzy Sets and Systems 159, 449–459, 2008.

    A method of learning weighted similarity function to improve the performance of nearest neighbor , M. Zolghadri Jahromi and E. Parvinnia and R John, Information Sciences 179, 2964–2973, 2009.

    A cost sensitive learning algorithm for intrusion detection , S. Ghodratnama and M. R. Moosavi and M. Taheri and M. Zolghadri Jahromi, Proceedings of ICEE 2010, May 11-13, 2010.

    A Novel Piecewise Linear Clustering Technique Based on Hyper Plane Adjustment , M. Taheri and E. Chitsaz and S. D. Katebi and M. Zolghadri Jahromi, Communications in Computer and Information Science, 2009, Volume 6, Part 1, 1-8.

    UCI Machine Learning Repository , http://www.ics.uci.edu/~mlearn/databases/

    A Novel Prototype Reduction Method for the K-Nearest Neighbor Algorithm with K ≥ 1,T. Yang, L. Cao, and C. Zhang,  Lecture Notes in Computer Science, 2010, vol. 6119: 89-100.

    http://www.cs.waikato.ac.nz/ml/weka

  • ثبت سفارش
    عنوان محصول
    قیمت