خلاصه پایان نامه رفع ماتی از تصاویر چهره به منظور استفاده در یک سیستم بازشناسی چهره
پایاننامه ارشد جهت اخذ درجه کارشناسی ارشد
چکیده
بازشناسی چهره در زمینههای بیومتریک، بینایی ماشین و تشخیص الگو بوده و دارای کاربرد گستردهای از جمله مسائل مربوط به سیستمهای امنیتی میباشد. از آنجا که عوامل مختلفی از جمله نحوه نورپردازی محیط، نویز، و ماتی تصویر در عملکرد روشهای بازشناسی چهره کم و بیش تاثیرگذارند، لذا بررسی روشهای رفع ماتی از تصاویر چهره مورد استفاده در الگوریتمهای بازشناسی چهره، به منظور ارتقا صحت بازشناسی، اهمیت ویژهای دارد.
با توجه به این موضوع که مسأله اساسی در کلیه روشهای بهسازی تصاویر، پیبردن به نوع و مشخصات تابع گسترش نقطهای (PSF) مربوط به عامل مات کننده تصاویر است، لذا در قسمتی از روش پیشنهادی در این پایاننامه با فراگیری دانش قبلی از روی نمونه‌های آموزش که شامل تصاویر چهره مات شده به صورت مصنوعی میباشند، به شناسایی PSF عامل مات کننده تصاویر چهره، پرداخته شده است. طبق روش پیشنهادی در این پایاننامه ابتدا در مرحله آموزش، مجموعهای از تصاویر چهره مربوط به پایگاه داده ORLرا با استفاده از چند PSF مشخص، به صورت مصنوعی مات کرده و سپس به آنها نویز سفید با توان متوسط dB30 اضافه میکنیم. حال، ویژگیهایی متشکل از اطلاعات بیشینه مربوط به اندازه مولفههای فرکانسی تصاویر مات شده با PSF مشابه را در یک دسته قرار داده و با استفاده از شبکه عصبی MLP به فراگیری دانش از روی فضای ویژگی ایجاد شده، میپردازیم. سپس در مرحله آزمایش تصویر چهره مات ورودی که دارایPSF مات کننده نامشخص میباشد را به فضای ویژگی مرحله آموزش نگاشت داده و به استخراج ویژگیهای قبلی از روی تصویر نگاشت یافته میپردازیم. حال به کمک شبکه عصبی آموزش داده شده قبلی، نزدیکترین دسته به این تصویر را از بین دسته‌های آموزش داده شده انتخاب، و PSF مات کننده تصاویر مربوط به این دسته را به عنوان PSF مات کننده تصویر چهره مات ورودی، در نظر میگیریم. در ادامه، با توجه به این PSF و با استفاده از روش دیکانولوشن (عکس پیچش) به بهسازی تصویر ورودی پرداخته و تصویر بهسازی شده را جهت انجام عمل بازشناسی به سیستم بازشناسی چهره تحویل میدهیم.
طی روش پیشنهادی در این پایاننامه با ایجاد فضای ویژگی خاص متشکل از اطلاعات بیشینه مربوط به اندازه مولفههای فرکانسی تصاویر مات، موفق به بالابردن دقت شناسایی PSF (دقت شناسایی بالاتر از %80 در شرایط نویزی) و در نتیجه افزایش دقت سیستم بازشناسی چهره (افزایش دقت سیستم بازشناسی از %833/19 به %837/90) توسط این روش شدهایم. همچنین استفاده از شبکه عصبی جهت شناسایی PSF، از یک طرف باعث کاهش 172/41 درصدی متوسط زمان اجرای این روش نسبت به روشهای نوین ارائه شده در این زمینه شده، و از طرف دیگر قابلیت پیادهسازی سختافزاری این روش را نسبت به روشهای موجود افزایش داده است.
کلمات کلیدی: رفع ماتی از تصاویر چهره، سیستمهای بازشناسی چهره، تابع گسترش نقطهای، یادگیری فضای ویژگی، شبکه عصبی MLP
1-1 مقدمه
موضوع بازشناسی چهره به طور وسیع درحوزههایی از قبیل پردازش تصویر، بینایی ماشین، تشخیص الگو، شبکههای عصبی و یادگیری ماشین مطرح میشود. سیستم بازشناسی چهره یک سیستم بیومتریک (زیست سنج)[1] است که با استفاده از روشهای هوشمند و خودکار، هویت یک انسان را شناسایی و یا تایید مینماید.
روشهای متعددی برای بازشناسی چهره ارائه شده است که این روشها در حالت کلی به دو دستهی زیر تقسیم میشوند:
الف) روشهای مبتنی بر الگو
روشهای مبتنی بر الگو براساس مقایسه تصویر ورودی با مجموعهای از الگوهای مربوط به ساختار چهره عمل میکنند. این الگوها با استفاده از ابزارهای آماری مانند ماشین بردار پشتیبان (SVM[2])، آنالیز اجزای اصلی (PCA[3])، تجزیه و تحلیل جداکننده خطی (LDA[4]) و تجزیه و تحلیل اجزای مستقل (ICA[5]) از روی تصاویر چهره مربوط به مجموعه آموزش ایجاد میشوند.
ب) روشهای هندسی مبتنی بر مدل
در روشهای هندسی مبتنی بر مدل، هدف این است که یک مدل از چهره ارائه شود که تفاوتهای چهره را نشان دهد. در این روشها چهره افراد با مدلی از پیش تعیین شده تطبیق داده شده و دادههای بدست آمده به عنوان ویژگیهای استخراج شده ذخیره میشوند.
از مزایای سیستم بازشناسی چهره میتوان به قدرت مناسب شناسایی، بی زیان، دوستانه و طبیعی بودن روش برای شناخت افراد اشاره کرد. در مقابل باید ذکر کرد که متأسفانه شناسایی خودکار چهره به کمک ماشین هنوز به صورت یک چالش علمی باقی مانده است. از جمله دلایل این عدم موفقیت میتوان به حجم زیاد دادههای تصویر و به تبع آن دامنه وسیع تغییرات این دادهها و همچنین ذات خود دادهها اشاره کرد. به عنوان مثال سیستم شناسایی باید به شرایط سنی حساسیت کمی داشته باشد و در مقابل آرایش صورت، مدل مو، حالتهای صورت، تغییر زاویه صورت و ... مقاوم باشد. به عوامل ذکر شده میتوان ماتی تصویرگرفته شده، شرایط نوری، پس زمینه تصاویر و دیگر پارامترهای تصویربرداری را نیز اضافه کرد.
1-2 بیان مساله
به صورت کلی یک سیستم بازشناسی چهره از قسمتهای نشان داده شده در شکل (1-1) تشکیل میشود.
شکل (1-1): روند نمای یک سیستم بازشناسی چهره (برگرفته از سایت www.face-rec.org)
طبق روند نمای نمایش داده شده در شکل (1-1)، اطلاعات ورودی به یک سیستم بازشناسی چهره شامل ویدئو یا تصویری از فرد ناشناس در کنار اجسام و اشیاء دیگر است. برای بازشناسی این افراد توسط سیستم بازشناسی مورد نظر، باید ناحیه مربوط به چهره اشخاص را جدا کنیم. بدین منظور از یک سیستم تشخیص چهره استفاده میشود. از طرفی با پیشرفت روشهای تشخیص چهره عوامل مات کننده تصویر برروی عملکرد سیستمهای تشخیص چهره تاثیر قابل توجهی نخواهند داشت[1]. لذا همانطورکه در شکل (1-2) مشاهده میکنید، ناحیه مربوط به چهره شخص در سه تصویر شفاف، تصویر با مات شدگی ضعیف، و تصویر با مات شدگی شدید، به درستی تشخیص داده شده است. بدین ترتیب برای تشخیص محل چهره نیازی به انجام پیش پردازش نداریم.
اما از آنجا که ماتی تصاویر، باعث تضعیف دقت بازشناسی میگردند، لذا رفع ماتی از این تصاویر قبل از مراحل استخراج ویژگی و طبقهبندی، تا حد زیادی به افزایش دقت بازشناسی کمک خواهد کرد.
شکل (1-2): مثالی از تشخیص چهره در تصاویر مات با استفاده از روش بیان شده در [1]
(الف) تصویر با مات شدگی شدید (ب) تصویر با مات شدگی ضعیف (ج) تصویر شفاف
1-3 ضرورت انجام تحقیق و هدف پایاننامه
همانطورکه گفته شد سیستمهای بازشناسی چهره در مورد تصاویری که مات هستند بسیارضعیف عمل میکنند. بنابراین بهسازی چنین تصاویری کمک زیادی به افزایش دقت بازشناسی آنها میکند. در این پایاننامه هدف ما طراحی و شبیهسازی روشی جهت بهسازی تصاویر چهره مات شده به منظور بهبود کارایی سیستمهای بازشناسی چهره است. با توجه به مروری که در فصل بعد برای این روشها آورده شده است ملاحظه میشود که تعداد روشهای موجود برای بهسازی تصویر چهره مات شده به منظور افزایش کارایی سیستمهای بازشناسی چهره بسیار اندک است.
ساختار بقیه پایاننامه به این صورت است که در فصل2 به مروری بر روشهای موجود میپردازیم؛ در فصل3 به معرفی روش پیشنهادی در این پایاننامه میپردازیم. در فصل4 نیز نتایج حاصل از شبیهسازی روش پیشنهادی جهت شناسایی تابع گسترش نقطهای[6] (PSF) مات کننده تصاویر چهره ورودی مات و رفع ماتی از آنها به منظور کاربرد در یک سیستم بازشناسی چهره بررسی میشود. فصل5 به بیان نتیجهگیری و پیشنهاد راهکار آینده اختصاص داده شده است.
همانطور که گفته شد تمام شرایط محیطی مثل تغییر نور محیط یا مات شدن تصویر، در روشهای بازشناسی چهره تاثیر گذار است، لذا بررسی تاثیر روشهای رفع ماتی تصاویر ورودی در ارتقاء صحت بازشناسی الگوریتمهای بازشناسی چهره اهمیت ویژهای خواهد داشت.
ماتی تصاویر چهره وارد شده به سیستمهای بازشناسی چهره، دو مشکل مهم برای بازشناسی این تصاویر ایجاد میکند. اولا همانطور که در شکل (2-1) دیده میشود ویژگیهای تصویر هر شخص به طور جدی تحت تأثیر عوامل مات کننده تصویر، تغییر میکنند؛ دوما تصاویر چهره اشخاص مختلف در هنگام ماتی به هم شباهت بیشتری پیدا میکنند (شکل (2-1)) و بنابراین بازشناسی این تصاویر دارای خطای قابل توجهی میباشد.
شکل (2-1): تاثیر عوامل مات کننده برروی تصاویر چهره [20]
با وجود اینکه این دو مشکل دقت سیستمهای بازشناسی چهره را به مقدار زیادی کاهش میدهند، اما روشهای اندکی جهت مقابله با این مشکلات ارائه شده و هیچ یک از آنها نتایج رضایت بخشی را در از بین بردن ماتی مربوط به تصاویر چهره خصوصا در کاربرد جهان واقعی، و افزایش دقت بازشناسی دربر نداشتهاند.
در این فصل به منظور آشنایی بیشتر با روشهای رفع ماتی از تصاویر، ابتدا در بخش 2-2 روشهای نوین رفع ماتی از تصاویر عمومی را بررسی میکنیم. سپس در بخش 2-3 به بررسی روشهای رفع ماتی از تصاویر چهره میپردازیم.
1-4 روش های رفع ماتی از تصاویر عمومی
موضوع رفع ماتی تصویر طور وسیع در حوزههایی از قبیل پردازش تصویر، گرافیک کامپیوتری، و بینایی ماشین مطرح میشود. در حال حاضر رفع ماتی تصویر از جنبههای گوناگونی مانند نوع کاربرد تصاویر (پزشکی، صنعتی و....)؛ نوع عامل مات کننده (حرکت دوربین یا سوژه، خارج زوم دوربین بودن سوژه نسبت به دوربین، عدم تنظیم لنز دوربین، نویز، شرایط محیطی نامساعد و....)؛ کاربرد دنیای واقعی یا کامپیوتری، سرعت عملکرد، پیچیدگی محاسبات و ... مورد ارزیابی قرار میگیرد.
اولین روشها در زمینه رفع ماتی از تصاویر، تکیه بر روش دیکانولوشن (عکس پیچش) [4-2] دارد که شامل الگوریتم لوسی– ریچاردسون [6-5]، فیلتر وینر[7] [7]، و فیلتر مبتنی بر دیکانولوشن کوچکترین مربعات[8] میباشد.
روشهای مرسوم جهت رفع ماتی تصویر به دو دسته کلی شامل روشهای رفع ماتی متکی بر دیکانولوشن و روشهای رفع ماتی مبتنی بر دیکانولوشن کور تقسیم میشوند .
در روشهای رفع ماتی متکی بر دیکانولوشن فرض بر آن است که ما عامل مات کننده و مشخصات آن را میشناسیم. حال این عامل که با تصویر اصلی کانوالو شده را از طریق عکس عمل کانولوشن یعنی دیکانولوشن، حذف میکنیم. از جمله این روشها میشود به روش فیلتر وینر و فیلتر حذف نویزگوسی شعاعی اشاره کرد.
در روشهای رفع ماتی متکی بر دیکانولوشن کور، عامل مات کننده مشخص نیست و ما بر اساس یک الگوریتم یادگیری سعی میکنیم به تخمینی از این عامل برسیم. مهم ترین نقص این روشها وابستگی زیاد کیفیت رفع ماتی به تخمین کرنل مات کننده تصویر میباشد. در امر یادگیری پارامترها، جهت تخمین کرنل مات کننده دو نوع یادگیری تحت نظارت و بدون نظارت وجود دارد. در یادگیری تحت نظارت ما اطلاعاتی از قبیل نوع عامل مات کننده، مقدار واریانس و یا میانگین عامل مات کننده، اندازه کرنل عامل مات کننده و... در مورد عامل مات کننده داریم. اما در یادگیری بدون نظارت فرض میکنیم هیچ گونه اطلاعاتی در مورد عامل مات کننده وجود ندارد و قرار است هرگونه تصویری که به الگوریتم داده شود شفاف شود.
یکی از مشکلات موجود در امر رفع ماتی تصاویر، مبحث رفع ماتی تصاویر جهان واقعی است که ممکن است در آنِ واحد تصویر بر اساس چندین عامل مات کننده (مثلا نویز و حرکت و عوامل محیطی)، مات شود که برای برطرف کردن آنها باید معادلاتی غیر خطی و پیچیده حل و مورد بررسی قرار گیرد. از این رو برای اجتناب از این کار، بیشتر الگوریتمهایی که مورد بررسی قرار میگیرند دارای کاربردی محدود در زمینهای خاص میباشند. البته راه حلهایی برای این کاربرد ارائه شده که در آنها استفاده از شبکه عصبی نقش مهمی را جهت انجام یادگیری بر عهده دارد[8].
فهرست پایان نامه رفع ماتی از تصاویر چهره به منظور استفاده در یک سیستم بازشناسی چهره
فهرست:
فصل اول: مقدمه. 1
1-1 مقدمه. 2
1- 2 بیان مساله. 3
1-3 ضرورت انجام تحقیق و هدف پایاننامه. 4
فصل دوم: مروری بر روشهای موجود. 7
2-1 مقدمه. 8
2-2 روشهای رفع ماتی از تصاویر عمومی.. 9
2-3 روشهای رفع ماتی از تصاویر چهره در کاربرد بازشناسی چهره 12
فصل سوم: روش پیشنهادی. 17
3-1 مقدمه. 18
3-2 اجزای روش پیشنهادی.. 18
3-2-1 ایجاد فضای ویژگی.. 21
3-2-2 مرحله شناسایی PSF مات کننده تصویر چهره 23
3-2-3 بهسازی تصویر چهره مات ورودی.. 24
3-3 نتیجهگیری.. 26
فصل چهارم: نتایج شبیهسازی. 27
4-1 مقدمه. 28
4-2 معرفی پایگاه داده 28
4-3 معرفی روشهای بازشناسی استفاده شده 29
4-3-1 روش بازشناسی چهره مبتنی بر تبدیل موجک و شبکه عصبی MLP. 29
4-3-2 روش بازشناسی چهره مبتنی بر میانگین بلوکی و شبکه عصبی MLP. 32
4-3-3 روش بازشناسی چهره مبتنی بر مقادیر ویژه حاصل از تصاویر چهره 33
4-4 معرفی روش رفع ماتی از تصاویر چهره FADEIN.. 34
4-5 نتایج شبیهسازی مربوط به عامل مات کننده خارج زوم بودن سوژه نسبت به دوربین.. 36
4-6 نتایج شبیهسازی مربوط به عامل مات کننده ماتی بر اثر حرکت دوربین.. 46
4-7 نتیجهگیری.. 54
فصل پنجم: نتیجهگیری و پیشنهاد راهکار آینده 55
5-1 نتیجهگیری.. 56
5-2 پیشنهاد راهکار آینده 57
مراجع 59
منبع:
1 مراجع
[1] T. Mita, T. Kaneko, B. Stenger, and O. Hori, “Discriminative Feature Co-Occurrence Selection for Object Detection,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 30, no. 7, pp. 1257-1269, July 2008.
[2] P. Campisi, K. Egiazarian, Blind Image Deconvolution: Theory and Applications, CRC Press, Boca Raton, FL, USA, 2007.
[3] P.C. Hansen, J.G. Nagy, D.P. O’Leary, Deblurring Images: Matrices, Spectra, and Filtering, SIAM Publisher, Philadelphia, PA, USA, 2006.
[4] T.F.Chan, J.Shen, Image Processing and Analysis Variational, PDE, Wavelet, and Stochastic Methods, SIAM Publisher,Philadelphia,PA,USA, 2005.
[5] W.H. Richardson, Bayesian-based iterative method of image restoration, Journal of the Optical Society of America, vol. 62, pp. 55–59, 1972.
[6] L. Lucy, An iterative technique for the rectification of observed distributions, The Astronomical Journal, vol. 79, pp. 745–754, 1974.
[7] N. Wiener. Extrapolation, Interpolation, and Smoothing of Stationary Time Series. The MIT Press, 1964.
[8] M.C. Cho, H.S. Don, Blur identification and image restoration using a multilayer neural network, IEEE International Joint Conference on Neural Networks, vol.3, pp. 2558–2563, 1991.
[9] Shiming Xiang, Gaofeng Meng, Ying Wang, Chunhong Pan, Changshui Zhang, Pattern Recognition: “Image deblurring with matrix regression and gradient evolution”, Sci Verse Science Direct, vol. 45, pp. 2164–2179, 2012.
[10] Slami Saadi, Abderrezak Guessoum, Maamar Bettayeb, Microprocessors and Microsystems: ABC optimized neural network model for image deblurring with its FPGA implementation, Sci Verse Science Direct, vol. 37, pp.6–52, 2013.
[11] Brian Heflin, Brian Parks, Walter Scheirer, Terrance Boult, “Single Image Deblurring for a Real-Time Face Recognition System”, University of Colorado at Colorado Springs Colorado in Proceedings of the IEEE Conference on Springs, 2010.
[12] M. Cannon, “Blind Deconvolution of spatially invariant image blurs with phase,” IEEE T. on Acoustics, Speech and Signal Processing, vol. 24,no. 1, pp. 58–63, 1976.
[13] T.F. Chan and C.-K. Wong, “Total Variation Blind Deconvolution,” IEEE Trans. Image Processing, vol. 7, no. 3, pp. 370-375, Mar. 1998.
[14] H. Hu and G. de Haan, “Low Cost Robust Blur Estimator,” Proc. IEEE Int’l Conf. Image Processing, pp. 617-620, 2006.
[15] J.H. Elder, “Local Scale Control for Edge Detection and Blur Estimation,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 20, no. 7, pp. 699-716, July 1998.
[16] F. Rooms, A. Pizurica, and W. Philips, “Estimating Image Blur in the Wavelet Domain,” Proc. Fifth Asian Conf. Computer Vision, pp. 210-215, 2002.
[17] H. Tong, M. Li, H. Zhang, and C. Zhang, “Blur Detection for Digital Images Using Wavelet Transform,” Proc. IEEE Int’l Conf. Multimedia and Expo, vol. 1, pp. 17-20, 2004.
[18] Y. Yitzhaky and N.S. Kopeika, “Identification of Blur Parameters from Motion Blurred Images,” Graphical Models and Image Processing, vol. 59, no. 5, pp. 310-320, 1997.
[19] J. Jia, “Single Image Motion Deblurring Using Transparency,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 1-8, 2007.
[20] Masashi Nishiyama, Abdenour Hadid, Hidenori Takeshima, Jamie Shotton, Tatsuo Kozakaya, and Osamu Yamaguchi, “Facial Deblur Inference Using Subspace Analysis For Recognition of Blurred Faces,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 33, no. 4, APRIL 2011.
[21] L. Yuan, J. Sun, L. Quan, and H.Y. Shum, “Image Deblurring with Blurred/ Noisy Image Pairs,” ACM Trans. Graphics, vol. 26, no. 3, pp. 1-10, 2007.
[22] R. Gopalan, S. Taheri, P. Turaga and R. Chellappa, “A Blur-robust Descriptor with Applications to Face Recognition”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, pp. 1220-1226, 2012.
[23] Guangling Sun, Xiaofei Zhou, “Robust Degraded Face Recognition based on Multi-scale Competition and Novel Face Representation,” International Journal of Signal Processing, Image Processing and Pattern Recognition, vol. 6, no. 5 pp. 205-216, 2013.
[24] Chi Ho Chan, Muhammad Atif Tahir, Josef Kittler, Matti Pietikainen,“ Multiscale Local Phase Quantization for Robust Component-Based Face Recognition Using Kernel Fusion of Multiple Descriptors,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 5, may 2013.
[25] I. Stainvas and N. Intrator, “Blurred Face Recognition via a Hybrid Network Architecture,” Proc. Int’l Conf. Pattern Recognition, vol. 2, pp. 805808, 2000.
[26] C. Ancuti, C.O. Ancuti, and P. Bekaert, “Deblurring by Matching,” Computer Graphics Forum, vol. 28, no. 2 pp. 619-628, 2009.
[27] R.C. Gonzalez and R.E. Woods, Digital Image Processing. Prentice Hall, 2007.
[28] N. Wiener. Extrapolation, Interpolation, and Smoothing of Stationary Time Series. The MIT Press, 1964.
[29] http://www.uk.research.att.com/facedatabase.html.
[30] Masoud Mazloom, Shohreh Kasaei, “Face Recognition using Wavelet, PCA, and Neural Networks,” Proceeding of the First International Conference on Modeling, Simulation and Applied Optimization, Sharjah, U.A.E. February, 2005.
[31] M. Turk and A. Pentland, “Eigen faces for Recognition,” J. Cognitive Neuro sicence, vol. 3, no. 1, pp. 71-86, 1991