Development of Real-Time Emotion Recognition System using only Facial Expressions Based on Machine Learning and Deep Neural Network Methods to Assist Physically Disabled People

یستقبل الإنسان مشاعر غیره من البشر بالنظر إلى ملامح وجھھ بطریقة فطریة وتلقائیة مما جعل علم التعرف على مشاعر الإنسان من نقترح في ھذا المشروع تطویر نظام آلي للتعرف على مشاعر الإنسان ذوي الاحتیاجات ،HMI المواضیع الھامة في جال واجھة الآلة والإنسان الخاصة (الصم، البكم، طریح الفراش) من خلال تعبیرات الوجھ فقط باستخدام أدوات التعلم الآلي والشبكات العصبونیة العمیقة. المشاعر التي سنطور النظام التعرف علیھا ھي المتعارف علیھا عالمیا وھي السعادة والحزن والانبھار والاشمئزاز والغضب والخوف. للتعرف على مشاعر الإنسان من خلال تعابیر وجھھ، یتم ترمیز وحدات الوجھ الفعالة FAU في ھذا المشروع سنستخدم نقاط الوجھ الفعالة یدویا أو آلیا على وجھ الإنسان أثناء تدریب النظام، وبعد ذلك نستخدم ھذه العلامات المسجلة بالفیدیو لتعلیم النظام الذكي للتعرف آلیا على مشاعر الإنسان من خلال ملامح وجھھ فقط. نشر الباحث الأول بعض النتائج لتقنیات العرف على الوجھ باستخدام نقاط الوجھ الفعالة ( 13،14 ) في وقت سابق باستخدام أدوات إحصائیة وحصل على نسبة 92.36 % تعرف على مشاعر الإنسان بشكل صحیح آلیا مع الأخذ بالاعتبار شدة الضوء PSO وتقنیات سرب الجسیمات ومكان وجود الكامیرا بالنسبة للوجھ، كانت التجارب السابقة تتحكم في شدة الضوء ومكان اتجاه الكامیرا بشكل محكوم، لذلك نقترح ( 1) عمل التجارب الجدیدة في بیئة حقیقیة تحاكي ظروف المستشفى وشدة الإضافة في غرفة المریض بأوقات مختلفة من النھار. ( 2) تحلیل إحصائي أدق للمعاملات وإدخال تقنیات التعلم الذي للحصول على نتائج أفضل ( 3) استخدام خوارزمیات التدفق البصري مدعوما بتقنیات التعلم الآلي .( والشبكات العصبونیة العمیقة مما یجعل ھذا الأسلوب متمیزا لتحسین النتائج عما حصلنا علیھ في ( 13

A human perceiving the emotions of another fellow human is natural and inherently accurate. Computers/ machines recognizing emotions is an important research in Human Machine Interface (HMI). This work proposes to develop an intelligent real-time facial expressions recognition system for assisting physically disabled (deaf, dumb, and bedridden) using machine learning and deep learning methods. There are six universally accepted emotions (happiness, sadness, surprise, disgust, anger and, fear). Facial Action Units (FAUs) are used for detecting the facial reactions. The FAUs are small luminous stickers (or markers) or virtual markers that are manually or autonomously fixed at several locations of a human face. The placement of these markers is based on a Facial Action Coding System (FACS). Changes in emotions create facial reactions which modify the positions of markers, with time. The positions of the markers are video captured and the time responses of these markers are studied and co-related with every emotion. A set of initial work on detecting emotions through luminous stickers and virtual markers have been performed by the PI [13, 14]. Later, the emotions are detected by using a framework of Particle Swarm Optimisation (PSO) and statistical features. Detailed experiments have been performed and an average success percent in detecting correct emotions (six emotions) was found to be at 92.36% [13]. The present work aims to use the marker placement algorithm and lab setting (light intensity, distance between the camera and subject) from our earlier work along with the following three new research efforts: (i) Though the earlier works considered different lighting conditions in a controlled environment for emotion recognition, there is still a need to test the methodology under real-life lighting conditions. Hence, a new set of experiments will be carried out in different real-life lighting conditions (classrooms, lecture theaters, open halls, etc.) to improve the generalizability of the proposed emotion recognition system. (ii) A simple set of statistical features were analyzed in the earlier work for emotion recognition. The proposed work will investigate on extracting a new set of statistical (geometrical) features based on marker positions for improving the emotion recognition rate of the system without much computational complexity and with higher reliability and (iii) A new real-time emotion detection algorithm aims to be developed for recognising human emotions using optical flow algorithm, machine learning and deep learning approaches. The novelty lies on inputting the optical flow features of the virtual markers to the machine learning and deep learning method for emotional expression recognition and benchmark the experimental results with the Particle Swarm Optimization (PSO) method [13].