Investigating a Novel Multiple Classifier System Design Strategy

لكي يتم تحسين دقة المصنفات، توصل الباحثون إلى أن ضم (دمج) القرارات لأكثر من مصنف سوف يؤدي إلى الحصول على نتائج أفضل مقارنة بأفضل مصنف وحيد. و قد قام فريق العمل بالمشروع بإثبات مزايا إستراتيجية مبتكرة تم اقتراحها خلال الدراسة بهدف تحديد ما إذا كان أداء الأسلوب المقترح يفوق المصنف الوحيد كما هو الحال في طرق الدمج الأخرى. و تتبنى فلسفة التصميم المقترح من قبل فريق العمل وجهة النظر التي تقول أن تصميم الخبراء المنفردين و دمجه لا يمكن حله بمعزل عن العوامل الأخرى، حيث يتم تشييد كل خبير كجزء من التصميم العالمي لنظام نهائي متعدد الخبرات. و تتناول عملية التصميم إضافة مزايا أخرى لكل خبير من الخبراء في طراز البناء. و قد استهدف فريق العمل بالمشروع إظهار مزايا الأسلوب المقترح و تحديد الوقت الذي يتفوق فيه أداؤه على أداء الطرق الأخرى. كما تم خلال المشروع اختبار المتغيرات المختلفة لطريقة التصميم و تمت مقارنتها بالمصنف الوحيد و طرق تصميم الدمج الأخرى. و قد تمت دراسة أداء الأسلوب المقترح باســـتـــخدام أربـــعة أنــــواع مــــختــــلـــفـــــة من الـــمــــصـــنـــفات شــملت مـــا يـــلي: (Gaussian, Backpropagation Neural Network, One-nearest Neighbor, K-nearest). كما تم اختبار مجموعات حقيقية و مصطنعة من البيانات التي تم الربط بينها عشوائياً لمحاكاة ظروف التصنيف المختلفة. و تؤكد نتائج الدراسة عدم وجود طريقة تصميم لنظام دمج يمكنها منفردة من تحقيق أفضل النتائج لكافة أنواع المصنفات أو مجموعات البيانات و أحجامها. و قد وجدت الدراسة أن الطريقة المقترحة يمكنها أن تنافس بشكل جيد الطرق الأخرى على الرغم من عدم بروزها كأفضل الخيارات. كما تفوقت النماذج الثلاثة في أدائها على أداء المصنف الوحيد عند التعامل مع معظم مجموعات البيانات و أحجامها، مما يعكس فعاليتها كطريقة لتصميم الدمج. كما وجدت الدراسة أن الطريقة التي تستخدم مزية 2-forward-1-backward - و التي تغطي البيانات بشكل وثيق – هي الأفضل بالنسبة لمجموعة التحقق من البيانات، حيث أنها الطريقة الوحيدة التي تبتكر مجموعة مستقلة من المزايا لكل مكون من مكونات المصنف. كما يبلغ أداؤها بالنسبة لمجموعة التحقق من البيانات مستويات مرتفعة في كافة أنواع البيانات. و لسوء الحظ، فإن النظام المقترح لا يحقق أداء مماثلاً بالنسبة لمجموعة الاختبار. إلا أن هذه الطريقة، و على النقيض من طرق التكييس و المسافات العشوائية، تعد طريقة متينة و تحافظ على أداء ثابت بصرف النظر عن حجم مجموعة التدريب، أو درجة الصعوبة، أو نوع المصنف.

In order to improve the accuracy of classifiers researchers have found that combining (fusing) the decisions of more than one classifier would yield superior results over the best single classifier [1-6]. In this project we attempt to prove the advantage of a novel fusion strategy proposed by us in [7,8]. We aim to find if our proposed method can outperform the single classifier as other combining methods do. Our proposed design philosophy takes the view that the design of individual experts and fusion cannot be solved in isolation. Each expert is constructed as part of the global design of a final multiple expert system. The design process involves adding new features to each of the experts in the architecture. In this project we aim to show its advantage and find when it outperforms other methods. We experiment with different variants of the design method and compare them to the single classifier and existing combiner design methods. We investigate its performance using four different types of classifiers; gaussian, backpropagation neural network, one-nearest neighbor and the k-nearest neighbor classifiers. We experiment with synthetic and real data sets which are also randomized to simulate varying classification conditions. Results show that no single combining system design methodology achieves the best results on all classifier types or data sets and sizes. We found that our proposed method competes well, although does not always stand out as the best. All three versions outperform the single classifier on most data sets and sizes, demonstrating its effectiveness as a combiner design method. We found that the method using 2-forward-1-backward feature selection method, which covers the data more closely, to be the best on the validation set. It is the only method that creates an independent number of features per component classifier. Its performance on the validation set reaches very high levels on all data types. Unfortunately we do not achieve a similar performance on the test set. However, contrary to bagging and the random subspace method, it is robust and keeps a constant performance level regardless of the training set size or difficulty, and regardless of the classifier type.