A new approach for facial expression recognition with an adaptive classification
Yükleniyor...
Dosyalar
Tarih
2018-07-26
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Selçuk Üniversitesi Fen Bilimleri Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Son zamanlarda Yüz İfade Tanıma (FER) uygulamaları, daha önce olduğundan giderek daha ilgi çeken hale gelmektedir. Bu tür uygulamalar psikoloji, tıbbi teşhis, güvenlik, insan-makine etkileşimi ve eğlence gibi birçok alanda görülmektedir. Bununla birlikte, duygu tanımaları, çeşitli şekilde zorluk ve bazen de çok hassas olmaktadır. Bunun nedeni ise, yüz tanıma konusunun sıradan zorluklarından ayrı olarak, FER'in, insan ırkının, kültürünün ve aynı duyguların yoğunluğunun büyük bir zorluğa yol açabilecek çeşitliliğinden etkilenmesidir. Bu tez çalışmasında, daha iyileştirilmiş hassaiyet ve uyarlanabilirlik için FER'e yeni bütüncü yaklaşımlar önerilmiştir. Araştırmada, FER'in iki ana aşaması olan (öznitelik çıkarımı ve sınıflandırma özellikleri) iyileştirme için belirlenmiştir. Öznitelik çıkarma alanında, yeni yaklaşımlar önerilmiş ve bunlardan biri de çoklu-çözünürlük ayrışımı ve sıkıştırılmalı algılama teorisinden ilham alınmıştır. Çoklu çözünürlük ayrışımı, her bir görüntü örneğinin, farklı boyutlarda ve çözünürlüklerde önceden belirlenmiş bir dizi görüntü piramidine ayrıştırıldığı görüntü Piramit İşlemini kullanır. Sağlam özellikler, tüm piramit seviyelerinden çıkarılır ve daha sonra piramit özellik vektörünü çıkarmak için birleştirilir. Sıkıştırılmalı algılama teorisi, özellik vektörlerini daha da güçlendirmek ve boyutunu önemli ölçüde azaltmak için kullanılır. Önerilen özellik çıkarıcının bir başka şekli, Yerel Gabor Örüntü (LGP) üzerinde çalışan monogenik-Yerel İkili Örüntüdür (mono-LBP). Esas olarak, monogenic- Yerel İkili Örüntüsü (mono-LBP), farklı yönlendirme ve ölçeklerdeki giriş verilerinin Yerel Gabor Örüntüsü'nden (LGP) özelliklerini çıkarır. Bu LGP özellikleri, son özellik vektörünü oluşturmak için daha sonra yeniden birleştirilen üçlü-monojenik LBP özelliklerine ayrıştırılarak geliştirilmektedir. Bu özellik vektörü farklı normalizasyon şemaları kullanılarak normalleştirilmiştir. Sınıflandırma için, iki son teknoloji ürünü sınıflandırıcı; Uyarlanabilirlik ve genel performans iyileştirmesi için Tek Dallı Karar Ağacı (SBDT) ve Dinamik Basamaklı Sınıflandırıcı (DCC) önerilmiştir. SBDT, tek dallı karar ağacına dayanan çok düzyeli bir sınıflandırıcıdır. SBDT, talimat sırasında esas olarak ikili destek vektörü makineleri kullanmaktadır. Bir deneme veri sınıfını belirlemek için, talımatlandırılmış ikili SVM'lerin çıktıları, ağacın köklerinden tepesine kadar olan düğümleri aracılığıyla değerlendirilir. Öte yandan, Dinamik Basamaklı Sınıflandırıcı (DCC) tamamen farklı bir yeni sınır sunuyor. DCC, SVM'yi de kullanır ve Dairesel Temel Fonksiyonu ile otomatik bir çekirdek parametresi optimizasyonu ile çerçevesini oluşturur. Kullanımının bir ön koşulu olarak, özellikler vektörleri, sıkıştırma algılama teknikleri kullanılarak bir Gauss uzayına yansıtılır. SVM sınıflandırıcısının özelliklerini çalıştıran alıcı , optimum çekirdek parametrelerinin otomatik olarak belirlendiği temeli sağlar. Umut verici ve etkileyici sonuçlar deneylerden elde edilmektedir. Yaygın yüz ifadesi veritabanlarından elde edilen deneysel sonuçlar, son teknoloji ürünü çapraz doğrulama tekniklerinin kullanıldığı alanda, önerilen yöntemin, benzer deney düzeneği ve veri tabanları altında muadillerinin çoğunu geride bıraktığını göstermiştir. Sonuçlar ayrıca, önerilen yaklaşımın literatürde halihazırda kullanılan diğer yaklaşımlar üzerindeki geçerliliğini ve avantajlarını doğrulamıştır.
In recent time Facial Expression Recognition (FER) applications are increasingly becoming more relevant than has been witnessed before. Such applications are visible in many fields such as psychology, medical diagnosis, security, human-machine interaction and entertainments. However, Emotions recognitions presents enormously difficulties and challenges which are tricky and diverse in their various forms. This is because apart from the conventional challenges of a face recognition, FER is affected by the human race, culture and variation in intensity of the same emotion which may present a big challenge. In this thesis, new holistic approaches to FER have been proposed for improved accuracy and adaptability. In the research two major stages (features extraction and classification) of FER have been identified for improvement. In the realm of feature extraction, a number of new approaches have been proposed one of which got its inspiration from the multiresolution image processing and compressive sensing theory. The multiresolution processing utilizes image Pyramid Processing where each image sample is decomposed into a number of predetermined image pyramids at different sizes and resolutions. Robust features are extracted from all pyramid levels and then get concatenated to extract the pyramid feature vector. Compressive sensing theory is used to further reinforce the feature vectors and significantly trim down its dimension. Another variant of the feature extractor proposed is monogenic-Local Binary Pattern (mono-LBP) which operates on Local Gabor Pattern (LGP). Basically, mono-LBP extracts its features from the LGP of inputs data at different orientation and scales. These LGP features are improved by being decomposed into tri-monogenic LBP features which are subsequently recombined to make up the final feature vector. This feature vector is normalized using different normalization schemes. For classification, two state-of-the art classifiers; Single Branch Decision Tree (SBDT) and Dynamic Cascaded Classifier (DCC) were proposed for adaptivity and overall performance improvement. SBDT is a multi-level classifier based on single-branch decision tree. SBDT essentially uses binary support vector machines during training. To determine a test data class, the outputs of the trained binary SVMs are evaluated through the nodes of the tree from the root to its apex. On the other hand, DCC presents an entirely different new frontier. DCC uses SVM as well is its framework with an automatic kernel parameter optimization with Radial Basis Function. As a prerequisite to its use, features vectors are projected to a Gaussian space using compressive sensing techniques. The receiver operating characteristics of the SVM classifier provides the basis upon which optimum kernel parameters are automatically determined. Promising and impressive results were recorded from the experiments. The experimental results obtained from the popular facial expression databases which deployed various state-of-the-art cross-validation techniques, indicated that the proposed method outperforms most of its counterparts under the same experimental set-up and databases. The results further confirmed the validity and advantages of the proposed approach over other approaches currently used in the literature.
In recent time Facial Expression Recognition (FER) applications are increasingly becoming more relevant than has been witnessed before. Such applications are visible in many fields such as psychology, medical diagnosis, security, human-machine interaction and entertainments. However, Emotions recognitions presents enormously difficulties and challenges which are tricky and diverse in their various forms. This is because apart from the conventional challenges of a face recognition, FER is affected by the human race, culture and variation in intensity of the same emotion which may present a big challenge. In this thesis, new holistic approaches to FER have been proposed for improved accuracy and adaptability. In the research two major stages (features extraction and classification) of FER have been identified for improvement. In the realm of feature extraction, a number of new approaches have been proposed one of which got its inspiration from the multiresolution image processing and compressive sensing theory. The multiresolution processing utilizes image Pyramid Processing where each image sample is decomposed into a number of predetermined image pyramids at different sizes and resolutions. Robust features are extracted from all pyramid levels and then get concatenated to extract the pyramid feature vector. Compressive sensing theory is used to further reinforce the feature vectors and significantly trim down its dimension. Another variant of the feature extractor proposed is monogenic-Local Binary Pattern (mono-LBP) which operates on Local Gabor Pattern (LGP). Basically, mono-LBP extracts its features from the LGP of inputs data at different orientation and scales. These LGP features are improved by being decomposed into tri-monogenic LBP features which are subsequently recombined to make up the final feature vector. This feature vector is normalized using different normalization schemes. For classification, two state-of-the art classifiers; Single Branch Decision Tree (SBDT) and Dynamic Cascaded Classifier (DCC) were proposed for adaptivity and overall performance improvement. SBDT is a multi-level classifier based on single-branch decision tree. SBDT essentially uses binary support vector machines during training. To determine a test data class, the outputs of the trained binary SVMs are evaluated through the nodes of the tree from the root to its apex. On the other hand, DCC presents an entirely different new frontier. DCC uses SVM as well is its framework with an automatic kernel parameter optimization with Radial Basis Function. As a prerequisite to its use, features vectors are projected to a Gaussian space using compressive sensing techniques. The receiver operating characteristics of the SVM classifier provides the basis upon which optimum kernel parameters are automatically determined. Promising and impressive results were recorded from the experiments. The experimental results obtained from the popular facial expression databases which deployed various state-of-the-art cross-validation techniques, indicated that the proposed method outperforms most of its counterparts under the same experimental set-up and databases. The results further confirmed the validity and advantages of the proposed approach over other approaches currently used in the literature.
Açıklama
Anahtar Kelimeler
Facial expression recognition, Compressive sensing, Image pyramid, Dynamic cascaded classifier, Yüz ifadesi tanıma, Sıkıştırılmalı algılama, Görüntü piramidi, Tek dallı karar ağacı, Dinamik basamaklı sınıflandırıcı, Sigle-branch decision tree
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Ashir, A. (2018). A new approach for facial expression recognition with an adaptive classification. Selçuk Üniversitesi, Yayımlanmış doktora tezi, Konya.
