Destek vektör makinelerinin etkin eğitimi için yeni yaklaşımlar
Yükleniyor...
Dosyalar
Tarih
2008-06-04
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Selçuk Üniversitesi Fen Bilimleri Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Sınıflandırma; yeni karşılaşılan veri örneklerinin önceden karşılaşılmış olan verilerden elde edilen bilgilerle fikir yürütülerek farklı sınıflara ayrıştırılması işlemidir. Sınıflandırma işleminin amacı, veri gruplarını oluşturan sınıf özellikleri ve bu sınıfların çıkış karakterleri arasındaki ilişkilerin keşfedilerek, bu ilişkiler ile yeni bir veri örneğinin sınıf etiketini tahmin etmektir. Sınıflandırıcılar, eğiticili ve eğiticisiz olmak üzere ikiye ayrılır. Eğiticili öğrenmede, verilerle birlikte ait olduğu sınıflar da önceden sisteme bildirilir. Eğiticisiz öğrenmede ise, sınıflar önceden bilinmez ancak tahmin edilebilirler. Genellikle kümeleme metotları eğiticisiz olarak çalışırlar. Makine öğrenmesi yöntemleri, eğiticili (sınıflandırma ve regresyon) ve eğiticisiz (kümeleme) öğrenme problemlerinde kullanılmaktadır. Destek Vektör Makineleri ise, eğiticili veya yarı eğiticili olarak çalışabilen ve sınıflandırma ile regresyon uygulamalarında kullanılan bir makine öğrenmesi yöntemidir. Destek Vektör Makineleri (DVM), güçlü bir teorik alt yapıya sahiptir. Çünkü istatistiksel öğrenme teorisinden yararlanan Vapnik-Chervonenkis boyutu ve Yapısal Risk Minimizasyonu prensipleri üzerine kurulmuş olan bir yöntemdir. Bu yaklaşımlar DVM'ne üstün bir genelleme yeteneği kazandırmaktadır. Bu yüzden birçok uygulama alanında başarıyla kullanılmaktadır. Fakat bazı zayıf yönleri de bulunmaktadır. Gerçekleştirilen tez çalışmasında, bu zayıf yönlerin kuvvetlendirilmesi hedeflenmiştir. Bu çerçevede; K-En Yakın Komşuluk (KEYK), Renyi entropi ve en küçük kareler regresyonu gibi metotlar yeni DVM eğitim algoritmaları geliştirilmesinde yardımcı metotlar olarak kullanılmıştır. Ayrıca, bu yardımcı metotlardan elde edilen ölçülerin değerlendirilmesinde Öklit uzaklıklarından da faydalanılmıştır. Bu yardımcı metotlar, DVM'ne yerel kontrol özelliği katmak için kullanılmış ve bu metotların yardımı ile zayıf yönleri kuvvetlendirilen yeni DVM eğitim algoritmaları geliştirilmiştir. Geliştirilen metotlar (KKDVM, RKKDVM ve parametre düzenleyici yaklaşım) UCI (California Üniversitesi Bilimsel Veri Tabanı) ndan alınan İris, Şarap, Araç ve Tiroid veri kümeleri üzerinde ve Fırat Tıp Merkezi Kardiyoloji bölümünden elde edilen Dopler kalp kapakçıkları işaretlerine uygulanmıştır. DVM çeşitleri arasında, aynı amaç çerçevesinde geliştirilmiş olan En Küçük Kareler Destek Vektör Makineleri (EKKDVM) metodu ile de aynı veri kümeleri kullanılarak uygulamalar yapıldı. Tiroid veri kümesinde EKKDVM %95.62, KKDVM %96.62 ve RKKDVM %97.26, İris veri kümesinde EKKDVM %94.66, KKDVM %98.67 ve RKKDVM %100.00, Şarap veri kümesinde EKKDVM %96.59, KKDVM %97.73 ve RKKDVM %96.59 ve Araç veri kümesinde EKKDVM %68.72 ve RKKDVM %83.88 sınıflandırma doğruluğu test edilmiştir. Parametre düzenleyici yaklaşımın ise, en iyi parametre değerlerine başarıyla ulaştığı gözlenmiştir. Bu uygulama sonuçlarıyla, geliştirilen metodların üstünlüğü ortaya çıkarılmıştır.
Classification is trying to exactly separate the unknown data set to different groups according to knowledge about training data set. The aim of classification; discovering the relations between class characteristics and features of training data set and also estimating unknown class label of new datum via these relations. Classifiers are divided into two groups such as supervised and unsupervised classifiers. In supervised learning, data set is given to classifier with output labels for classification. In unsupervised learning, output labels are not known during learning process. These labels can only be estimated from the data set. Clustering methods generally run as unsupervised learners. Machine Learning methods are used for supervised (classification and regression) and unsupervised (clustering) learning problems. SVM is a machine learning method used for classification and regression implementations and also run supervised or semi-supervised way. SVM has been formed on powerful theoretical foundations. Since it was been formed by VC dimension and SRM principle which are very important concepts in statistical learning theory. These approaches provide reliable generalization ability to SVM. Therefore, SVM has been widely used in many application fields; however some deficiencies of SVM are available. In implemented studies, avoiding of these deficiencies is aimed. To achieve this goal, assisting methods to develop new SVM training algorithms such as KNN, Renyi Entropy and Logistic Regression have been used. These methods provide local control ability for learning process. Thus, new improved training algorithms have been introduced to provide local controlling property for SVM. In addition, for the evaluation of measurements obtained from these methods, Euclidean distance equation is used. For analyzing performances of improved methods (CKSVM, RCKSVM and Parameter regularization approach), Iris, Wine, Vehicle and Thyroid data sets from UCI database and Doppler Heart Sound Signals from Firat Medical Centre are classified via improved methods. Among SVM classifiers, LS-SVM classifier has been selected as an alternative to our methods. Since, LS-SVM was been introduced to avoid the same deficiencies with our methods. Data sets classified by improved methods are also classified by LS-SVM classifier. Experimental results of our methods and LS-SVM classifier are compared. In Thyroid data set LS-SVM %95.62, CKSVM %96.62 and RCKSVM %97.26, in iris data set LS-SVM %94.66, CKSVM %98.67 and RCKSVM %100.00, in wine data set LS-SVM %96.59, CKSVM %97.73 and RCKSVM %96.59 and in vehicle data set LS-SVM %68.72 and RCKSVM %83.88 classification performance have been tested. Parameter regularization procedure has reached successfully to optimal parameter values. Experimental results approve efficiency of improved methods.
Classification is trying to exactly separate the unknown data set to different groups according to knowledge about training data set. The aim of classification; discovering the relations between class characteristics and features of training data set and also estimating unknown class label of new datum via these relations. Classifiers are divided into two groups such as supervised and unsupervised classifiers. In supervised learning, data set is given to classifier with output labels for classification. In unsupervised learning, output labels are not known during learning process. These labels can only be estimated from the data set. Clustering methods generally run as unsupervised learners. Machine Learning methods are used for supervised (classification and regression) and unsupervised (clustering) learning problems. SVM is a machine learning method used for classification and regression implementations and also run supervised or semi-supervised way. SVM has been formed on powerful theoretical foundations. Since it was been formed by VC dimension and SRM principle which are very important concepts in statistical learning theory. These approaches provide reliable generalization ability to SVM. Therefore, SVM has been widely used in many application fields; however some deficiencies of SVM are available. In implemented studies, avoiding of these deficiencies is aimed. To achieve this goal, assisting methods to develop new SVM training algorithms such as KNN, Renyi Entropy and Logistic Regression have been used. These methods provide local control ability for learning process. Thus, new improved training algorithms have been introduced to provide local controlling property for SVM. In addition, for the evaluation of measurements obtained from these methods, Euclidean distance equation is used. For analyzing performances of improved methods (CKSVM, RCKSVM and Parameter regularization approach), Iris, Wine, Vehicle and Thyroid data sets from UCI database and Doppler Heart Sound Signals from Firat Medical Centre are classified via improved methods. Among SVM classifiers, LS-SVM classifier has been selected as an alternative to our methods. Since, LS-SVM was been introduced to avoid the same deficiencies with our methods. Data sets classified by improved methods are also classified by LS-SVM classifier. Experimental results of our methods and LS-SVM classifier are compared. In Thyroid data set LS-SVM %95.62, CKSVM %96.62 and RCKSVM %97.26, in iris data set LS-SVM %94.66, CKSVM %98.67 and RCKSVM %100.00, in wine data set LS-SVM %96.59, CKSVM %97.73 and RCKSVM %96.59 and in vehicle data set LS-SVM %68.72 and RCKSVM %83.88 classification performance have been tested. Parameter regularization procedure has reached successfully to optimal parameter values. Experimental results approve efficiency of improved methods.
Açıklama
Anahtar Kelimeler
Yapay zeka, Artificial intelligence, Regresyon, Regression, Dopler işaretleri, Doppler signals, Classification, Sınıflandırma, Destek vektör makineleri, Support vector machines
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Çomak, E. (2008). Destek vektör makinelerinin etkin eğitimi için yeni yaklaşımlar. Selçuk Üniversitesi, Yayımlanmış doktora tezi, Konya.
