Metasezgisel algoritmalar ile aşırı öğrenme makinesi parametrelerinin optimizasyonu
Yükleniyor...
Dosyalar
Tarih
2020
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Selçuk Üniversitesi Fen Bilimleri Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
İleri beslemeli sinir ağları çok popüler ve tahmin içeren çoğu uygulamada sıklıkla kullanılan bir ağ mimarisidir. Bu mimarilerde nöronlar arası bilgi akışı girdi katmanından çıktı katmanına doğrudur. Aşırı Öğrenme Makinesi (AÖM), tek gizli katmana sahip ileri beslemeli bir yapay sinir ağı algoritmasıdır. AÖM'de geleneksel ileri beslemeli sinir ağlarından farklı olarak giriş ağırlıkları (w) ve gizli biaslar (b) rastgele belirlenmekte ve çıkış katmanındaki nöronların ağırlıkları analitik olarak Moore-Penrose adı verilen genelleştirilmiş matris tersimsisi yöntemiyle hesaplanmaktadır. Gradyan temelli algoritmalar ile sinir ağı parametrelerinin yinelemeli olarak ayarlanması yerine AÖM'de analitik olarak hesaplamayla öğrenme hızının ve genelleştirme performansının arttığı görülmüştür. AÖM'de giriş ağırlığı ve gizli eşik değeri parametrelerinin rastgele seçilmesi çok hızlı bir şekilde öğrenme işleminin gerçekleşmesini sağlamakla beraber bazı durumlarda genelleştirme performansı iyi bir sonuç vermemektedir. Ayrıca AÖM, gradyan temelli algoritmalara göre gizli katmanda daha fazla nörona ihtiyaç duyabilmektedir. Bu nedenlerle giriş ağırlıkları ve gizli eşik değerlerinin optimum değerlerinin belirlenmesine yönelik çalışmalar mevcuttur. Bu çalışmada AÖM parametrelerinin optimum değerlerinin belirlenmesinde meta sezgisel optimizasyon algoritmaları kullanılmıştır. Belirlenen optimum giriş ağırlıkları ve gizli eşik değerleri kullanılarak AÖM'nin çıkış ağırlıkları analitik olarak hesaplanmaktadır. AÖM'nin optimizasyonunda daha önce uygulanan Parçacık Sürü Optimizasyonu (PSO), Rekabetçi Sürü İyileştirici (RSİ) gibi sürü zeka algoritmalarına ek olarak Harris Şahinleri Optimizasyonu (HŞO) ile yeni bir AÖM optimizasyon modeli geliştirilmiştir. AÖM'nin optimizasyonu için geliştirilen bu hibrid modeller açık erişimli veri setleri üzerinde denenmiş ve elde edilen sonuçlar birbirleriyle karşılaştırılmıştır.
Feedforward neural networks are a very popular and frequently used network architecture in many predictive applications. In these architectures, the information flow between neurons is from the input layer to the output layer. Extreme Learning Machine (ELM) is a feed forward neural network algorithm with a single hidden layer. Unlike conventional feedforward neural networks, the input weights (w) and weight bias (b) are randomly determined in ELM, and the weights of the neurons in the output layer are calculated analytically using the generalized matrix inversion method called Moore-Penrose. Instead of iteratively adjusting neural network parameters with gradient-based algorithms, it was observed that the learning speed and generalization performance increased with analytical computation in ELM. Although random selection of input weight and hidden bias parameters in ELM enables the learning process to happen very quickly, generalization performance does not give a good result in some cases. In addition, ELM may require more neurons in the hidden layer compared to gradient-based algorithms. For these reasons, there are studies to determine the optimum values of input weights and hidden bias values. In this study, meta-heuristic optimization algorithms were used to determine the optimum values of the ELM parameters. The output weights of ELM are calculated analytically by using the determined optimum input weights and hidden bias values. In addition to swarm intelligence algorithms such as Particle Swarm Optimization (PSO), Competitive Swarm Optimizer (CSO), which were previously applied in the optimization of ELM, a new ELM optimization model was developed with Harris' Hawks Optimization (HHO). These hybrid models developed for the optimization of ELM were tested on open access data sets and the results obtained were compared with each other.
Feedforward neural networks are a very popular and frequently used network architecture in many predictive applications. In these architectures, the information flow between neurons is from the input layer to the output layer. Extreme Learning Machine (ELM) is a feed forward neural network algorithm with a single hidden layer. Unlike conventional feedforward neural networks, the input weights (w) and weight bias (b) are randomly determined in ELM, and the weights of the neurons in the output layer are calculated analytically using the generalized matrix inversion method called Moore-Penrose. Instead of iteratively adjusting neural network parameters with gradient-based algorithms, it was observed that the learning speed and generalization performance increased with analytical computation in ELM. Although random selection of input weight and hidden bias parameters in ELM enables the learning process to happen very quickly, generalization performance does not give a good result in some cases. In addition, ELM may require more neurons in the hidden layer compared to gradient-based algorithms. For these reasons, there are studies to determine the optimum values of input weights and hidden bias values. In this study, meta-heuristic optimization algorithms were used to determine the optimum values of the ELM parameters. The output weights of ELM are calculated analytically by using the determined optimum input weights and hidden bias values. In addition to swarm intelligence algorithms such as Particle Swarm Optimization (PSO), Competitive Swarm Optimizer (CSO), which were previously applied in the optimization of ELM, a new ELM optimization model was developed with Harris' Hawks Optimization (HHO). These hybrid models developed for the optimization of ELM were tested on open access data sets and the results obtained were compared with each other.
Açıklama
Anahtar Kelimeler
AÖM parametreleri optimizasyonu, aşırı öğrenme makinesi, classification, ELM parameter optimization
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Doğan, M. (2020). Metasezgisel Algoritmalar ile Aşırı Öğrenme Makinesi Parametrelerinin Optimizasyonu. (Yüksek Lisans Tezi). Selçuk Üniversitesi, Fen Bilimleri Enstitüsü, Konya.
