Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma
| dc.contributor.advisor | Baykan, Ömer Kaan | |
| dc.contributor.author | Ezel, Elif | |
| dc.date.accessioned | 2019-12-13T20:48:14Z | |
| dc.date.available | 2019-12-13T20:48:14Z | |
| dc.date.issued | 27.06.2018 | |
| dc.date.submitted | 27.06.2018 | |
| dc.description.abstract | Sign language is a form of visual communication that people with hearing problems use to express themselves. The main goal of this study is to facilitate the life of people with hearing problems. In this study, it has been provided to translate the movements belonging to the Turkish Sign Language (TSL) finger alphabet, which is a visual language, into the written language using Convolutional Neural Networks (CNN), one of the deep learning methods. In this study, deep neural networks were used instead of classical machine learning methods and the success of these structures in recognizing the signs of the TSL finger alphabet was evaluated. In this thesis, a dataset was obtained using 522 RGB images taken from three different individuals. For RGB images in the dataset, pre-processing and segmentation were applied and a new dataset consisting of binary images containing only hand regions has been achieved. Data augmentation methods have been applied to the datasets, the number of images increased from 522 to 4176 and it was evaluated how increasing the number of data influences classification success. In order to classify and identify the signs, both the designed 14-layer CNN structure and the AlexNet structure, a pre-trained model, were used. While the binary image dataset was used as the input data for the 14-layer CNN structure, three different dataset consisting of RGB images were used as input data for the AlexNet structure. In addition, Histogram of Oriented Gradients (HoG) feature extraction method was applied to the binary image dataset and the obtained feature vector was used for classification using Artificial Neural Networks (ANN), Support Vector Machines (SVM) and Random Forest (RF). The results were compared and the most successful method was determined. | en_US |
| dc.description.abstract | İşaret dili, işitme problemi yaşayan insanların kendilerini ifade etmek amacıyla kullandıkları görsel bir iletişim şeklidir. Bu çalışmanın temel hedefi, işitme problemi yaşayan insanların hayatını kolaylaştırmaktır. Bu tez çalışmasında, görsel bir dil olan Türk İşaret Dili (TİD) parmak alfabesine ait hareketlerin derin öğrenme yöntemlerinden biri olan Konvolüsyonel Sinir Ağları (Convolutional Neural Networks, CNN) kullanılarak yazı diline çevrilmesi sağlanmıştır. Bu çalışmada, klasik makine öğrenmesi yöntemleri yerine derin sinir ağları kullanılarak bu yapıların TİD parmak alfabesine ait işaretleri tanımadaki başarısı değerlendirilmiştir. Gerçekleştirilen tez çalışmasında, üç farklı bireyden alınan 522 adet renkli (RGB) görüntü kullanılarak veri seti oluşturulmuştur. Veri setinde bulunan RGB görüntülere ön-işleme ve segmentasyon işlemleri uygulanarak; yalnızca el bölgelerini içeren siyah beyaz görüntülerden oluşan yeni bir veri seti elde edilmiştir. Veri setlerine veri arttırma yöntemleri uygulanarak 522 olan görüntü sayısı 4176'ya çıkartılmış ve veri sayısını artırmanın sınıflandırma başarısını nasıl etkilediği değerlendirilmiştir. İşaretleri sınıflandırmak ve tanımak için hem tasarlanarak oluşturulan 14 katmanlı CNN yapısı hem de daha önceden eğitilmiş hazır bir model olan AlexNet yapısı kullanılmıştır. Siyah beyaz görüntülerden oluşan veri seti 14 katmanlı CNN yapısının giriş verisi olarak kullanılırken; RGB görüntülerden oluşan üç farklı veri seti ise AlexNet yapısının giriş verisi olarak kullanılmıştır. Ayrıca, siyah beyaz görüntülerden oluşan veri setine Yönlü Gradyanların Histogramı (Histogram of Oriented Gradients, HoG) özellik çıkarma yöntemi uygulanmış ve elde edilen öznitelik vektörü; Yapay Sinir Ağları (Artificial Neural Networks, ANN), Destek Vektör Makineleri (Support Vector Machines, SVM) ve Rastgele Orman (Random Forest, RF) sınıflandırma yöntemleri kullanılarak sınıflandırılmıştır. Elde edilen sonuçlar derin sinir ağları kullanılmasıyla elde edilen sonuçlarla karşılaştırılmış ve en başarılı yöntem belirlenmiştir. | en_US |
| dc.identifier.citation | Ezel, E.(2018). Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma. Selçuk Üniversitesi Fen Bilimleri Enstitüsü, Yayımlanmış Yüksek Lisans Tezi, Konya | |
| dc.identifier.uri | https://hdl.handle.net/20.500.12395/14895 | |
| dc.language.iso | tr | en_US |
| dc.publisher | Selçuk Üniversitesi | |
| dc.publisher | Selçuk Üniversitesi Fen Bilimleri Enstitüsü | en_US |
| dc.relation.publicationcategory | Tez | en_US] |
| dc.rights | info:eu-repo/semantics/openAccess | en_US |
| dc.selcuk | 20240510_oaig | en_US |
| dc.subject | Derin Öğrenme | en_US |
| dc.subject | Görüntü İşleme | en_US |
| dc.subject | İnsan-Bilgisayar Etkileşimi | en_US |
| dc.subject | İşaret Dili Tanıma | en_US |
| dc.subject | Konvolüsyonel Sinir Ağları | en_US |
| dc.title | Derin öğrenme yöntemi kullanılarak görüntü-tabanlı türk işaret dili tanıma | en_US |
| dc.title.alternative | Image-based turkish sign language recognition using deep learning method | en_US |
| dc.type | Thesis | en_US |
Dosyalar
Orijinal paket
1 - 1 / 1
