Robot Kolu ile Hareketli Nesnenin Segmentasyonu ve Kavranması için Derin Öğrenme Tabanlı Bir Yaklaşım

Teknolojik ürünler ve yazılımlar insan hayatında her geçen gün daha fazla yer edinmeye başlamıştır. Özellikle otonom robot ve yapay zekâ günlük hayatta kullanılır hale gelmiştir. Bu sebeple robotların otonom olarak çalışması için geliştirilen sistemler önem kazanmaktadır. Sanayi gibi ağır işlerde de aktif olarak görev alan robotlar, kamera ve sensörler sayesinde sabit görevler dışında da çalışabilmektedir. Kamera, sensör ve derin öğrenmenin yardımı ile robotlar adeta göz ve beyine sahip olmaktadır. Bu tez çalışmasında konveyör bant üzerinde hareket eden nesnelerin derin öğrenme ile tanınıp robot kol ile kavranması için bir uygulama gerçekleştirilmiştir. Farklı boyutlarda ve renklerde şişe ve meyve suyu kutularından oluşan hedef nesneler karmaşık sahneler içerisinde derin öğrenme tabanlı YOLO algoritması ile tespit edilmektedir. Ayrıca kavrama için çok önemli olan robot kolun konumlandırma işlemi de gerçekleştirilmektedir. Nesneler tespit edildikten sonra görüntü işleme yöntemleri ile nesnelerin yönü ve uzunlukları hesaplanmıştır. Daha sonra şablon eşleştirme ile nesnelerin hızları hesaplanmıştır. Kavrama için gerekli bilgiler elde edildikten sonra Yapay Sinir Ağları (YSA) ile robot kol konumlandırılmıştır. Ardından nesnenin geliş açısı, pozisyonu ve hızına göre kavrama gerçekleştirilmiştir. Yapılan denemeler sonucunda %91.75’lik başarı elde edilmiştir.

Technological products and software have started to take more and more place in human life day by day. Especially autonomous robot and artificial intelligence have become used even in daily life. For this reason, systems developed for robots to work autonomously have also gained importance. Robots, which are actively involved in heavy works such as industry, can also work outside fixed tasks thanks to cameras and sensors. With the help of these elements and deep learning, robots almost have eyes and brains. In this thesis, an application has been carried out in order to recognize the objects moving on the conveyor belt with deep learning and grasp them with the robot arm. Target objects consisting of bottles of different sizes and colors and juice boxes of different colors are recognized by deep learning-based YOLO in complex scenes. In addition, with YOLO, positioning, which is very important for gripping, is carried out at the same time. After the object was detected, the direction and length of the objects were calculated using image processing methods. Then, the velocities of the objects were calculated by template matching. After obtaining the necessary information for gripping, the robot arm is positioned with ANN and waiting for gripping. As a result of the trials, 91.75% successful grasping was achieved.