Žmogaus rankų gestų atpažinimo, taikant intelektualiuosius metodus, taikomieji tyrimai
Katkevičius, Andrius | Recenzentas / Rewiewer |
Žmogaus rankų gestų atpažinimo, taikant intelektualiuosius metodus, taikomieji tyrimai. Baigiamasis magistro darbas informatikos inžinerijos laipsniui. Vilniaus Gedimino technikos universitetas. Vilnius, 2022, 54 p., 38 iliustr., 5 lent., 51 bibl., 3 priedų.Baigiamajame magistro darbe atliekamas teorinis analitinis naujausios mokslinės literatūros apie rankų gestų klasifikavimo metodus tyrimas. Analizės dalyje buvo pateikiama CNN, RNN, LSTM ir 3DCNN tinklų teorinė medžiaga. Empirinio tyrimo metu analizuojami lietuvių kalbos dinaminiai gestai. Duomenų kaupimo tikslu sudarytas automatizuotas duomenų surinkimo algoritmas. Naudojant šį algoritmą surinktas dinaminių lietuvių kalbos gestų rinkinys. Kadrų sekų ilgio mažinimo tikslu sudarytas algoritmas. Eksperimentai vyko dviem etapais: pirmuoju buvo tiriamas pirminio mokymo „Inception-v3” konvoliucinis tinklas kartu su LSTM tinklu, antruoju buvo tiriamas „C3D” architektūros trijų dimensijų konvoliucinis tinklas. Eksperimentų rezultatai parodė, jog „C3D” architektūros tinklas yra greitesnis ir tikslesnis nei CNN-LSTM tinklų sistema.
Applied research of human hands gesture recognition using intelligent methods. Master's thesis for the degree of informatics engineering. Vilnius Gediminas Technical University. Vilnius, 2022, 54 pages, 38 figures, 5 tables, 51 bibliographical entries, 3 appendixes.In the final master's thesis, a theoretical analytical study of the latest scientific literature on the classification methods of hand gestures is performed. The theoretical material of CNN, RNN, LSTM and 3DCNN networks was presented in the analysis part. During the empirical research, the dynamic gestures of the Lithuanian language are analyzed. An automated data collection algorithm has been developed for data collection purpose. A set of dynamic Lithuanian language gestures was collected using this algorithm. An algorithm was developed to reduce the length of frame sequences. The experiments were conducted in two phases: the first investigated the "Inception-v3" convolutional network in conjunction with the LSTM network, and the second investigated the three-dimensional convolutional network of the C3D architecture. Experiments have shown that the ”C3D” architecture network is faster and more accurate than the CNN-LSTM network system.