СROSS-PLATFORMOWE NARZĘDZIA DO MODELOWANIA I ROZPOZNAWANIA ALFABETU PALCOWEGO JĘZYKA GESTÓW
Serhii Kondratiuk
Taras Shevchenko National University of Kyiv (Ukraina)
http://orcid.org/0000-0002-5048-2576
Iurii Krak
krak@univ.kiev.ua1Taras Shevchenko National University of Kyiv, 2Glushkov Institute of Cybernetics of NAS of Ukraine (Ukraina)
http://orcid.org/0000-0002-8043-0785
Waldemar Wójcik
Politechnika Lubelska, Instytut Elektroniki i Technik Informacyjnych (Polska)
http://orcid.org/0000-0002-0843-8053
Abstrakt
Zaproponowano rozwiązanie problemów z alfabetem daktylograficznym w modelowaniu języka gestów i rozpoznawaniu znaków w oparciu o technologie wieloplatformowe. Wydajność modelowania i rozpoznawania może być elastyczna i dostosowana, w zależności od wykorzystywanego sprzętu lub dostępności łącza internetowego. Proponowane podejście dostosowuje złożoność modelu 3D dłoni w zależności od typu procesora, ilości dostępnej pamięci i szybkości połączenia internetowego. Rozpoznawanie znaków odbywa się również z wykorzystaniem technologii międzyplatformowych, a kompromis w zakresie wielkości modelu i wydajności może być dostosowany. Jako narzędzia do rozpoznawania gestów alfabetu wykorzystywane są metody konwolucyjnych sieci neuronowych. Na potrzeby eksperymentu rozpoznawania gestów zebrano zbiór danych obejmujący 50 000 obrazów, przy czym zarejestrowano 50 różnych rąk, a na każdą osobę przypadało prawie 1000 obrazów. Badania eksperymentalne wykazały skuteczność proponowanego podejścia.
Słowa kluczowe:
cross platform, język migowy, alfabet palcowy, modelowanie 3D, konwolucyjne sieci neuronoweBibliografia
Apple Touchless Gesture System for iDevices http://www.patentlyapple.com/patently-apple/2014/12/apple-invents-a-highly-advanced-air-gesturing-system-for-future-idevices-and-beyond.html (available 15.05.2019).
Google Scholar
ASL Sign language dictionary http://www.signasl.org/sign/model (available 15.05.2019).
Google Scholar
Howard A.G., Wang W.: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications https://arxiv.org/pdf/1704.04861.pdf (available 15.05.2019).
Google Scholar
Khan R.Z., Ibraheem N.A., Meghanathan N., et al.: Comparative study of hand gesture recognition system. SIPM, FCST, ITCA, WSE, ACSIT, CS & IT 06/2012, 203–213.
Google Scholar
Krak I., Kondratiuk S.: Cross-platform software for the development of sign communication system: Dactyl language modelling, Proceedings of the 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies, CSIT 1/2017, 167–170 [DOI: 10.1109/STC-CSIT.2017.8098760].
Google Scholar
Krizhevsky I. Sutskever, Hinton G.E.: Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems 2012, 1097–1105.
Google Scholar
Kryvonos I.G., Krak I.V., Barchukova Y., Trotsenko B.A.: Human hand motion parametrization for dactylemes modeling. Journal of Automation and Information Sciences 43(12)/2011, 1–11.
Google Scholar
Kryvonos I.G., Krak I.V., Barmak O.V., Shkilniuk D.V.: Construction and identification of elements of sign communication. Cybernetics and Systems Analysis 49(2)/2013, 163–172.
Google Scholar
Kryvonos I.G., Krak I.V.: Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information. Cybernetics and Systems Analysis 47(4)/2011, 501–505.
Google Scholar
Mell P., Grance T.: The NIST Definition of Cloud Computing (Technical report). National Institute of Standards and Technology: U.S. Department of Commerce, 2011 [DOI:10.6028/NIST.SP.800-145].
Google Scholar
Neff M., Kipp M., Albrecht I., Seidel H.P.: Gesture Modeling and Animation by Imitation. MPI–I 4/2006.
Google Scholar
Ong E.I., et al. : Sign language recognition using sequential pattern trees. Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012, 2200–2207.
Google Scholar
Raheja J.: Android based portable hand sign recognition system. 2015 [DOI: 10.15579/gcsr.vol3.ch1].
Google Scholar
Shapiro A., Chu D., Allen B., Faloutsos P.: Dynamic Controller Toolkit, 2005 http://www.arishapiro.com/Sandbox07_DynamicToolkit.pdf (available 15.05.2019).
Google Scholar
Smith J., Navi R.: The Architecture of Virtual Machines. Computer. IEEE Computer Society 38(5)/2005, 32–38.
Google Scholar
Tensorflow framework documentation https://www.tensorflow.org/api/ (available 15.05.2019).
Google Scholar
The Linux Information Project, Cross-platform Definition.
Google Scholar
Unity3D framework https://unity3d.com/ (available 15.05.2019).
Google Scholar
YAML – The Official YAML Web Site http://yaml.org/ (available 15.05.2019).
Google Scholar
Autorzy
Serhii KondratiukTaras Shevchenko National University of Kyiv Ukraina
http://orcid.org/0000-0002-5048-2576
Autorzy
Iurii Krakkrak@univ.kiev.ua
1Taras Shevchenko National University of Kyiv, 2Glushkov Institute of Cybernetics of NAS of Ukraine Ukraina
http://orcid.org/0000-0002-8043-0785
Autorzy
Waldemar WójcikPolitechnika Lubelska, Instytut Elektroniki i Technik Informacyjnych Polska
http://orcid.org/0000-0002-0843-8053
Statystyki
Abstract views: 334PDF downloads: 178
Licencja
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Na tych samych warunkach 4.0 Miedzynarodowe.
Inne teksty tego samego autora
- Madina Bazarova, Waldemar Wójcik, Gulnaz Zhomartkyzy, Saule Kumargazhanova, Galina Popova , TRANSFER WIEDZY JAKO JEDEN Z CZYNNIKÓW ZWIĘKSZANIA KONKURENCYJNOŚCI UNIWERSYTETU , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 3 (2019)
- Vasyl Kukharchuk, Waldemar Wójcik, Sergii Pavlov, Samoil Katsyv, Volodymyr Holodiuk, Oleksandr Reyda, Ainur Kozbakova, Gaukhar Borankulova , CECHY POMIARÓW DYNAMICZNYCH PRĘDKOŚCI KĄTOWEJ Z WYKORZYSTANIEM ENKODERA , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 12 Nr 3 (2022)
- Liudmyla Shkilniak, Waldemar Wójcik, Sergii Pavlov, Oleg Vlasenko, Tetiana Kanishyna, Irina Khomyuk, Oleh Bezverkhyi, Sofia Dembitska, Orken Mamyrbayev, Aigul Iskakova, EKSPERCKIE SYSTEMY ROZMYTE DO OCENY INTENSYWNOŚCI REAKTYWNEGO OBRZĘKU TKANEK MIĘKKICH U PACJENTÓW Z CUKRZYCĄ , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 12 Nr 3 (2022)
- Waldemar Wójcik, Maksat Kalimoldayev, Yedilkhan Amirgaliyev, Murat Kunelbayev, Aliya Kalizhanova, Ainur Kozbakova, Timur Merembayev, ANALIZA EGZERGETYCZNA KOLEKTORA SŁONECZNEGO DWUOBWODOWEGO Z OBIEGIEM TERMOSYFONU , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 3 (2019)
- Waldemar Wójcik, Aliya Kalizhanova, Gulzhan Kashaganova, Ainur Kozbakova, Zhalau Aitkulov, Zhassulan Orazbekov, BADANIE PARAMETRÓW ŚWIATŁOWODOWYCH SYSTEMÓW POMIAROWYCH , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 2 (2019)
- Zbigniew Omiotek, Waldemar Wójcik, ZASTOSOWANIE METODY HELLWIGA DO REDUKCJI WYMIARU PRZESTRZENI CECH OBRAZÓW USG TARCZYCY , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 4 Nr 3 (2014)
- Saltanat Adikanova, Waldemar Wójcik, Natalya Denissova, Yerzhan Malgazhdarov, Ainagul Kadyrova, WYZNACZENIE WSPÓŁCZYNNIKA PRAWDOPODOBIEŃSTWA RUCHU CZĄSTEK STAŁYCH W TURBULENTNYM PRZEPŁYWIE DYSPERSYJNYM W FAZIE GAZOWEJ , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 2 (2019)
- Ainur Orazayeva , Jamalbek Tussupov, Waldemar Wójcik, Sergii Pavlov, Gulzira Abdikerimova, Liudmyla Savytska, METODY WYKRYWANIA I WYRÓŻNIANIA OBSZARÓW W TEKSTUROWANYCH OBRAZACH BIOMEDYCZNYCH RAKA PIERSI , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 12 Nr 2 (2022)
- Kuanysh Mussilimov, Akhmet Ibraev, Waldemar Wójcik, OPRACOWANIE ZŁOŻONEGO SYTEMU AUTOMATYZACJI ENERGETYKI WIATROWEJ , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 2 (2019)
- Waldemar Wójcik, Batyrbek Suleimenov, Gennadiy Shadrin, Mikhail Shadrin, Dmitriy Porubov, SYSTEM AUTOMATYCZNEGO ZARZĄDZANIA ZESPOŁEM SAMOCHODÓW Z SILNIKAMI DIESLA NA PRZYKŁADZIE TRANSPORTU SAMOCHODOWEGO W KAMIENIOŁOMACH , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 4 Nr 1 (2014)
