COMPARISON OF OPTIMIZATION ALGORITHMS OF CONNECTIONIST TEMPORAL CLASSIFIER FOR SPEECH RECOGNITION SYSTEM

Yedilkhan Amirgaliyev; Kuanyshbay Kuanyshbay; Aisultan Shoiynbek

doi:10.35784/iapgos.234

pdf (angielski)

Opublikowane: 2019-09-26

DOI: https://doi.org/10.35784/iapgos.234

Numer Tom 9 Nr 3 (2019)

TRANSFER WIEDZY JAKO JEDEN Z CZYNNIKÓW ZWIĘKSZANIA KONKURENCYJNOŚCI UNIWERSYTETU
Madina Bazarova, Waldemar Wójcik, Gulnaz Zhomartkyzy, Saule Kumargazhanova, Galina Popova

4-9
GENERACJE W SIECIACH BAYESOWSKICH
Alexander Litvinenko, Natalya Litvinenko, Orken Mamyrbayev, Assem Shayakhmetova

10-13
MODEL EDUKACJI INŻYNIERYJNEJ Z WYKORZYSTANIEM PODEJŚCIA KOMPETENCYJNEGO, INŻYNIERII ONTOLOGICZNEJ I INTELIGENTNYCH POŁĄCZEŃ SKŁADNIKÓW WIEDZY
Bulat Kubekov, Leonid Bobrov, Anar Utegenova, Vitaly Naumenko, Raigul Alenova

14-17
OCENA WARTOŚCI DIAGNOSTYCZNEJ METODY OLFAKTOMETRII KOMPUTEROWEJ
Oleg Avrunin, Yana Nosova, Sergii Zlepko, Ibrahim Younouss Abdelhamid , Nataliia Shushliapina

18-21
DIAGNOSTYKA RÓŻNICOWA ASEPTYCZNEGO I SEPTYCZNEGO OBLUZOWANIA PANEWKI ENDOPROTEZY STAWU BIODROWEGO METODAMI TOMOGRAFII POLARYZACYJNEJ
Alexander G. Ushenko, Olexander Olar

22-25
ANALIZA PRZYPADKÓW W OCENIE NIEPEWNOŚCI POMIARU NA POTRZEBY KALIBRACJI
Sarsenbek Zhussupbekov, Svetlana Khan, Lida Ibrayeva

26-29
NARZĘDZIE KONTROLI STĘŻENIA DWUTLENKU WĘGLA W SPALINACH KOTŁÓW PRACUJĄCE NA PODSTAWIE METODY ABSORPCJI OPTYCZNEJ
Oleksandr Vasilevskyi, Ihor Dudatiev, Kostyantyn Ovchynnykov

30-34
ANALIZA EGZERGETYCZNA KOLEKTORA SŁONECZNEGO DWUOBWODOWEGO Z OBIEGIEM TERMOSYFONU
Waldemar Wójcik, Maksat Kalimoldayev, Yedilkhan Amirgaliyev, Murat Kunelbayev, Aliya Kalizhanova, Ainur Kozbakova, Timur Merembayev

35-39
ANALIZA MODELI DYNAMIKI TRANSFORMACJI MATERII ORGANICZNEJ GLEBY
Liubov Shostak, Mykhailo Boiko, Olha Stepanchenko, Olena Kozhushko

40-45
METODA DIAGNOZOWANIA WYTRZYMAŁOŚCI MATERIAŁU WYPEŁNIAJĄCEGO Z WYKORZYSTANIEM SZEREGÓW CZASOWYCH
Salim Mustafin, Marat Arslanov, Abdikarim Zeinullin, Ekaterina Korobova

46-49
ZASTOSOWANIE ALGORTYMU SELEKCJI KLONALNEJ DO SYNTEZY REGULATORA PID SYSTEMÓW MIMO W PRZEMYŚLE PETROCHEMICZNYM
Olga Shiryayeva, Timur Samigulin

50-53
PORÓWNANIE ALGORYTMÓW OPTYMALIZACJI KLASYFIKATORA CZASOWEGO DO SYSTEMU ROZPOZNAWANIA MOWY
Yedilkhan Amirgaliyev, Kuanyshbay Kuanyshbay, Aisultan Shoiynbek

54-57
SYNTEZA NADĄŻNEGO SYSTEMU STEROWANIA PROCESEM FLOTACJI W OPARCIU O ALGORYTM LQR
Shamil Koshimbaey, Zhanar Lukmanova, Andrzej Smolarz, Shynggyskhan Auyelbek

58-61
METODA WYKRYWANIA NIEJEDNORODNOŚCI I DEFEKTÓW W MATERIAŁACH Z WYKORZYSTANIEM CZUJNIKÓW OPARTYCH NA ŚWIATŁOWODOWYCH STRUKTURACH BRAGGA
Łukasz Zychowicz

62-65
PORÓWNANIE WPŁYWU STANDARYZACJI I NORMALIZACJI DANYCH NA SKUTECZNOŚĆ KLASYFIKACJI TEKSTURY TKANKI GĄBCZASTEJ KRĘGOSŁUPA
Róża Dzierżak

66-69
DIAGNOSTYKA PROCESU SPALANIA Z WYKORZYSTANIEM ANALIZY ZMIAN INTENSYWNOŚCI ŚWIECENIA PŁOMIENIA
Żaklin Grądz, Joanna Styczeń

70-73
OPTYMALIZACJA STEROWNIKA CYFROWEGO DLA SYSTEMU REGULACJI STOCHASTYCZNEJ
Igor Golinko, Volodymyr Drevetskiy

74-77
SYSTEM PRZECIWDZIAŁANIA BEZZAŁOGOWYM STATKOM POWIETRZNYM
Nataliia Lishchyna, Valerii Lishchyna, Yuliia Povstiana, Andrii Yashchuk

78-81
ZARZĄDZANIE ROLNICTWEM NA PODSTAWIE TECHNOLOGII INFORMACYJNYCH
Olena Sivakovska, Mykola Rudinets, Mykhailo Poteichuk

82-85
SUBSTANCJE SENSYBILIZUJĄCE I ICH WPŁYW NA SPRAWNOŚĆ BARWNIKOWYCH OGNIW SŁONECZNYCH (DSSC): PRZEGLĄD
Ewelina Krawczak

86-90

Archiwum

2021

Tom 11 Nr 4
2021-12-20 15
Tom 11 Nr 3
2021-09-30 10
Tom 11 Nr 2
2021-06-30 11
Tom 11 Nr 1
2021-03-31 14

2020

Tom 10 Nr 4
2020-12-20 16
Tom 10 Nr 3
2020-09-30 22
Tom 10 Nr 2
2020-06-30 16
Tom 10 Nr 1
2020-03-30 19

2019

Tom 9 Nr 4
2019-12-16 20
Tom 9 Nr 3
2019-09-26 20
Tom 9 Nr 2
2019-06-21 16
Tom 9 Nr 1
2019-03-03 13

2018

Tom 8 Nr 4
2018-12-16 16
Tom 8 Nr 3
2018-09-25 16
Tom 8 Nr 2
2018-05-30 18
Tom 8 Nr 1
2018-02-28 18

2017

Tom 7 Nr 4
2017-12-21 23
Tom 7 Nr 3
2017-09-30 24
Tom 7 Nr 2
2017-06-30 27
Tom 7 Nr 1
2017-03-03 33

Authors

Yedilkhan Amirgaliyev

amir_ed@mail.ru

1 Institute Information and Computational Technologies CS MES RK, Almaty, Kazakhstan, 2 Suleyman Demirel University, Almaty, Kazakhstan

http://orcid.org/0000-0002-6528-0619 ##orcid.unauthenticated##

Kuanyshbay Kuanyshbay

darkhan.kuanyshbay@sdu.edu.kz

1 Institute Information and Computational Technologies CS MES RK, Almaty, Kazakhstan, 2 Suleyman Demirel University, Almaty, Kazakhstan

http://orcid.org/0000-0001-5952-8609 ##orcid.unauthenticated##

Aisultan Shoiynbek

aisultan.shoiynbek@sdu.edu.kz

1 Institute Information and Computational Technologies CS MES RK, Almaty, Kazakhstan, 2 Suleyman Demirel University, Almaty, Kazakhstan

http://orcid.org/0000-0002-9328-8300 ##orcid.unauthenticated##

Abstrakt

W artykule dokonano oceny i porównania wydajności trzech znanych algorytmów optymalizacyjnych (Adagrad, Adam, Momentum) w celu przyspieszenia treningu sieci neuronowej algorytmu CTC do rozpoznawania mowy. Dla algorytmów CTC wykorzystano rekurencyjną sieć neuronową, w szczególności LSTM, która jest efektywnym i często używanym modelem. Dane zostały pobrane z wydziału VCTK Uniwersytetu w Edynburgu. Wyniki algorytmów optymalizacyjnych zostały ocenione na podstawie wskaźników Label error i CTC loss.

Słowa kluczowe:

rekurencyjna sieć neuronowa, metody wyszukiwania, akustyka, język modelowania systemów

Bibliografia

Amirgaliev Y., Hahn M., Mussabayev T.: The speech signal segmentation algorithm using pitch synchronous analysis. Journal Open Computer Science 7(1)/2017, 1–8.

Andrychowicz M., Denil M., Colmenarejo S.G., Hoffman M.W., Pfau D., Schaul T., Shillingford B., de Freitas N.: Learning to learn by gradient descent by gradient descent. 30th Conference on Neural Information Processing Systems NIPS 2016.

Bahdanau D., Cho K., Bengio Y.: Neural machine translation by jointly learning to align and translate. Proc. ICLR, 2015.

Bengio Y., Ducharme R., Vincent P., Jauvin C.: A Neural Probabilistic Language Model. Journal of Machine Learning Research 3/2003, 1137–1155.

Bottou L.: Large-Scale Machine Learning with Stochastic Gradient Descent. NEC Labs America, Princeton.

Duchi J., Hazan E., Singer Y.: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research 12/2011, 2121–2159.

Gales M., Young S.: The Application of Hidden Markov Models in Speech Recognition. Foundations and Trends in Signal Processing 1(3)/2007, 195–304.

Graves A., Fernandez S., Gomez F., Schmidhuber J.: Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA, 2006.

Graves A., Jaitly N.: Towards End-to-End Speech Recognition with Recurrent Neural Networks. Proceedings of the 31st International Conference on Machine Learning 2014.

Kingma D.P., Ba J.: Adam: A Method For Stochastic Optimization. Proc. 3rd International Conference for Learning Representations. 2015 arXiv:1412.6980v9.

Loizou N., Richtarik P.: Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods. 2017, arXiv:1712.09677v2

Mussabayev R.R., Amirgaliyev N., Tairova A.T., Mussabayev T.R., Koibagarov K.C.: The technology for the automatic formation of the personal digital voice pattern. Application of Information and Communication Technologies AICT 2016.

Schuster M., Paliwal K.K.: Bidirectional recurrent neural networks. Signal Processing. IEEE Transactions 45(11)/1997, 2673–2681.

Sutskever I., Vinyals O., Le Q.V.: Sequence to sequence learning with neural networks. Advances in Neural Information Processing Systems 2014, 3104–3112.

Wiseman S., Rush A.M.: Sequence-to-Sequence Learning as Beam-Search Optimization. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing 2016.

Yu D., Li J.: Recent Progresses in Deep Learning based Acoustic Models. Tencent AI Lab, Microsoft AI and Research, 2018.

PORÓWNANIE ALGORYTMÓW OPTYMALIZACJI KLASYFIKATORA CZASOWEGO DO SYSTEMU ROZPOZNAWANIA MOWY. (2019). Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska, 9(3), 54-57. https://doi.org/10.35784/iapgos.234

##plugins.themes.bootstrap3.article.sidebar##

Numer Tom 9 Nr 3 (2019)

Archiwum

##plugins.themes.bootstrap3.article.main##

Authors

Abstrakt

Słowa kluczowe:

Bibliografia

##plugins.themes.bootstrap3.article.details##

Licencja