Method of hybrid logical classification trees based on group selection of discrete features

W artykule rozważono problemy związane z automatyzacją tworzenia drzew klasyfikacyjnych w oparciu o schemat rozgałęzionego wyboru cech. Przedmiotem badań są drzewa klasyfikacyjne. Tematem badań są metody, algorytmy i schematy tworzenia drzew klasyfikacyjnych. Celem niniejszej pracy jest opracowanie skutecznej metody (schematu) syntezy modeli drzew klasyfikacyjnych w oparciu o grupową ocenę znaczenia cech dyskretnych w ramach rozgałęzionego wyboru atrybutów. Zaproponowano metodę konstruowania drzew klasyfikacyjnych, która dla danej próbki szkoleniowej określa indywidualną zawartość informacyjną (znaczenie) grup cech (i ich kombinacji) w odniesieniu do wartości początkowej funkcji klasyfikacyjnej (dane z próbki szkoleniowej). Opracowana metoda drzewa logicznego, podczas konstruowania kolejnego węzła drzewa klasyfikacyjnego, próbuje zidentyfikować grupę najbardziej powiązanych ze sobą cech dyskretnych, co zmniejsza ogólną złożoność strukturalną modelu (liczbę poziomów drzewa klasyfikacyjnego), przyspiesza obliczenia podczas rozpoznawania obiektów na podstawie modelu, a także zwiększa właściwości uogólniające modelu i jego przedsiębiorstwa. Proponowany schemat wyboru grup cech dyskretnych pozwala na wykorzystanie skonstruowanego drzewa decyzyjnego do oceny wartości informacyjnej (znaczenia) cech. Opracowana metoda drzewa klasyfikacyjnego została zaimplementowana programowo i zbadana podczas rozwiązywania problemu klasyfikacji obiektów dyskretnych reprezentowanych przez zbiór cech. Przeprowadzone eksperymenty potwierdziły funkcjonalność proponowanego wsparcia matematycznego i pozwalają nam polecić je do praktycznego zastosowania w rozwiązywaniu problemów stosowanych związanych z klasyfikacją obiektów dyskretnych w oparciu o logiczne drzewa klasyfikacyjne. Perspektywy dalszych badań mogą polegać na stworzeniu zmodyfikowanej metody logicznego drzewa klasyfikacyjnego poprzez skuteczne iterowanie i ocenę zestawów cech elementarnych w oparciu o proponowaną metodę, optymalizację jej implementacji programowych oraz eksperymentalne badanie proponowanej metody na szerszym zestawie problemów stosowanych.

Słowa kluczowe:

drzewa decyzyjne, klasyfikator, cecha dyskretna, kryterium rozgałęzienia

Bibliografia

[1] Bodyanskiy Y., et al.: Hybrid neuro-neo-fuzzy system and its adaptive learning algorithm. Xth International Conference on Computer Science and Information Technologies – CSIT 2015, Ukraine, 2015, 111–114.

[2] Bodyanskiy Y.V., Shafronenko A.Y., Pliss I.P.: Credibilistic fuzzy clustering based on evolutionary method of crazy cats. System Research and Information Technologies 3, 2021, 110–119 [https://doi.org/10.20535/SRIT.2308-8893.2021.3.09].

[3] Breiman L. L., et al.: Classification and regression trees. Chapman and Hall, 1984.

[4] Dang M., et al.: Computer Vision for Plant Disease Recognition: A Comprehensive Review. The Botanical Review 90(3), 2024, 251–311 [https://doi.org/10.1007/s12229-024-09299-z].

[5] De Mántaras R. L.: A distance-based attribute selection measure for decision tree induction. Machine learning 6(1), 1991, 81–92.

[6] Deng H., Runger G., Tuv E.: Bias of importance measures for multi-valued attributes and solutions. 21st International Conference on Artificial Neural Networks – ICANN 2011, Finland, 2011, Part II, 293–300 [https://doi.org/0.1007/978-3-642-21738-8_38].

[7] Ferreira J. J., de Souza Monteiro M.: Do ML Experts Discuss Explainability for AI Systems? A discussion case in the industry for a domain-specific solution. arXiv, 2002.12450, 2020.

[8] Hastie T., Tibshirani R., Friedman J.: The Elements of Statistical Learning. Springer, 2008.

[9] Harakannanavar S. S., et al.: Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Proceedings 3(1), 2022, 305–310 [https://doi.org/10.1016/j.gltp.2022.03.016].

[10] Imamovic D., Babovic E., Bijedic N.: Prediction of mortality in patients with cardiovascular disease using data mining methods. 19th International Symposium Infoteh-Jahorina – INFOTEH, Bosnia and Herzegovina, 2020, 1–4 [https://doi.org/10.1109/INFOTEH48170.2020.9066297].

[11] Jaman S. F. I., Anshari M.: Facebook as marketing tools for organizations: Knowledge management analysis. Dynamic perspectives on globalization and sustainable business in Asia. IGI Global 2019, 92–105 [https://doi.org/10.4018/978-1-5225-7095-0.ch007].

[12] Kamiński B., Jakubczyk M., Szufel P.: A framework for sensitivity analysis of decision trees. Central European Journal of Operations Research 26(1), 2017, 135–159.

[13] Karimi K., Hamilton H.: Generation and Interpretation of Temporal Decision Rules. International Journal of Computer Information Systems and Industrial Management Applications 3, 2011, 314–323.

[14] Kintonova A., et al.: Improvement of iris recognition technology for biometric identification of a person. Eastern-European Journal of Enterprise Technologies 6(2(120)), 2023, 60–69 [https://doi.org/10.15587/1729-4061.2022.269948].

[15] Koskimaki H., et al.: Two-level clustering approach to training data instance selection: a case study for the steel industry. IEEE International Joint Conference on Neural Networks – IJCNN 2008, Hong Kong, 2008, 3044–3049 [https://doi.org/10.1109/ijcnn.2008.4634228].

[16] Kotsiantis S. B.: Supervised Machine Learning: A Review of Classification Techniques. Informatica 31, 2007, 249–268.

[17] Miyakawa M.: Criteria for selecting a variable in the construction of efficient decision trees. IEEE Transactions on Computers 38(1), 1989, 130–141.

[18] Nayak A., et al.: Leveraging BERT-Enhanced MLP Classifier for Automated Stress Detection in Social Media Articles. International Conference on Advances in Computing Research on Science Engineering and Technology –ACROSET, IEEE, 2024 [https://doi.org/10.1109/ACROSET62108.2024.10743857].

[19] Orazbayev B., et al.: Decision-making in the fuzzy environment on the basis of various compromise schemes. Procedia computer science 120, 2017, 945–952 [https://doi.org/10.1016/j.procs.2017.11.330].

[20] Painsky A., Rosset S.: Cross-validated variable selection in tree-based methods improves predictive performance. IEEE Transactions on Pattern Analysis and Machine Intelligence 39(11), 2017, 2142–2153 [https://doi:10.1109/tpami.2016.2636831].

[21] Povkhan I.: Classification models of flood-related events based on algorithmic trees. Eastern-European Journal of Enterprise Technologies 6(4), 2020, 58–68 [https://doi.org/10.15587/1729-4061.2020.219525].

[22] Povkhan I., et al.: The issue of efficient generation of generalized features in algorithmic classification tree methods. IEEE Third International Conference on Data Stream Mining & Processing – DSMP–2020, Ukraine, 2020, 98–113.

[23] Povkhan I., Lupei M.: The algorithmic classification trees. IEEE Third International Conference on Data Stream Mining & Processing (DSMP–2020), Ukraine, 2020, 37–44.

[24] Quinlan J. R.: Induction of Decision Trees. Machine Learning 1, 1986, 81–106.

[25] Rabcan J., et al.: Application of Fuzzy Decision Tree for Signal Classification. IEEE Transactions on Industrial Informatics 15(10), 2019, 5425–5434 [https://doi.org/10.1109/tii.2019.2904845].

[26] Shyshatskyi A.: Complex Methods of Processing Different Data in Intellectual Systems for Decision Support System. International Journal of Advanced Trends in Computer Science and Engineering 9(4), 2020, 5583–5590 [https://doi.org/10.30534/ijatcse/2020/206942020].

[27] Strilets V. E., et al.: Methods of machine learning in the problems of system analysis and decision making. Karazin Kharkiv National University, 2020.

[28] Subbotin S. A.: Construction of decision trees for the case of low-information features. Radio Electronics, Computer Science, Control 1, 2019, 121–130 [https://doi.org/10.15588/1607-3274-2019-1-12].

[29] Wang M., Deng W.: Deep face recognition: A survey. Neurocomputing 429, 2021, 215–244 [https://doi.org/10.1109/SIBGRAPI.2018.00067].

[30] Zhuravlev Y. I., Nikiforov V. V.: Recognition algorithms based on the calculation of estimates. Cybernetics 3, 1971, 1–11.

Metoda hybrydowych logicznych drzew klasyfikacyjnych opartych na grupowym wyborze cech dyskretnych. (2025). Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska, 15(3), 15-21. https://doi.org/10.35784/iapgos.6957

##plugins.themes.bootstrap3.article.sidebar##

Numer Tom 15 Nr 3 (2025)

Archiwum

##plugins.themes.bootstrap3.article.main##

Authors

Abstrakt

Słowa kluczowe:

Bibliografia

##plugins.themes.bootstrap3.article.details##

Licencja