ZASTOSOWANIE WYJAŚNIALNEJ SZTUCZNEJ INTELIGENCJI W KLASYFIKACJI USTEREK OPROGRAMOWANIA
Łukasz Chmielowski
lukasz.chmielowski@nokia.comNokia Solutions and Networks sp. z o.o. (Polska)
http://orcid.org/0000-0001-6970-8144
Michał Kucharzak
Nokia Solutions and Networks sp. z o.o. (Polska)
https://orcid.org/0000-0001-5068-5229
Robert Burduk
Politechnika Wrocławska (Polska)
https://orcid.org/0000-0002-3506-6611
Abstrakt
Zarządzanie usterkami jest kosztownym procesem, a ręczna analiza danych wymaga znacznych zasobów. Nowoczesne systemy zarządzania usterkami w oprogramowaniu mogą być wyposażone w funkcję automatycznego przypisywania usterek, która ułatwia klasyfikację usterek lub przypisywanie usterek do właściwej grupy programistów. Dla wsparcia systemów decyzyjnych korzystne byłoby wprowadzenie informacji związanych z wytłumaczalnością. Celem tej pracy jest ocena możliwości wykorzystania wyjaśnialnej sztucznej inteligencji (XAI) w procesach związanych z tworzeniem oprogramowania i klasyfikacją usterek na podstawie raportów o usterkach tworzonych przez testerów oprogramowania lub użytkowników oprogramowania. Badania przeprowadzono na dwóch różnych zbiorach danych. Pierwszy z nich związany jest z klasyfikacją raportów o usterkach związanych z bezpieczeństwem i niezwiązanych z bezpieczeństwem. Dane te pochodzą od firmy telekomunikacyjnej, która opracowuje rozwiązania programowe i sprzętowe dla operatorów komórkowych. Drugi zestaw danych zawiera listę usterek oprogramowania pobranych z projektu opensource. W tym zestawie danych zadanie polega na sklasyfikowaniu problemów za pomocą jednej z następujących etykiet: awaria, pamięć, wydajność i bezpieczeństwo. Badania przeprowadzone przy użyciu algorytmów związanych z XAI pokazują, że nie ma większych różnic w wynikach algorytmów stosowanych przy porównywaniu ich z innymi. Dzięki temu nie tylko użytkownicy mogą uzyskać wyniki z ewentualnymi wyjaśnieniami lub eksperci mogą zweryfikować model lub jego część przed wprowadzeniem do produkcji, ale także nie zapewnia to degradacji dokładności. Badania wykazały, że można to zastosować w praktyce, ale do tej pory tego nie zrobiono.
Słowa kluczowe:
przypisywanie usterek oprogramowania, klasyfikacja usterek oprogramowania, wyjaśnialna sztuczna inteligencja, analiza tekstu, podatnościBibliografia
Aleithan R.: Explainable Just-In-Time Bug Prediction: Are We There Yet? 43rd International Conference on Software Engineering: Companion Proceedings (ICSE-Companion), 2021, 129–131 [http://doi.org/10.1109/ICSE-Companion52605.2021.00056].
DOI: https://doi.org/10.1109/ICSE-Companion52605.2021.00056
Google Scholar
Anjali, Mohan D., Sardana N.: Visheshagya: Time based expertise modelfor bug report assignment. Ninth International Conference on Contemporary Computing (IC3), 2016, 1–6 [http://doi.org/10.1109/IC3.2016.7880218].
DOI: https://doi.org/10.1109/IC3.2016.7880218
Google Scholar
Barredo Arrieta A. et al.: Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion 58, 2020, 82–115 [http://doi.org/10.1016/j.inffus.2019.12.012].
DOI: https://doi.org/10.1016/j.inffus.2019.12.012
Google Scholar
Behl D., Handa S., Arora A.: A bug Mining tool to identify and analyze security bugs using Naive Bayes and TF-IDF. International Conference on Reliability Optimization and Information Technology (ICROIT), 2014, 294–299 [http://doi.org/10.1109/ICROIT.2014.6798341].
DOI: https://doi.org/10.1109/ICROIT.2014.6798341
Google Scholar
Carlevaro A., Maurizio M.: A New SVDD Approach to Reliable and Explainable AI. IEEE Intelligent Systems 37.2, 2022, 55–68 [http://doi.org/10.1109/ACCESS.2022.3180026].
DOI: https://doi.org/10.1109/MIS.2021.3123669
Google Scholar
Carlevaro A. et al.: Counterfactual Building and Evaluation via eXplainable Support Vector Data Description. IEEE Access 10, 2022, [http://doi.org/10.1109/MIS.2021.3123669].
DOI: https://doi.org/10.1109/ACCESS.2022.3180026
Google Scholar
Castelluccio M. et al.: bugbug. Available online: https://github.com/mozilla/bugbug (accessed on 02.11.2022).
Google Scholar
Chmielowski L., Kucharzak M.: Impact of Software Bug Report Preprocessing and ectorization on Bug Assignment Accuracy. Progress in Image Processing, Pattern Recognition and Communication Systems. Edited by Michal Choraś, et al.: Springer International Publishing, Cham 2022, 153–162 [http://doi.org/10.1007/978-3-030-81523-3_15].
DOI: https://doi.org/10.1007/978-3-030-81523-3_15
Google Scholar
Choquette-Choo C. A. et al.: A Multi-label, Dual-Output Deep Neural Network for Automated Bug Triaging. 18th IEEE International Conference On Machine Learning And Applications (ICMLA), 2019, 937–944, [http://doi.org/10.1109/ICMLA.2019.00161].
DOI: https://doi.org/10.1109/ICMLA.2019.00161
Google Scholar
Gujral S., et al.: Classifying bug severity using dictionary based approach. International Conference on Futuristic Trends on Computational Analysis and Knowledge Management (ABLAZE), 2015, 599–602, [http://doi.org/10.1109/ABLAZE.2015.7154933].
DOI: https://doi.org/10.1109/ABLAZE.2015.7154933
Google Scholar
Khanan C. et al.: JITBot: An Explainable Just-In-Time Defect Prediction Bot. 35th IEEE/ACM International Conference on Automated Software Engineering (ASE), 2020, 1336–1339.
DOI: https://doi.org/10.1145/3324884.3415295
Google Scholar
Lamkanfi A., Pérez J., Demeyer S.: The Eclipse and Mozilla defect tracking dataset: A genuine dataset for mining bug information. 10th Working Conference on Mining Software Repositories (MSR), 2013, 203–206 [http://doi.org/10.1109/MSR.2013.6624028].
DOI: https://doi.org/10.1109/MSR.2013.6624028
Google Scholar
Matzka S.: Explainable Artificial Intelligence for Predictive Maintenance Applications. Third International Conference on Artificial Intelligence for Industries (AI4I), 2020, 69–74, [https://doi.org/10.1109/AI4I49448.2020.00023].
DOI: https://doi.org/10.1109/AI4I49448.2020.00023
Google Scholar
Monperrus M.: Explainable Software Bot Contributions: Case Study of Automated Bug Fixes. IEEE/ACM 1st International Workshop on Bots in Software Engineering (BotSE), 2019, 12–15, [http://doi.org/10.1109/BotSE.2019.00010].
DOI: https://doi.org/10.1109/BotSE.2019.00010
Google Scholar
Raschka S.: 5x2cv paired ttest. Available online: https://rasbt.github.io/mlxtend/user_guide/evaluate/paired_ttest_5x2cv (accessed on 04.01.2021).
DOI: https://doi.org/10.1093/noajnl/vdaa143.020
Google Scholar
Vilone G. Longo L.: Explainable Artificial Intelligence: a Systematic Review. 2020, [http://doi.org/10.48550/arXiv.2006.00093].
Google Scholar
Autorzy
Łukasz Chmielowskilukasz.chmielowski@nokia.com
Nokia Solutions and Networks sp. z o.o. Polska
http://orcid.org/0000-0001-6970-8144
Łukasz Chmielowski received a M.Sc. degree with distinction in Computer Science with specialization in Intelligent Information Systems. He is currently working towards Ph.D. in Information and Communication Technology at Wroclaw University of Science and Technology (Poland). He is with the Nokia Solutions and Networks sp. z o.o. (Poland) for five years. He is working with machine learning techniques related to natural language processing and software bug assignment.
Autorzy
Michał KucharzakNokia Solutions and Networks sp. z o.o. Polska
https://orcid.org/0000-0001-5068-5229
Michał Kucharzak received his Ph.D. in computer science in area of network optimization. In recent years, he cooperated with numerous R&D centers and has been a member of reviewer committees for many international journals, program, and technical committees for various conferences as well. His current research interests are primarily in the areas of network modeling and network optimization with special regard to overlays, simulations, design of efficient algorithms and wireless system protocols, including software testing and quality assurance.
Autorzy
Robert BurdukPolitechnika Wrocławska Polska
https://orcid.org/0000-0002-3506-6611
Robert Burduk is Professor of Computer Science in the Department of Systems and Computer Networks, Faculty of Information and Communication Technology, Wroclaw University of Science and Technology, Poland. He received an Ph.D. and D.Sc. degrees in Computer Science in 2003 and 2014 respectively. His research interests cover among the others: machine learning, classifier selection algorithms and multiple classifier systems. He serves on program committees of numerous international conferences, published over 100 papers and edited 5 books.
Statystyki
Abstract views: 474PDF downloads: 258
Licencja
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Na tych samych warunkach 4.0 Miedzynarodowe.
