Zarządzanie usterkami jest kosztownym procesem, a ręczna analiza danych wymaga znacznych zasobów. Nowoczesne systemy zarządzania usterkami w oprogramowaniu mogą być wyposażone w funkcję automatycznego przypisywania usterek, która ułatwia klasyfikację usterek lub przypisywanie usterek do właściwej grupy programistów. Dla wsparcia systemów decyzyjnych korzystne byłoby wprowadzenie informacji związanych z wytłumaczalnością. Celem tej pracy jest ocena możliwości wykorzystania wyjaśnialnej sztucznej inteligencji (XAI) w procesach związanych z tworzeniem oprogramowania i klasyfikacją usterek na podstawie raportów o usterkach tworzonych przez testerów oprogramowania lub użytkowników oprogramowania. Badania przeprowadzono na dwóch różnych zbiorach danych. Pierwszy z nich związany jest z klasyfikacją raportów o usterkach związanych z bezpieczeństwem i niezwiązanych z bezpieczeństwem. Dane te pochodzą od firmy telekomunikacyjnej, która opracowuje rozwiązania programowe i sprzętowe dla operatorów komórkowych. Drugi zestaw danych zawiera listę usterek oprogramowania pobranych z projektu opensource. W tym zestawie danych zadanie polega na sklasyfikowaniu problemów za pomocą jednej z następujących etykiet: awaria, pamięć, wydajność i bezpieczeństwo. Badania przeprowadzone przy użyciu algorytmów związanych z XAI pokazują, że nie ma większych różnic w wynikach algorytmów stosowanych przy porównywaniu ich z innymi. Dzięki temu nie tylko użytkownicy mogą uzyskać wyniki z ewentualnymi wyjaśnieniami lub eksperci mogą zweryfikować model lub jego część przed wprowadzeniem do produkcji, ale także nie zapewnia to degradacji dokładności. Badania wykazały, że można to zastosować w praktyce, ale do tej pory tego nie zrobiono.
Bibliografia
Aleithan R.: Explainable Just-In-Time Bug Prediction: Are We There Yet? 43rd International Conference on Software Engineering: Companion Proceedings (ICSE-Companion), 2021, 129–131 [http://doi.org/10.1109/ICSE-Companion52605.2021.00056].
Anjali, Mohan D., Sardana N.: Visheshagya: Time based expertise modelfor bug report assignment. Ninth International Conference on Contemporary Computing (IC3), 2016, 1–6 [http://doi.org/10.1109/IC3.2016.7880218].
Barredo Arrieta A. et al.: Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion 58, 2020, 82–115 [http://doi.org/10.1016/j.inffus.2019.12.012].
Behl D., Handa S., Arora A.: A bug Mining tool to identify and analyze security bugs using Naive Bayes and TF-IDF. International Conference on Reliability Optimization and Information Technology (ICROIT), 2014, 294–299 [http://doi.org/10.1109/ICROIT.2014.6798341].
Carlevaro A., Maurizio M.: A New SVDD Approach to Reliable and Explainable AI. IEEE Intelligent Systems 37.2, 2022, 55–68 [http://doi.org/10.1109/ACCESS.2022.3180026].
Carlevaro A. et al.: Counterfactual Building and Evaluation via eXplainable Support Vector Data Description. IEEE Access 10, 2022, [http://doi.org/10.1109/MIS.2021.3123669].
Castelluccio M. et al.: bugbug. Available online: https://github.com/mozilla/bugbug (accessed on 02.11.2022).
Chmielowski L., Kucharzak M.: Impact of Software Bug Report Preprocessing and ectorization on Bug Assignment Accuracy. Progress in Image Processing, Pattern Recognition and Communication Systems. Edited by Michal Choraś, et al.: Springer International Publishing, Cham 2022, 153–162 [http://doi.org/10.1007/978-3-030-81523-3_15].
Choquette-Choo C. A. et al.: A Multi-label, Dual-Output Deep Neural Network for Automated Bug Triaging. 18th IEEE International Conference On Machine Learning And Applications (ICMLA), 2019, 937–944, [http://doi.org/10.1109/ICMLA.2019.00161].
Gujral S., et al.: Classifying bug severity using dictionary based approach. International Conference on Futuristic Trends on Computational Analysis and Knowledge Management (ABLAZE), 2015, 599–602, [http://doi.org/10.1109/ABLAZE.2015.7154933].
Khanan C. et al.: JITBot: An Explainable Just-In-Time Defect Prediction Bot. 35th IEEE/ACM International Conference on Automated Software Engineering (ASE), 2020, 1336–1339.
Lamkanfi A., Pérez J., Demeyer S.: The Eclipse and Mozilla defect tracking dataset: A genuine dataset for mining bug information. 10th Working Conference on Mining Software Repositories (MSR), 2013, 203–206 [http://doi.org/10.1109/MSR.2013.6624028].
Matzka S.: Explainable Artificial Intelligence for Predictive Maintenance Applications. Third International Conference on Artificial Intelligence for Industries (AI4I), 2020, 69–74, [https://doi.org/10.1109/AI4I49448.2020.00023].
Monperrus M.: Explainable Software Bot Contributions: Case Study of Automated Bug Fixes. IEEE/ACM 1st International Workshop on Bots in Software Engineering (BotSE), 2019, 12–15, [http://doi.org/10.1109/BotSE.2019.00010].
Raschka S.: 5x2cv paired ttest. Available online: https://rasbt.github.io/mlxtend/user_guide/evaluate/paired_ttest_5x2cv (accessed on 04.01.2021).
Vilone G. Longo L.: Explainable Artificial Intelligence: a Systematic Review. 2020, [http://doi.org/10.48550/arXiv.2006.00093].