OPTYMALIZACJA KLASYFIKACJI OBRAZÓW ULTRASONOGRAFICZNYCH TECHNIKĄ TRANSFER LEARNING: STRATEGIE DOSTRAJANIA I WPŁYW KLASYFIKATORA NA WSTĘPNIE WYTRENOWANE WARSTWY WEWNĘTRZNE
Mohamed Bal-Ghaoui
med.balghaoui@gmail.comMohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory (Maroko)
https://orcid.org/0000-0002-2143-6458
My Hachem El Yousfi Alaoui
Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory (Maroko)
https://orcid.org/0000-0003-4285-0540
Abdelilah Jilbab
Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory (Maroko)
https://orcid.org/0000-0002-1577-9040
Abdennaser Bourouhou
Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory (Maroko)
https://orcid.org/0000-0002-6150-5374
Abstrakt
Transfer Learning (TL) to popularna technika głębokiego uczenia stosowana w analizie obrazów medycznych, zwłaszcza gdy ilość danych jest ograniczona. Wykorzystuje ona wstępnie wyszkoloną wiedzę z modeli State-Of-The-Art (SOTA) i zastosowanie ich do konkretnych aplikacji poprzez dostrajanie (Fine-Tuning – FT). Jednak dostrajanie dużych modeli może być czasochłonne, a określenie, których warstw użyć, może stanowić wyzwanie. W niniejszym badaniu przeanalizowano różne strategie dostrajania dla pięciu modeli SOTA (VGG16, VGG19, ResNet50, ResNet101 i InceptionV3) wstępnie wytrenowanych na ImageNet. Zbadano również wpływ klasyfikatora przy użyciu liniowej SVM do klasyfikacji. Eksperymenty przeprowadzono na czterech ogólnodostępnych zbiorach danych ultrasonograficznych związanych z rakiem piersi, rakiem guzków tarczycy i rakiem gruczołów ślinowych. Wyniki są oceniane przy użyciu techniki pięciowarstwowej walidacji krzyżowej, a wskaźniki takie jak dokładność, precyzja i odzyskiwanie są obliczane. Wyniki pokazują, że dostrojenie 15% ostatnich warstw w ResNet50 i InceptionV3 osiąga dobre wyniki. Użycie SVM do klasyfikacji dodatkowo poprawia ogólną wydajność o 6% dla dwóch najlepszych modeli. Badania te zapewniają informacje na temat strategii dostrajania i znaczenia klasyfikatora w uczeniu transferowym dla klasyfikacji obrazów ultrasonograficznych.
Słowa kluczowe:
CNN, transfer learning, dostrajanie, SVM, obrazy ultrasonograficzne, klasyfikacja nowotworówBibliografia
Agarap A. F.: An architecture combining convolutional neural network (cnn) and support vector machine (svm) for image classification. arXiv preprint: 1712.03541, 2017.
Google Scholar
Al-Dhabyani W. et al.: Dataset of breast ultrasound images. Data Brief. 28, 2019, 104863.
DOI: https://doi.org/10.1016/j.dib.2019.104863
Google Scholar
Bal-Ghaoui M. et al.: U-net transfer learning backbones for lesions segmentation in breast ultrasound images. International Journal
Google Scholar
of Electrical and Computer Engineering (IJECE) 13, 2023, 5747, [http://doi.org/10.11591/ijece.v13i5.pp5747-5754].
DOI: https://doi.org/10.11591/ijece.v13i5.pp5747-5754
Google Scholar
Cortes C., Vapnik V.: Support-vector networks. Machine learning 20, 1995, 273–297.
DOI: https://doi.org/10.1007/BF00994018
Google Scholar
Kim H. E. et al.: Transfer learning for medical image classification: A literature review. BMC medical imaging 22(1), 2022, 69.
DOI: https://doi.org/10.1186/s12880-022-00793-7
Google Scholar
Kora P. et al.: Transfer learning techniques for medical image analysis: A review. Biocybernetics and Biomedical Engineering 42(1), 2022, 79–107.
DOI: https://doi.org/10.1016/j.bbe.2021.11.004
Google Scholar
LeCun Y. et al.: Handwritten digit recognition with a back-propagation network. Advances in neural information processing systems 2, 1989.
Google Scholar
Mukhlif A. A. et al.: An extensive review of state-of-the-art transfer learning techniques used in medical imaging: Open issues and challenges. Journal of Intelligent Systems 31(1), 2022, 1085–1111.
DOI: https://doi.org/10.1515/jisys-2022-0198
Google Scholar
Nanni L., Ghidoni S., Brahnam S.: Deep features for training support vector machines. Journal of Imaging 7(9), 2021, 177.
DOI: https://doi.org/10.3390/jimaging7090177
Google Scholar
Pedraza L. et al.: An open access thyroid ultrasound image database. 10th International symposium on medical information processing and analysis 9287, 2015, 188–193.
DOI: https://doi.org/10.1117/12.2073532
Google Scholar
Rodrigues P. S.: Breast ultrasound image. Mendeley Data 1(10), 2017, 17632.
Google Scholar
Ronneberger O., Fischer P., Brox T.: U-net: Convolutional networks for biomedical image segmentation. 18 International Conference Medical Image Computing and Computer-Assisted Intervention – MICCAI, Munich, 2015, 234–241.
DOI: https://doi.org/10.1007/978-3-319-24574-4_28
Google Scholar
Salivary Glands Ultrasound Cases. Website [https://www.ultrasoundcases.info/cases/head-and-neck/salivary-glands/] (accessed: April 15, 2023).
Google Scholar
Samee N. A. et al.: Deep learning cascaded feature selection framework for breast cancer classification: Hybrid cnn with univariate-based approach. Mathematics 10(19), 2022, 3631.
DOI: https://doi.org/10.3390/math10193631
Google Scholar
Shung K. K.: Diagnostic ultrasound: Past, present, and future. Journal of Medical and Biological Engineering 31(6), 2011, 371–374.
DOI: https://doi.org/10.5405/jmbe.871
Google Scholar
Srivastava R., Kumar P.: A cnn-svm hybrid model for the classification of thyroid nodules in medical ultrasound images. International Journal of Grid and Utility Computing 13(6), 2022, 624–639.
DOI: https://doi.org/10.1504/IJGUC.2022.128316
Google Scholar
Tang Y.: Deep learning using linear support vector machines. arXiv, preprint: 1306.0239, 2013.
Google Scholar
Wang Y. et al.: A hybrid classification method of medical image based on deep learning. Research Square, preprint, 2021.
DOI: https://doi.org/10.21203/rs.3.rs-836474/v1
Google Scholar
Wang Y. et al.: The diagnostic value of ultrasound-based deep learning in differentiating parotid gland tumors. Journal of Oncology, 2022.
DOI: https://doi.org/10.1155/2022/8192999
Google Scholar
Xia X. et al.: Deep learning for differentiating benign from malignant parotid lesions on mri images. Frontiers in Oncology 11, 2021, 632104.
DOI: https://doi.org/10.3389/fonc.2021.632104
Google Scholar
Yu X. et al.: Transfer learning for medical images analyses: A survey. Neurocomputing 489, 2022, 230–254.
DOI: https://doi.org/10.1016/j.neucom.2021.08.159
Google Scholar
Autorzy
Mohamed Bal-Ghaouimed.balghaoui@gmail.com
Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory Maroko
https://orcid.org/0000-0002-2143-6458
Autorzy
My Hachem El Yousfi AlaouiMohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory Maroko
https://orcid.org/0000-0003-4285-0540
Autorzy
Abdelilah JilbabMohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory Maroko
https://orcid.org/0000-0002-1577-9040
Autorzy
Abdennaser BourouhouMohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department, E2SN Research Laboratory Maroko
https://orcid.org/0000-0002-6150-5374
Statystyki
Abstract views: 84PDF downloads: 104
Licencja
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Na tych samych warunkach 4.0 Miedzynarodowe.
Inne teksty tego samego autora
- Ihssane Khallassi, My Hachem El Yousfi Alaoui, Abdelilah Jilbab, SEGMENTACJA MAS NOWOTWOROWYCH NA OBRAZACH ULTRASONOGRAFII PIERSI Z UŻYCIEM ZMODYFIKOWANEGO MODELU U-NET , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 13 Nr 3 (2023)
- Maroua Guissi, My Hachem El Yousfi Alaoui, Larbi Belarbi, Asma Chaik, IoT DO PREDYKCYJNEJ KONSERWACJI KRYTYCZNEGO SPRZĘTU MEDYCZNEGO W STRUKTURZE SZPITALA , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 14 Nr 2 (2024)
