Robust deepfake detection using Long Short-Term Memory networks for video authentication

W ostatnich latach techniki generowania i manipulowania treściami multimedialnymi osiągnęły wyjątkowo wysoki stopień realizmu. Według badań, 25 procent wideo oglądanych przez widzów jest fałszywych. Coraz bardziej zacierająca się różnica między autentycznymi a syntetycznymi mediami stwarza poważne obawy dotyczące bezpieczeństwa, z możliwością wykorzystania w różnych dziedzinach. Zagrożenia te obejmują manipulowanie opinią publiczną podczas procesów wyborczych, popełnianie oszustw, rozpowszechnianie dezinformacji w celu zdyskredytowania osób lub podmiotów oraz ułatwianie szantażu. Wykrywanie fałszywych wideo jest trudne, a badania pokazują, że ponad 70 procent widzów ma trudności z ich dokładną identyfikacją. Aby przeciwdziałać temu problemowi, opracowaliśmy niniejszy projekt, którego głównym celem jest skonstruowanie modelu zdolnego do odróżniania deepfake’ów od autentycznych informacji wideo. Proponowany model działa na poziomie wideo, analizując całych wideo jednocześnie, zapewnić ich kompleksową ocenę. Zbiór danych wykorzystany do szkolenia i oceny pochodzi z repozytoriów takich jak DFDC, FaceForensics++ i Celeb-DF. Zbiory danych pochodzące z DFDC i Celeb-Df są konwertowane na klatki; w tej architekturze pierwsze narzędzie do rozpoznawania twarzy jest używane do ich wykrywania, następnie ResNext do ekstrakcji cech, a LSTM jest używany do klasyfikacji wideo.

Słowa kluczowe:

wykrywanie deepfake'ów, fałszywe wideo, rozpoznawanie cech, głębokie uczenie, ResNext, Long Short-Term Memory

Bibliografia

[1] Bonettini N. et al.: Video face manipulation detection through ensemble of cnns. 25th international conference on pattern recognition (ICPR). IEEE, 2021.

[2] Cozzolino D. et al.: Id-reveal: Identity-aware deepfake video detection. IEEE/CVF International Conference on Computer Vision, 2021.

[3] Deng L., Suo H., Li D.: Deepfake Video Detection Based on EfficientNet‐V2 Network. Computational Intelligence and Neuroscience, 2022, 3441549.

[4] Gu Z. et al.: Spatiotemporal inconsistency learning for deepfake video detection. 29th ACM international conference on multimedia, 2021.

[5] Ismail A. et al.: A new deep learning-based methodology for video deepfake detection using XGBoost. Sensors 21(16), 2021, 5413.

[6] Jung T., Kim S., Kim K.: Deepvision: Deepfakes detection using human eye blinking pattern. IEEE Access 8, 2020, 83144–83154.

[7] Khan S. A., Dai H.: Video transformer for deepfake detection with incremental learning. 29th ACM International Conference on Multimedia, 2021.

[8] Kumar M., Sharma H. K.: A GAN-based model of deepfake detection in social media. Procedia Computer Science 218, 2023, 2153–2162.

[9] Li X. et al.: Sharp multiple instance learning for deepfake video detection. 28th ACM International Conference on Multimedia, 2020.

[10] Malik M. H. et al.: Frequency-based deep-fake video detection using deep learning methods. Journal of Computing & Biomedical Informatics 4(02), 2023, 41–48.

[11] Mittal T. et al.: Emotions don't lie: An audio-visual deepfake detection method using affective cues. 28th ACM International Conference on Multimedia, 2020.

[12] Patel Y. et al.: Deepfake generation and detection: Case study and challenges. IEEE Access 11, 2023, 143296–143323.

[13] Tran V.-N. et al.: Generalization of forgery detection with meta deepfake detection model. IEEE Access 11, 2022, 535–546.

[14] Vashishtha S. et al.: Optifake: optical flow extraction for deepfake detection using ensemble learning technique. Multimedia Tools and Applications 83(32), 2024, 77509–77527

[15] Wodajo D., Atnafu S.: Deepfake video detection using convolutional vision transformer. arXiv 2102.11126, 2021.

[16] Zhang L. et al.: Unsupervised learning-based framework for deepfake video detection. IEEE Transactions on Multimedia 25, 2022, 4785–4799.

[17] Zhao C. et al.: ISTVT: interpretable spatial-temporal video transformer for deepfake detection. IEEE Transactions on Information Forensics and Security 18, 2023, 1335–1348.

[18] Zi B. et al.: Wilddeepfake: A challenging real-world dataset for deepfake detection. 28th ACM International Conference on Multimedia, 2020.

Skuteczne wykrywanie deepfake’ów przy użyciu sieci Long Short-Term Memory do autentykacji wideo. (2025). Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska, 15(1), 105-108. https://doi.org/10.35784/iapgos.6777

##plugins.themes.bootstrap3.article.sidebar##

Numer Tom 15 Nr 1 (2025)

Archiwum

##plugins.themes.bootstrap3.article.main##

Authors

Abstrakt

Słowa kluczowe:

Bibliografia

##plugins.themes.bootstrap3.article.details##

Licencja