OBLICZANIE PRZEPŁYWÓW PRACY BEZ PRZEPŁYWÓW PRACY: PODSTAWOWY ALGORYTM DYNAMICZNEGO KONSTRUOWANIA I PRZESZUKIWANIA NIEJAWNEGO SKIEROWANEGO GRAFU ACYKLICZNEGO W ŚRODOWISKU NIEDETERMINISTYCZNYM
Fedir Smilianets
fedor.smile@gmail.comNational Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" (Ukraina)
https://orcid.org/0000-0002-0061-7479
Oleksii Finogenov
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" (Ukraina)
https://orcid.org/0000-0002-1708-5632
Abstrakt
W artykule przedstawiono nowy algorytm dynamicznego konstruowania i przejść skierowanych grafów acyklicznych (DAG) w systemach zarządzania przepływem pracy, w szczególności tych ukierunkowanych na domeny obliczeń rozproszonych i przetwarzania danych. Tradycyjne systemy zarządzania przepływem pracy opierają się na jawnie zdefiniowanych, sztywnych grafach DAG, które mogą być uciążliwe w utrzymaniu, zwłaszcza w odpowiedzi na częste zmiany lub aktualizacje systemu. Proponowany algorytm pozwala uniknąć konieczności jawnego konstruowania SAG, zamiast tego wybierając dynamiczne podejście, które iteracyjnie buduje i wykonuje przepływy pracy w oparciu o dostępne dane i operacje. Korzystając z kombinacji jednostek, takich jak typ danych, operator i element danych, algorytm niejawnie buduje DAG, upraszczając w ten sposób proces zarządzania przepływami pracy. Demonstrujemy funkcjonalność algorytmu i oceniamy jego wydajność za pomocą serii testów w symulowanym środowisku. W artykule omówiono implikacje tego podejścia, ze szczególnym uwzględnieniem unikania pętli i złożoności obliczeniowej, a także zasugerowano dalsze ulepszenia i potencjalne zastosowania.
Słowa kluczowe:
obliczenia rozproszone, skierowane grafy acykliczne, potokowe przetwarzanie danychBibliografia
Brewer L. E. et al.: Causal inference in cumulative risk assessment: The roles of directed acyclic graphs. Environment International 102, 2017, 30–41 [https://doi.org/https://doi.org/10.1016/j.envint.2016.12.005].
Google Scholar
Colonnelli I. et al.: Bringing AI pipelines onto cloud-HPC: setting a baseline for accuracy of COVID-19 diagnosis. ENEA CRESCO in the Fight Against COVID-19, 2021, 66–73 [https://doi.org/10.5281/ZENODO.5151511].
Google Scholar
Eugster P. Th. et al.: The many faces of publish/subscribe. ACM Comput. Surv. 35(2), 2003, 114–131.
Google Scholar
Ferguson K. D. et al.: Evidence synthesis for constructing directed acyclic graphs (ESC-DAGs): a novel and systematic method for building directed acyclic graphs. International Journal of Epidemiology 49(1), 2019, 322–329 [https://doi.org/10.1093/ije/dyz150].
Google Scholar
Georgeson P. et al.: Bionitio: demonstrating and facilitating best practices for bioinformatics command-line software. GigaScience 8(9), 2019, giz109 [https://doi.org/10.1093/gigascience/giz109].
Google Scholar
Jackson M. et al.: Using prototyping to choose a bioinformatics workflow management system. PLOS Computational Biology 17(2), 2021.
Google Scholar
Autorzy
Fedir Smilianetsfedor.smile@gmail.com
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" Ukraina
https://orcid.org/0000-0002-0061-7479
Autorzy
Oleksii FinogenovNational Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" Ukraina
https://orcid.org/0000-0002-1708-5632
Statystyki
Abstract views: 131PDF downloads: 90
