WYDAJNE PRZETWARZANIE DANYCH W TABELI Z MILIARDAMI REKORDÓW
Piotr Bednarczuk
piotr.bednarczuk@wsei.lublin.plUniversity of Economics and Innovation in Lublin, Institute of Computer Science (Polska)
http://orcid.org/0000-0003-1933-7183
Adam Borsuk
University of Economics and Innovation in Lublin, Institute of Computer Science (Polska)
http://orcid.org/0000-0003-2316-1694
Abstrakt
Z biegiem czasu systemy podłączone do baz danych zwalniają. Wynika to zwykle ze wzrostu ilości danych przechowywanych w poszczególnych tabelach, liczonych nawet w miliardach rekordów. Niemniej jednak istnieją metody uniezależnienia szybkości systemu od liczby rekordów w bazie danych. Jednym z tych sposobów jest partycjonowanie tabel. Przy prawidłowym zastosowaniu rozwiązanie to może zapewnić wydajne przetwarzanie danych w bardzo dużych bazach danych nawet po kilku latach działania. Jednak nie wszystko jest tak przewidywalne ponieważ niektóre niepożądane zjawiska ujawniają się dopiero przy bardzo dużej ilości danych. W artykule przedstawiono badanie czasu wykonania tych samych zapytań przy rosnącej liczbie rekordów w tabeli. Badania te ujawniają i przedstawiają moment i okoliczności występowania anomalii dla pewnej liczby rekordów.
Słowa kluczowe:
starzenie się systemów, partycjonowanie, efektywne przetwarzanie danych, miliardy rekordówBibliografia
Bednarczuk P.: Optimization in very large databases by partitioning tables, Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska 10(3), 2020, 95–98.
DOI: https://doi.org/10.35784/iapgos.2056
Google Scholar
Bandle M., Giceva J., Neumann T.: To Partition, or Not to Partition, That is the Join Question in a Real System. International Conference on Management of Data, 2021.
DOI: https://doi.org/10.1145/3448016.3452831
Google Scholar
Kumar A., Jitendra Singh Y.: A Review on Partitioning Techniques in Database. International Journal of Computer Science and Mobile Computing 13(5), 2014, 342–347.
Google Scholar
Microsoft documentation, Data partitioning guidance, https://learn.microsoft.com/en-us/azure/architecture/best-practices/data-partitioning
Google Scholar
Qi W., Song J., Yu-bin B.: Near-uniform Range Partition Approach for Increased Partitioning in Large Database. 2nd IEEE International Conference on Information Management and Engineering, 2010, 101–106.
DOI: https://doi.org/10.1109/ICIME.2010.5477529
Google Scholar
Song J., Bao Y.: NPA: Increased Partitioning Approach for Massive Data in Real-time Data Warehouse. 2nd International Conference on Information Technology Convergence and Services, 2010, 1–6.
DOI: https://doi.org/10.1109/ITCS.2010.5581277
Google Scholar
Tanvi J., Shivani S.: Refreshing Datawarehouse in Near Real-Time. International Journal of Computer Applications 46(18), 2012, 24–29.
Google Scholar
Zheng K. et al.: Data storage optimization strategy in distributed column-oriented database by considering spatial adjacency. Cluster Computing 20, 2017.
DOI: https://doi.org/10.1007/s10586-017-1081-3
Google Scholar
Autorzy
Piotr Bednarczukpiotr.bednarczuk@wsei.lublin.pl
University of Economics and Innovation in Lublin, Institute of Computer Science Polska
http://orcid.org/0000-0003-1933-7183
Autorzy
Adam BorsukUniversity of Economics and Innovation in Lublin, Institute of Computer Science Polska
http://orcid.org/0000-0003-2316-1694
Statystyki
Abstract views: 1743PDF downloads: 146
Licencja
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Na tych samych warunkach 4.0 Miedzynarodowe.
Inne teksty tego samego autora
- Tomasz Rymarczyk, Bartek Przysucha, Marcin Kowalski, Piotr Bednarczuk, ANALIZA DANYCH Z CZUJNIKÓW POMIAROWYCH DO PREDYKCJI W SYSTEMACH KONTROLI PROCESÓW PRODUKCYJNYCH , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 9 Nr 4 (2019)
- Piotr Bednarczuk, OPTYMALIZACJA W BARDZO DUŻYCH BAZACH DANYCH POPRZEZ PARTYCJONOWANIE TABEL , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 10 Nr 3 (2020)
- Piotr Bednarczuk, KASTOMIZACJA OPARTA NA CAD AUTOMATION W PRODUKCJI WKRĘTÓW MEDYCZNYCH PRZY UŻYCIU DRUKU 3D , Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska: Tom 11 Nr 3 (2021)
