Uczenie przez wzmacnianie (RL) to metoda uczenia maszynowego, w której model optymalizuje swoją strategię decyzyjną w oparciu o nagrody lub kary otrzymywane za działania podejmowane w środowisku, często symulowanym. Przykładem zoptymalizowanego procesu może być planowanie pracy w restauracji, gdzie funkcją kosztu jest bezwzględny błąd różnicy między zaplanowanym a rzeczywistym czasem dostawy zamówienia. W planowaniu zadań, RL wyróżnia się zdolnością do radzenia sobie z problemami wymagającymi złożonej sekwencji działań, gdzie tradycyjne algorytmy planowania mogą mieć trudności. Modele RL mogą efektywnie eksplorować przestrzeń rozwiązań, dostosowując swoje decyzje do zmieniających się warunków, co umożliwia dynamiczne i adaptacyjne zarządzanie realizacją zadań. RL to szeroka klasa obejmująca różne podejścia do osiągnięcia celu, a w tym badaniu skupiamy się na wybranych z nich. Trzy popularne metody RL o nazwach DQN, SARSA i TD-AC zostały zaimplementowane oraz ich efektywność została przebadana eksperymentalnie. Badanie przeprowadzono w symulowanym środowisku zaprojektowanym w celu odtworzenia modelu restauracji opartego na dostawach do klientów zdalnych. Model symulacji kuchni został opracowany w oparciu o 65845 zarejestrowanych procesów przygotowywania dań przeprowadzonych w 30 restauracjach zlokalizowanych w całej Polsce. Model kolejkowy FIFO, oparty na regułach, posłużył jako punkt odniesienia do bezwzględnego porównania jakości wygenerowanych harmonogramów. Wyniki pokazują, że dla zdefiniowanego problemu, jakość wyników planowania różni się znacząco w zależności od wyboru algorytmu uczenia. Warto zauważyć, że podejście hybrydowe działało najlepiej w warunkach symulacji, znacznie skracając całkowity czas realizacji w scenariuszu odzwierciedlającym działalność małej, typowej restauracji.
Bibliografia
[1] Deguchi A. et al.: What is society 5.0. Society 5.0, 2020, 1–24.
[2] Dziurzanski P., Zhao S., Indrusiak L. S.: Integrated Process Planning and Scheduling in Commercial Smart Kitchens. arXiv preprint arXiv:1910.03322, 2019.
[3] Dziurzanski P., Kabala K., Konrad A.: A stochastic interval algebra for smart factory process. Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska – IAPGOS 1, 2025, 33–38.
[4] Hamada R., et al.: Cooking navi: assistant for daily cooking in kitchen. 13th annual ACM international conference on Multimedia. 2005.
[5] Kiesel J.: The internet of things in restaurants. 2018 [https://www.manufacturingtomorrow.com/article/2017/03/the-internet-of-things-in-restaurants/9261].
[6] Lei J., Ren X., Fox D.: Fine-grained kitchen activity recognition using rgb-d. ACM Conference on Ubiquitous Computing. 2012.
[7] Mizrahi M., et al.: Digital gastronomy: Methods & recipes for hybrid cooking. 29th Annual Symposium on User Interface Software and Technology. 2016.
[8] Mohan A., Zhang A., Lindauer M.: Structure in Deep Reinforcement Learning: A Survey and Open Problems. Journal of Artificial Intelligence Research 79, 2024, 1167–1236.
[9] Moritz P., et al.: Ray: A distributed framework for emerging {AI} applications. 13th USENIX symposium on operating systems design and implementation –OSDI 18. 2018.
[10] Padakandla S.: A survey of reinforcement learning algorithms for dynamically varying environments. ACM Computing Surveys – CSUR 54(6), 2021, 1–25.
[11] Sutton R. S., Barto A. G.: Reinforcement learning: An introduction. MIT press, 2018.
[12] Ustundag A., Cevikcan E.: Industry 4.0: managing the digital transformation. Springer, 2017.
[13] Van Hasselt H., Guez A., Silver D.: Deep reinforcement learning with double q-learning. AAAI conference on artificial intelligence 30(1), 2016.
[14] Iterative.ai. Data Version Control (DVC). Iterative.ai, 2025 [http://dvc.org] (accessed: 21.08.2025).
[15] MLflow Project (part of LF Projects, LLC). MLflow. MLflow Project, 2025 [http://mlflow.org] (accessed: 21.08.2025).
[16] Project Jupyter. Project Jupyter. Project Jupyter, 2025 [http://jupyter.org] (accessed: 21.08.2025).
[17] PyTorch Foundation. PyTorch. PyTorch Foundation, 2025 [http://pytorch.org] (accessed: 21.08.2025).
[18] Rynek wewnętrzny w 2022 r., Analizy statystyczne. Główny Urząd Statystyczny. 2023.