Wymiana wiedzy w niezależnych głębokich sieciach Q

W niniejszym artykule przeanalizowano mechanizmy dzielenia się wiedzą w słabo sprzężonych wieloagentowych systemach uczenia się przez wzmocnienie opartych na niezależnych głębokich sieciach Q (IDQN). Chociaż równoległe działanie agentów może przyspieszyć gromadzenie danych, ich procesy uczenia się zazwyczaj pozostają odizolowane, co skutkuje nieoptymalnym wykorzystaniem zbiorowego doświadczenia. Aby zaradzić temu ograniczeniu, w badaniu zaproponowano dwie uzupełniające się metody: (1) mechanizm wyboru nauczyciela, który identyfikuje najbardziej wydajnego agenta na podstawie wyników epizodycznych, oraz (2) mechanizm kontroli dynamicznej, który dostosowuje intensywność transferu wiedzy w zależności od różnicy w wynikach między nauczycielem a uczniem. Eksperymenty przeprowadzono w środowiskach OpenAI Gym CartPole-v1 i LunarLander-v3 z wykorzystaniem trzech niezależnych agentów, aby zweryfikować skuteczność w zadaniach o różnych strukturach nagród, dynamice i poziomach trudności. Wszyscy agenci byli szkoleni metodą Batch TD(0) na końcu każdego epizodu, z wykorzystaniem powtórki. Transfer wiedzy został zaimplementowany poprzez destylację polityki na podstawie pseudo-oznaczonych przejść pobranych z bufora doświadczeń nauczyciela. Liczba epok destylacji była ustalana dynamicznie przy użyciu nieliniowej funkcji skalującej, ograniczonej z góry zdefiniowanymi wartościami minimalnymi i maksymalnymi. Wyniki pokazują, że proponowane mechanizmy konsekwentnie przyspieszają uczenie się i poprawiają stabilność w porównaniu z podstawowymi konfiguracjami DQN bez dzielenia się wiedzą. Systemy wykorzystujące selekcję nauczyciela osiągają lepsze wyniki niż losowy wybór nauczyciela i dzielenie się wiedzą typu „wszyscy ze wszystkimi”. Dynamiczna regulacja intensywności okazuje się skuteczniejsza niż destylacja o stałej intensywności. Analiza znormalizowanego AUC dodatkowo potwierdza statystycznie istotną poprawę zarówno maksymalnych, jak i średnich zwrotów epizodycznych, wskazując na szybszą konwergencję najlepszego agenta, a także bardziej jednolity postęp wśród wszystkich agentów. Wyniki pokazują, że dzielenie się wiedzą z świadomym wyborem nauczyciela i adaptacyjną siłą transferu zapewnia solidne i skalowalne podejście do poprawy wydajności niezależnych agentów w środowiskach stacjonarnych. Mechanizmy te są kompatybilne z popularnymi rozszerzeniami DQN i mogą służyć jako podstawa dla przyszłych badań nad adaptacyjnymi strategiami wymiany wiedzy między wieloma agentami.