Depuis plus d’une décennie, la tâche de la patrouille multiagent a attiré l’attention de la communauté multiagent de manière croissante, notamment en raison de son grand nombre d’applications potentielles. Cependant, les algorithmes à base de méthodes d’apprentissage profond pour traiter cette tâche ont jusqu’à présent peu été développés. Dans cet article nous proposons d’intégrer un réseau de neurones récurrent (RNN) à une stratégie de patrouille multiagent en introduisant un modèle formel de stratégie multiagent basée sur l’architecture de RNN LSTM que nous avons nommé LSTM-Path-Maker. Le réseau LSTM est entraîné sur des traces de simulation d’une stratégie coordonnée et centralisée, puis embarqué dans chaque agent en vue de patrouiller une zone le plus efficacement possible sans communication. Enfin, cette nouvelle stratégie basée sur l’architecture LSTM est évaluée en simulation et comparée à deux stratégies représentatives de référence : d’une part une stratégie coordonnée et d’autre part une stratégie réactive. Les résultats indiquent que la stratégie proposée, comparable à une stratégie réactive car non coordonnée, est meilleure que la stratégie réactive.
For over a decade, the multiagent patrol task has received a growing attention from the multiagent community due to its wide range of potential applications. However, the existing patrolling-specific algorithms based on deep learning algorithms are still in preliminary stages. In this paper, we propose to integrate a recurrent neural network as part of a multiagent patrolling strategy. Hence we proposed a formal model of an LSTM-based agent strategy named LSTM Path Maker. The LSTM network is trained over simulation traces of a coordinated strategy, then embedded on each agent of the new strategy to patrol efficiently without communicating. Finally this new LSTM-based strategy is evaluated in simulation and compared with two representative strategies : a coordinated one and a reactive one. Results indicate that the proposed strategy is better than the reactive one.
Révisé le :
Accepté le :
Publié le :
Keywords: Multiagent Systems (MAS), Artificial Neural Networks (ANN), Long Short-Term Memory (LSTM).
Mehdi William Othmani-Guibourg 1 ; Amal El Fallah Seghrouchni 2 ; Jean-Loup Farges 3
CC-BY 4.0
@article{ROIA_2022__3_3-4_345_0,
author = {Mehdi William Othmani-Guibourg and Amal El Fallah Seghrouchni and Jean-Loup Farges},
title = {LSTM {Path-Maker~:} une strat\'egie \`a base de r\'eseau de neurones {LSTM} pour la patrouille multiagent},
journal = {Revue Ouverte d'Intelligence Artificielle},
pages = {345--372},
publisher = {Association pour la diffusion de la recherche francophone en intelligence artificielle},
volume = {3},
number = {3-4},
year = {2022},
doi = {10.5802/roia.34},
language = {fr},
url = {https://roia.centre-mersenne.org/articles/10.5802/roia.34/}
}
TY - JOUR AU - Mehdi William Othmani-Guibourg AU - Amal El Fallah Seghrouchni AU - Jean-Loup Farges TI - LSTM Path-Maker : une stratégie à base de réseau de neurones LSTM pour la patrouille multiagent JO - Revue Ouverte d'Intelligence Artificielle PY - 2022 SP - 345 EP - 372 VL - 3 IS - 3-4 PB - Association pour la diffusion de la recherche francophone en intelligence artificielle UR - https://roia.centre-mersenne.org/articles/10.5802/roia.34/ DO - 10.5802/roia.34 LA - fr ID - ROIA_2022__3_3-4_345_0 ER -
%0 Journal Article %A Mehdi William Othmani-Guibourg %A Amal El Fallah Seghrouchni %A Jean-Loup Farges %T LSTM Path-Maker : une stratégie à base de réseau de neurones LSTM pour la patrouille multiagent %J Revue Ouverte d'Intelligence Artificielle %D 2022 %P 345-372 %V 3 %N 3-4 %I Association pour la diffusion de la recherche francophone en intelligence artificielle %U https://roia.centre-mersenne.org/articles/10.5802/roia.34/ %R 10.5802/roia.34 %G fr %F ROIA_2022__3_3-4_345_0
Mehdi William Othmani-Guibourg; Amal El Fallah Seghrouchni; Jean-Loup Farges. LSTM Path-Maker : une stratégie à base de réseau de neurones LSTM pour la patrouille multiagent. Revue Ouverte d'Intelligence Artificielle, Volume 3 (2022) no. 3-4, pp. 345-372. doi : 10.5802/roia.34. https://roia.centre-mersenne.org/articles/10.5802/roia.34/
[1] Combining idleness and distance to design heuristic agents for the patrolling task, II Brazilian Workshop in Games and Digital Entertainment (2003), pp. 33-40
[2] Recent advances on multi-agent patrolling, Brazilian Symposium on Artificial Intelligence (2004), pp. 474-483
[3] Cooperative multiagent patrolling for detecting multiple illegal actions under uncertainty, 2016 IEEE 28th International Conference on Tools with Artificial Intelligence (ICTAI) (2016), pp. 9-16 | DOI
[4] Multiple-Valued Logic Minimization, Logic Minimization Algorithms for VLSI Synthesis, Springer, 1984, pp. 139-147 | DOI
[5] Probabilistic interpretation of feedforward classification network outputs, with relationships to statistical pattern recognition, Neurocomputing, Springer, 1990, pp. 227-236 | DOI | MR
[6] Theoretical analysis of the multi-agent patrolling problem, Intelligent Agent Technology, 2004.(IAT 2004). Proceedings. IEEE/WIC/ACM International Conference on (2004), pp. 302-308 | DOI
[7] Multirobot behavior synchronization through direct neural network communication, International Conference on Intelligent Robotics and Applications (2012), pp. 603-614 | DOI
[8] Adaptive subgradient methods for online learning and stochastic optimization, Journal of machine learning research, Volume 12 (2011) no. 7, pp. 2121-2159 | MR | Zbl
[9] Frequency-based multi-robot fence patrolling, Bar Ilan Univ., Comput. Sci. Dept., Maverick Group, Tech. Rep, Volume 1 (2008), p. 2008
[10] Framewise phoneme classification with bidirectional LSTM networks, Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Volume 4 (2005), pp. 2047-2052 | DOI
[11] Collaborative robots for infrastructure security applications, Mobile robots : the evolutionary approach, Springer, 2007, pp. 185-200 | DOI
[12] Long short-term memory, Neural computation, Volume 9 (1997) no. 8, pp. 1735-1780 | DOI
[13] Multi-agent movement coordination in patrolling, Proceedings of the 3rd International Conference on Computer and Game (2002), pp. 155-170
[14] Multi-agent patrolling : An empirical analysis of alternative architectures, International Workshop on Multi-Agent Systems and Agent-Based Simulation (2002), pp. 155-170 | DOI | Zbl
[15] Negotiator agents for the patrolling task, Advances in Artificial Intelligence-IBERAMIA-SBIA 2006, Springer, 2006, pp. 48-57 | DOI
[16] Decentralized Multi-agent Patrolling Strategies Using Global Idleness Estimation, International Conference on Principles and Practice of Multi-Agent Systems (2018), pp. 603-611 | DOI
[17] Path Generation with LSTM Recurrent Neural Networks in the context of the Multi-agent Patrolling, 2018 IEEE 30th International Conference on Tools with Artificial Intelligence (ICTAI) (2018), pp. 430-437 | DOI
[18] LSTM Path-Maker : a new LSTM-based strategy for the multi-agent patrolling, 52nd Annual Hawaii International Conference on System Sciences (HICSS) (2019), pp. 616-625 | DOI
[19] Coordination dans les systèmes multi-agents : Le problème de la patrouille en système ouvert, Ph. D. Thesis, Paris 6 (2013)
[20] Multi-agent autonomous patrolling system using ANN and FSM control, 2012 Second Brazilian Conference on Critical Embedded Systems (2012), pp. 48-53 | DOI
[21] The gravitational strategy for the timed patrolling, 2010 22nd IEEE International Conference on Tools with Artificial Intelligence, Volume 1 (2010), pp. 113-120
[22] Multi-agent patrolling with reinforcement learning, Proceedings of the Third International Joint Conference on Autonomous Agents and Multiagent Systems-Volume 3 (2004), pp. 1122-1129 | DOI
Cité par Sources :