Le Challenge ROSE est la première compétition mondiale de robotique et d’intelligence artificielle à mettre en place une évaluation par une tierce partie des performances des robots de désherbage intra-rang en conditions réelles et reproductibles, afin de garantir une évaluation crédible et objective de leur efficacité. Cet article rend compte de la conception et de la validation des installations d’essai pour cette compétition, qui présente une complexité particulière : les évaluations se déroulent en conditions réelles sur parcelles de cultures et visent des organismes (cultures et adventices). De plus, elles nécessitent de garantir la reproductibilité des conditions expérimentales pour assurer la comparabilité des résultats d’évaluation et l’équité de traitement des différents participants. L’article discute également de l’opportunité que représente ce challenge pour définir, de manière consensuelle, les moyens et méthodes de caractérisation de ces systèmes intelligents. Les outils développés dans le cadre de ce challenge établissent les références nécessaires à la conduite de recherches futures dans le domaine de la robotique agricole : les images annotées seront particulièrement utiles à la communauté et le protocole d’évaluation permettra de définir des méthodologies harmonisées au-delà du challenge ROSE.
Après avoir exposé les objectifs du challenge, l’article présentera la méthodologie et les outils développés et utilisés pour permettre une évaluation objective et comparable des performances des systèmes et solutions développées. Enfin, l’article illustrera ce potentiel d’harmonisation et de partage de références au travers de la compétition européenne ACRE du projet européen H2020 METRICS.
The ROSE Challenge is the first global robotics and artificial intelligence competition to implement a third-party evaluation of the performance of robotized intra-row weed control in real and reproducible conditions, to ensure a credible and objective assessment of their effectiveness. This paper reports on the design and validation of test facilities for this competition, which presents a particular complexity: the evaluations take place in real conditions on crop plots and target living organisms (crops and weeds). Moreover, the experimental conditions need to be reproductible to allow for comparison of evaluation results and for fair treatment of different participants. The article also discusses the opportunity this challenge offers to define, in a consensual manner, the means and methods for characterizing these intelligent systems. The tools developed in the framework of this challenge establish the necessary references for future research in the field of agricultural robotics: the annotated images will be particularly useful to the community and the evaluation protocol will allow to define harmonized methodologies beyond the ROSE challenge. After presenting the objectives of the challenge, the article will present the methodology and tools developed and used to allow an objective and comparable evaluation of the performances of the systems and solutions developed. Finally, the article will illustrate this potential for harmonization and sharing of references through the European competition ACRE of the European project H2020 METRICS.
Révisé le :
Accepté le :
Publié le :
Keywords: Artificial Intelligence, evaluation, agriculture, robotics
Rémi Regnier 1 ; Guillaume Avrin 2 ; Virginie Barbosa 2 ; Daniel Boffety 3 ; Anne Kalouguine 2 ; Sophie Lardy-Fontan 4
CC-BY 4.0
@article{ROIA_2021__2_1_11_0,
author = {R\'emi Regnier and Guillaume Avrin and Virginie Barbosa and Daniel Boffety and Anne Kalouguine and Sophie Lardy-Fontan},
title = {Validation de m\'ethodologies d{\textquoteright}\'evaluation de solutions de d\'esherbage autonomes, dans le cadre des projets {Challenge} {ROSE} et {METRICS.}},
journal = {Revue Ouverte d'Intelligence Artificielle},
pages = {11--32},
publisher = {Association pour la diffusion de la recherche francophone en intelligence artificielle},
volume = {2},
number = {1},
year = {2021},
doi = {10.5802/roia.8},
language = {fr},
url = {https://roia.centre-mersenne.org/articles/10.5802/roia.8/}
}
TY - JOUR AU - Rémi Regnier AU - Guillaume Avrin AU - Virginie Barbosa AU - Daniel Boffety AU - Anne Kalouguine AU - Sophie Lardy-Fontan TI - Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS. JO - Revue Ouverte d'Intelligence Artificielle PY - 2021 SP - 11 EP - 32 VL - 2 IS - 1 PB - Association pour la diffusion de la recherche francophone en intelligence artificielle UR - https://roia.centre-mersenne.org/articles/10.5802/roia.8/ DO - 10.5802/roia.8 LA - fr ID - ROIA_2021__2_1_11_0 ER -
%0 Journal Article %A Rémi Regnier %A Guillaume Avrin %A Virginie Barbosa %A Daniel Boffety %A Anne Kalouguine %A Sophie Lardy-Fontan %T Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS. %J Revue Ouverte d'Intelligence Artificielle %D 2021 %P 11-32 %V 2 %N 1 %I Association pour la diffusion de la recherche francophone en intelligence artificielle %U https://roia.centre-mersenne.org/articles/10.5802/roia.8/ %R 10.5802/roia.8 %G fr %F ROIA_2021__2_1_11_0
Rémi Regnier; Guillaume Avrin; Virginie Barbosa; Daniel Boffety; Anne Kalouguine; Sophie Lardy-Fontan. Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS.. Revue Ouverte d'Intelligence Artificielle, Volume 2 (2021) no. 1, pp. 11-32. doi : 10.5802/roia.8. https://roia.centre-mersenne.org/articles/10.5802/roia.8/
[1] Recasting robotics challenges as experiments, IEEE Robotics and Automation Magazine, Volume 18 (2011) no. 2, pp. 10-11
[2] Standard Test Method for Evaluating Response Robot Sensing : Visual Acuity, ASTM International, 2017 (E2566-17a)
[3] Design and validation of testing facilities for weeding robots as part of ROSE Challenge, Evaluating Progress in IA (EPAI) (2020)
[4] Boosting agricultural scientific research and innovation, 3rd RDV Techniques AXEMA February 23, 2019, SIMA, France (2019)
[5] Robot competitions-ideal benchmarks for robotics research, Proc. of IROS-2006 Workshop on Benchmarks in Robotics Research (2006. October) | DOI
[6] Fostering progress in performance evaluation and benchmarking of robotic and automation systems, IEEE Robotics and Automation Magazine, Volume 21 (2014) no. 1, pp. 22-25
[7] Matics Software Suite : New Tools for Evaluation and Data Exploration, proc. 11th edition of the Language Resources and Evaluation Conference (2018), pp. 7-12 | DOI
[8] The first official repere evaluation, First Workshop on Speech, Language and Audio in Multimedia (2013) | DOI
[9] Extended named entities annotation in ocred documents : From corpus constitution to evaluation campaign, LREC (2012)
[10] Ready for the agBOT Challenge, Resource Magazine, Volume 26 (2019) no. 3, pp. 8-9
[11] Emergency Response Robot Evaluation Exercise, Proceedings of the Workshop on Performance Metrics for Intelligent Systems (2012), pp. 145-154 | DOI
[12] Standard test methods for response robots, ASTM International Committee on Homeland Security Applications, 2010 | DOI
[13] Using competitions to advance the development of standard test methods for response robots, Proceedings of the Workshop on Performance Metrics for Intelligent Systems (2012. March), pp. 182-189 | DOI
[14] The IWSLT 2019 evaluation campaign, 16th International Workshop on Spoken Language Translation 2019 (2019)
[15] A presentation of the REPERE challenge, 10th International Workshop on Content-Based Multimedia Indexing (CBMI) (2012), pp. 1-6
[16] Robocup : The robot world cup initiative, Proceedings of the first international conference on Autonomous agents (1997), pp. 340-347
[17] Rockin and the european robotics league : building on robocup best practices to promote robot competitions in europe, Robot World Cup, Springer, Cham, 2016, pp. 181-192
[18] First maurdor 2013 evaluation campaign in scanned document image processing, 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (2014), pp. 5090-5094
[19] The DARPA robotics challenge, IEEE Robotics and Automation Magazine, Volume 20 (2013) no. 2, pp. 10-12
[20] Question Answering on web data : the QA evaluation in Quæro, Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10) (2010)
[21] agBOT 2017 Challenge Autonomous Corn Seeding Tractor, Cal Poly, 2017
[22] et al. The Interspeech 2018 computational paralinguistics challenge : Atypical & self-assessed affect, crying & heart beats, Proceedings of the INTERSPEECH International Conference (2018)
[23] The ICRA 2017 Robot Challenges Competitions, IEEE Robotics and Automation Magazine, Volume 24 (2017) no. 3, pp. 15-21
Cité par Sources :