Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS.
Revue Ouverte d'Intelligence Artificielle, Volume 2 (2021) no. 1, pp. 11-32.

Le Challenge ROSE est la première compétition mondiale de robotique et d’intelligence artificielle à mettre en place une évaluation par une tierce partie des performances des robots de désherbage intra-rang en conditions réelles et reproductibles, afin de garantir une évaluation crédible et objective de leur efficacité. Cet article rend compte de la conception et de la validation des installations d’essai pour cette compétition, qui présente une complexité particulière  : les évaluations se déroulent en conditions réelles sur parcelles de cultures et visent des organismes (cultures et adventices). De plus, elles nécessitent de garantir la reproductibilité des conditions expérimentales pour assurer la comparabilité des résultats d’évaluation et l’équité de traitement des différents participants. L’article discute également de l’opportunité que représente ce challenge pour définir, de manière consensuelle, les moyens et méthodes de caractérisation de ces systèmes intelligents. Les outils développés dans le cadre de ce challenge établissent les références nécessaires à la conduite de recherches futures dans le domaine de la robotique agricole  : les images annotées seront particulièrement utiles à la communauté et le protocole d’évaluation permettra de définir des méthodologies harmonisées au-delà du challenge ROSE.

Après avoir exposé les objectifs du challenge, l’article présentera la méthodologie et les outils développés et utilisés pour permettre une évaluation objective et comparable des performances des systèmes et solutions développées. Enfin, l’article illustrera ce potentiel d’harmonisation et de partage de références au travers de la compétition européenne ACRE du projet européen H2020 METRICS.

The ROSE Challenge is the first global robotics and artificial intelligence competition to implement a third-party evaluation of the performance of robotized intra-row weed control in real and reproducible conditions, to ensure a credible and objective assessment of their effectiveness. This paper reports on the design and validation of test facilities for this competition, which presents a particular complexity: the evaluations take place in real conditions on crop plots and target living organisms (crops and weeds). Moreover, the experimental conditions need to be reproductible to allow for comparison of evaluation results and for fair treatment of different participants. The article also discusses the opportunity this challenge offers to define, in a consensual manner, the means and methods for characterizing these intelligent systems. The tools developed in the framework of this challenge establish the necessary references for future research in the field of agricultural robotics: the annotated images will be particularly useful to the community and the evaluation protocol will allow to define harmonized methodologies beyond the ROSE challenge. After presenting the objectives of the challenge, the article will present the methodology and tools developed and used to allow an objective and comparable evaluation of the performances of the systems and solutions developed. Finally, the article will illustrate this potential for harmonization and sharing of references through the European competition ACRE of the European project H2020 METRICS.

Reçu le :
Révisé le :
Accepté le :
Publié le :
DOI : 10.5802/roia.8
Mot clés : Intelligence Artificielle, évaluation, agriculture, robotique
Keywords: Artificial Intelligence, evaluation, agriculture, robotics

Rémi Regnier 1 ; Guillaume Avrin 2 ; Virginie Barbosa 2 ; Daniel Boffety 3 ; Anne Kalouguine 2 ; Sophie Lardy-Fontan 4

1 LNE, Département de l’évaluation de l’IA et de la robotique, 29 avenue Roger Hennequin, 78197 Trappes, France
2 LNE, Trappes, France
3 INRAE, Domaine des Palaquins, 40 route de Chazeuil, 03150 Montoldre, France
4 LNE, Paris, France
Licence : CC-BY 4.0
Droits d'auteur : Les auteurs conservent leurs droits
@article{ROIA_2021__2_1_11_0,
     author = {R\'emi Regnier and Guillaume Avrin and Virginie Barbosa and Daniel Boffety and Anne Kalouguine and Sophie Lardy-Fontan},
     title = {Validation de m\'ethodologies d{\textquoteright}\'evaluation de solutions de d\'esherbage autonomes, dans le cadre des projets {Challenge} {ROSE} et {METRICS.}},
     journal = {Revue Ouverte d'Intelligence Artificielle},
     pages = {11--32},
     publisher = {Association pour la diffusion de la recherche francophone en intelligence artificielle},
     volume = {2},
     number = {1},
     year = {2021},
     doi = {10.5802/roia.8},
     language = {fr},
     url = {https://roia.centre-mersenne.org/articles/10.5802/roia.8/}
}
TY  - JOUR
AU  - Rémi Regnier
AU  - Guillaume Avrin
AU  - Virginie Barbosa
AU  - Daniel Boffety
AU  - Anne Kalouguine
AU  - Sophie Lardy-Fontan
TI  - Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS.
JO  - Revue Ouverte d'Intelligence Artificielle
PY  - 2021
SP  - 11
EP  - 32
VL  - 2
IS  - 1
PB  - Association pour la diffusion de la recherche francophone en intelligence artificielle
UR  - https://roia.centre-mersenne.org/articles/10.5802/roia.8/
DO  - 10.5802/roia.8
LA  - fr
ID  - ROIA_2021__2_1_11_0
ER  - 
%0 Journal Article
%A Rémi Regnier
%A Guillaume Avrin
%A Virginie Barbosa
%A Daniel Boffety
%A Anne Kalouguine
%A Sophie Lardy-Fontan
%T Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS.
%J Revue Ouverte d'Intelligence Artificielle
%D 2021
%P 11-32
%V 2
%N 1
%I Association pour la diffusion de la recherche francophone en intelligence artificielle
%U https://roia.centre-mersenne.org/articles/10.5802/roia.8/
%R 10.5802/roia.8
%G fr
%F ROIA_2021__2_1_11_0
Rémi Regnier; Guillaume Avrin; Virginie Barbosa; Daniel Boffety; Anne Kalouguine; Sophie Lardy-Fontan. Validation de méthodologies d’évaluation de solutions de désherbage autonomes, dans le cadre des projets Challenge ROSE et METRICS.. Revue Ouverte d'Intelligence Artificielle, Volume 2 (2021) no. 1, pp. 11-32. doi : 10.5802/roia.8. https://roia.centre-mersenne.org/articles/10.5802/roia.8/

[1] Monica Anderson; Odest Jenkins; Sarah Osentoski Recasting robotics challenges as experiments, IEEE Robotics and Automation Magazine, Volume 18 (2011) no. 2, pp. 10-11

[2] Standard Test Method for Evaluating Response Robot Sensing : Visual Acuity, ASTM International, 2017 (E2566-17a)

[3] Guillaume Avrin; Daniel Boffety; Sophie Lardy-Fontan; Rémi Régnier; Rémi Rescoussié; Virginie Barbosa Design and validation of testing facilities for weeding robots as part of ROSE Challenge, Evaluating Progress in IA (EPAI) (2020)

[4] Guillaume Avrin; Agnes Delaborde; Olivier Galibert; Daniel Boffety Boosting agricultural scientific research and innovation, 3rd RDV Techniques AXEMA February 23, 2019, SIMA, France (2019)

[5] S. Behnke Robot competitions-ideal benchmarks for robotics research, Proc. of IROS-2006 Workshop on Benchmarks in Robotics Research (2006. October) | DOI

[6] F. Bonsignorio; A. Del Pobil; E. Messina Fostering progress in performance evaluation and benchmarking of robotic and automation systems, IEEE Robotics and Automation Magazine, Volume 21 (2014) no. 1, pp. 22-25

[7] O. Galibert; G. Bernard; A. Delaborde; S. Lecadre; J. Kahn Matics Software Suite : New Tools for Evaluation and Data Exploration, proc. 11th edition of the Language Resources and Evaluation Conference (2018), pp. 7-12 | DOI

[8] O. Galibert; J. Kahn The first official repere evaluation, First Workshop on Speech, Language and Audio in Multimedia (2013) | DOI

[9] O. Galibert; S. Rosset; C. Grouin; P. Zweigenbaum; L. Quintard Extended named entities annotation in ocred documents : From corpus constitution to evaluation campaign, LREC (2012)

[10] R. Gerrish Ready for the agBOT Challenge, Resource Magazine, Volume 26 (2019) no. 3, pp. 8-9

[11] A. Jacoff; H. Huang; A. Virts; A. Downs; R. Sheh Emergency Response Robot Evaluation Exercise, Proceedings of the Workshop on Performance Metrics for Intelligent Systems (2012), pp. 145-154 | DOI

[12] A. Jacoff; E. Messina; H. Huang; A. Virts; A. Downs; R. Norcross Standard test methods for response robots, ASTM International Committee on Homeland Security Applications, 2010 | DOI

[13] A. Jacoff; R. Sheh; A. Virts; T. Kimura; J. Pellenz; S. Schwertfeger; J. Suthakorn Using competitions to advance the development of standard test methods for response robots, Proceedings of the Workshop on Performance Metrics for Intelligent Systems (2012. March), pp. 182-189 | DOI

[14] Niehues Jan; Roldano Cattoni; Stuker Sebastian; Matteo Negri; Marco Turchi; Salesky Elizabeth; Sanabria Ramon; Barrault Loic; Specia Lucia; Marcello Federico The IWSLT 2019 evaluation campaign, 16th International Workshop on Spoken Language Translation 2019 (2019)

[15] J. Kahn; O. Galibert; L. Quintard; M. Carré; A. Giraudel; P Joly A presentation of the REPERE challenge, 10th International Workshop on Content-Based Multimedia Indexing (CBMI) (2012), pp. 1-6

[16] H. Kitano; M. Asada; Y. Kuniyoshi; I. Noda; E. Osawa Robocup : The robot world cup initiative, Proceedings of the first international conference on Autonomous agents (1997), pp. 340-347

[17] P. Lima; D. Nardi; G. Kraetzschmar; R. Bischoff; M. Matteucci Rockin and the european robotics league : building on robocup best practices to promote robot competitions in europe, Robot World Cup, Springer, Cham, 2016, pp. 181-192

[18] I. Oparin; J. Kahn; O. Galibert First maurdor 2013 evaluation campaign in scanned document image processing, 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (2014), pp. 5090-5094

[19] G. Pratt; J. Manzo The DARPA robotics challenge, IEEE Robotics and Automation Magazine, Volume 20 (2013) no. 2, pp. 10-12

[20] Ludovic Quintard; Olivier Galibert; Gilles Adda; Brigitte Grau; D. Laurent; Véronique Moriceau; Sophie Rosset; Xavier Tannier; Anne Vilnat Question Answering on web data : the QA evaluation in Quæro, Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10) (2010)

[21] C. Ross; N. Mccarthy; D. Beatty; A. Della; M. Valentine; R. Vyenielo; C. Fink agBOT 2017 Challenge Autonomous Corn Seeding Tractor, Cal Poly, 2017

[22] B. Schuller; S. Steidl; A. Batliner; P. Marschik; H. Baumeister; F Dong; C. Einspieler et al. The Interspeech 2018 computational paralinguistics challenge : Atypical & self-assessed affect, crying & heart beats, Proceedings of the INTERSPEECH International Conference (2018)

[23] K. Tee; H. Van Der Kooij The ICRA 2017 Robot Challenges Competitions, IEEE Robotics and Automation Magazine, Volume 24 (2017) no. 3, pp. 15-21

Cité par Sources :