Présentation
RÉSUMÉ
L’intelligence artificielle (IA) est en pleine croissance ; elle interroge tous les publics : particuliers, professionnels et universitaires. Pour encadrer ces échanges, des principes et pratiques de mesure des performances, rationnelles et partagées, ainsi que ceux des limites de systèmes intelligents doivent être établis.
Cet article présente une approche méthodique et conforme aux règles de la métrologie, permettant d’en dessiner les grandes lignes :
- des métriques pour effectuer des mesures quantitatives et répétables de performance ;
- des environnements de test physiques et virtuels pour procéder à des expérimentations reproductibles et représentatives des conditions de fonctionnement réelles de l’IA évaluée et des outils organisationnels (benchmarking, challenges, compétitions).
Le tout répondant aux besoins de l’ensemble de l’écosystème.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l'articleAUTEUR(S)
-
Guillaume AVRIN : Responsable du département « Évaluation de l’IA » - Laboratoire national de métrologie et d’essais, Paris, France
INTRODUCTION
L’intelligence artificielle (IA) connaît depuis 2017 d’importants développements dans de nombreux secteurs professionnels (aide au diagnostic, identification biométrique, chatbot, détection de vulnérabilités et menaces de cybersécurité, robots industriels collaboratifs, robots d’inspection et de maintenance, système de mobilité autonome, etc.) et domestiques (robots d’assistance à la personne, dispositifs médicaux, assistants personnels, etc.). Elle est ainsi au rang des toutes premières priorités européennes et internationales de développement technologique et industriel et la rupture sanitaire de 2020 concourt à cette transformation vers une société plus « virtualisée », moins exposée aux vulnérabilités biologiques.
De manière à ce que le marché ne soit pas uniquement porté par l’offre, et que les conditions d’un rapprochement de cette dernière avec la demande soient réunies, il convient d’avoir à disposition des méthodes scientifiques et techniques d’évaluation de l’IA . Elle promet d’apporter des résultats quantitatifs et fiables concernant les niveaux de performance, de robustesse, d’explicabilité atteints par les différents systèmes d’IA. Les utilisateurs finaux disposeront ainsi des garanties conditionnant l’acceptabilité de ces technologies. Ils pourront choisir parmi différentes solutions existantes grâce à des références communes objectives et non ambiguës. Les développeurs bénéficieront quant à eux de repères pour orienter leurs efforts de R&D et de contrôle qualité, ainsi que d’outils pour démontrer leur avance et se démarquer de la concurrence. L’évaluation instaurera donc la confiance nécessaire à la transition d’une IA en développement vers une IA marchande.
Un travail de normalisation est en cours pour adapter les référentiels existants concernant le développement logiciel (IEC 62304 pour les dispositifs médicaux, ISO 26262 pour les véhicules routiers, etc.) aux spécificités de l’IA (notamment au Cen-Cenelec JTC21 et à l’ISO/IEC JTC1/SC42).
Ce travail portera notamment sur les outils et méthodes d’évaluation,...
Cet article est réservé aux abonnés. Il vous reste 92 % à découvrir.
Déjà abonné ? Se connecter
MOTS-CLÉS
performance | Métrologie | intelligence artificielle | Métriques | expérimentation | test | IA
DOI (DIGITAL OBJECT IDENTIFIER)
RÉFÉRENCE BIBLIOGRAPHIQUE
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Évaluation de l’intelligence artificielle
Sources bibliographiques
À lire également dans nos bases
Normes et standards
- BIPM : Vocabulaire international de métrologie – Concepts fondamentaux et généraux et termes associés (VIM) 3e édition - JCGM 200 - 2012
https://www.bipm.org/utils/common/documents/jcgm/JCGM_200_2012.pdf
Événements
Projet METRICS (2020-2023, financé par H2020) – Metrological evaluation and testing of robots in international competitions
Objectif : organiser des compétitions de robots intelligents dans quatre domaines : santé, agroalimentaire, inspection et maintenance des infrastructures, production agile. Il s’agit notamment de bâtir une structure pérenne rassemblant l’ensemble des compétences européennes pour apporter conjointement...
Cet article est réservé aux abonnés. Il vous reste 92 % à découvrir.
Déjà abonné ? Se connecter
Article inclus dans l'offre
"Métier : responsable qualité"
(
265 articles
)
Actualisée et enrichie d’articles validés par nos comités scientifiques.
Quiz, médias, tableaux, formules, vidéos, etc.
Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.
Un ensemble de services exclusifs en complément des ressources.