Stéphane Jourdain (LNE) : « nous vérifions que les IA font bien ce pour quoi on les met en oeuvre »

Pouvez-vous nous présenter le Laboratoire National de Métrologie et d’Essais (LNE) ?

Le LNE est un EPIC qui compte, toutes filiales confondues (y compris en Chine et aux Etats-Unis), un millier de collaborateurs.

Nous avons deux directions, l’une de métrologie, l’autre en charge des essais et de la certification.

La Direction de la Métrologie Scientifique et Industrielle est gardienne des étalons nationaux et elle accompagne les industriels dans la maîtrise et l’optimisation de leurs moyens de mesure. Tous les étalons doivent être rattachés aux étalons primaires internationaux.

La Direction des Essais et de la certification traite de tous les produits que des industriels veulent mettre sur le marché. « Essais » et « certification » sont deux équipes séparées pour éviter d’être juge et partie. Dans certaines cas, la certification est obligatoire, dans d’autres non (les marques « NF » par exemple). Les essais ne débouchent pas nécessairement sur une certification : il peut s’agir uniquement de contrôler le respect d’un cahier des charges avec des moyens qui nécessitent des investissements lourds. Nous pouvons aussi comparer des techniques, des solutions différentes, sur des projets de recherche très en amont de solutions commerciales.

Notre modèle économique est la vente des prestations de test et de certification : ceux qui nous soumettent les produits payent. Dans certains cas, nous sommes en concurrence avec des organismes français ou étrangers.

Vous avez créé une plateforme immersive de test des IA, LE.IA Immersion. Pourquoi évaluer des dispositifs d’IA ?

Le LNE a développé des compétences sur le sujet car nous testons les produits de nos clients mais sans avoir de compétence pour les fabriquer. Nous sommes peut-être les seuls dans le monde à évaluer les IA.

Pour les IA comme pour n’importe quel autre produit, la question est toujours la même : quelle est la qualité du produit ? Quand il y a une pluralité d’offres et que les donneurs d’ordres ne savent pas laquelle choisir, il faut évaluer ces offres. C’est le travail du LNE afin de les aider à bien acheter. Il s’agit de contrôler que la promesse faite par le vendeur est bien tenue, le cas échéant en comparant des produits ou des versions.

Comme pour tous les produits que nous testons, nous vérifions que les IA font bien ce pour quoi on les met en œuvre.

Comment procédez-vous ?

L’intelligence artificielle est un domaine très vaste mais les tâches ont souvent beaucoup de points communs. Par exemple, si une IA a comme objectif de repérer quelque chose dans une image, cela peut être un char dans le désert ou une mauvaise herbe dans un champ. Il est ainsi très fréquent d’avoir pour tâche de repérer quelque chose dans un média (son, texte, image…). C’est ce type de test que LE.IA Immersion permet de réaliser.

Nous avons l’objectif de pouvoir évaluer les IA génératives pour en mesurer la performance mais cette technologie est trop récente. Les méthodes restent à mettre en place. Comme toujours, les méthodes de test suivent les évolutions des technologies mais avec un décalage temporel. Nous travaillons à pouvoir garantir objectivement qu’une IAG produit ce que l’on attend d’elle.

Notons que comme, pour l’heure, il n’y a pas de réglementation sur la performance des IA, il n’existe de ce fait pas de certification.

En quoi consiste exactement la plateforme LE.IA Immersion ?

Elle comporte un écran conique de 300° de circonférence. On peut placer un élément physique au centre afin d’immerger l’élément physique dans un environnement virtuel. Le dispositif d’IA à tester est alors placé pour observer l’ensemble. L’objectif est de vérifier que l’IA embarquée est capable de repérer ce qu’elle doit repérer. Bien sûr, l’image peut bouger pour simuler un mouvement.

LE.IA Immersion est un outil très orienté robotique : robots autonomes (démineurs, pompiers…), voitures autonomes, robots logistiques en entrepôts, robots d’assistance à la personne, drones militaires…

Qui peut recourir à la plateforme LE.IA Immersion et pour quel coût ?

L’outil est accessible à tous les industriels clients du LNE. Il a été développé avec l’aide de l’État et de l’Union Européenne pour qu’il puisse être mis à disposition de TPE comme des start-ups : des firmes comme Renault ou Stellantis peuvent en effet se payer leurs propres équipements.

Le tarif dépend de la complexité du test et du travail amont à réaliser. Par exemple, si l’environnement virtuel existe déjà ou est à créer, ce n’est pas pareil. La durée du test, le nombre d’opérations à faire, etc. influeront aussi sur le coût.

Quels sont les prochaines étapes et vos défis à court terme ?

Pour le LNE, le défi est maintenant de convaincre les clients de venir réaliser des tests sur notre plateforme ! Comme il n’y a pas d’obligation réglementaire, certains peuvent ne pas vouloir prendre le risque d’être déclarés mauvais. Il faut donc convaincre de l’intérêt de tester.

Plus globalement, il va falloir mettre en place des normes, basées sur la réglementation. L’idée est de rendre obligatoires certains tests avant une mise sur le marché. Aux Etats-Unis, la technologie va plus vite que la réglementation et on a vu des accidents. En Europe, l’IA Act est censé réglementer les IA à hauts risques. Mais ce n’est qu’un début.