L’AIFE recourt à l’IA pour analyser les avis des millions d’utilisateurs de ses systèmes

Pouvez-vous nous présenter l’AIFE ?

Claude Molly-Mitton : L’AIFE, Agence pour l’Informatique Financière de l’État, dépend du Ministère du Budget (actuellement : ministère délégué auprès du ministre de l’Économie, des Finances et de la Souveraineté industrielle et numérique, chargé des Comptes publics).

L’AIFE a été créée par décret en 2005 et gère, après l’avoir construit, le système d’information financière de l’État qui met en œuvre l’ensemble des dispositions de la loi organique relative aux lois de finances (LOLF) à travers le Système d’Information Chorus, dont le déploiement a été achevé en 2012, et propose des solutions de dématérialisation au profit de l’ensemble des personnes publiques et des entreprises.

Chorus Cœur, actuellement basé sur SAP ECC6, est complété par un outil spécifique développé en Java baptisé Chorus Formulaires pour des besoins simples et des utilisateurs occasionnels (par exemple : une demande d’achat). On dénombre pour Chorus Coeur 23 000 utilisateurs (nombre assez stable), et pour Chorus Formulaires plus de 40 000 (ce nombre augmente régulièrement).

Autre outil développé et maintenu par l’AIFE, Chorus Pro est le portail de gestion de la facturation électronique. Pour l’instant, il concerne la facturation au secteur public et servira de base au futur Portail Public de Facturation (PPF) pour la facturation électronique interentreprises obligatoire.

L’AIFE est également responsable de Chorus DT (Déplacements Temporaires, gestion des notes de frais), de PLACE (pour les marchés publics) et de PISTE (une plate-forme de gestion d’API).

Pourquoi menez-vous une étude de satisfaction de vos utilisateurs et quelles en sont les particularités ?

Claude Molly-Mitton : Cette enquête est menée depuis 2006. Le but est, bien sûr, d’évaluer la qualité de nos services et d’objectiver cette qualité. Derrière, il s’agit aussi d’améliorer notre performance.

Cette enquête a donc été mise en place dès le début du déploiement de Chorus, au début tous les six mois, aujourd’hui annuellement. Le périmètre d’enquête s’est accru au fur et à mesure des déploiements des différents outils. Nous enquêtons sur la satisfaction des utilisateurs de Chorus Coeur et de Chorus Formulaires, des agents publics et des entreprises utilisant Chorus Pro, des acheteurs et des entreprises utilisant PLACE, des agents utilisant Chorus DT et des utilisateurs de PISTE, soit au total plus de 1,4 millions d’utilisateurs.

Dès le départ, cette enquête a été réalisée par un institut de sondage choisi dans le cadre d’un appel d’offres. Actuellement, c’est l’institut de sondage Ipsos qui réalise ces enquêtes pour le compte de l’AIFE. L’échantillon est constitué de tous les utilisateurs pour Chorus Coeur, Chorus Formulaires ou les autres outils, à l’exception de Chorus DT et de Chorus Pro pour lequel seulement 100 000 utilisateurs (soit environ 10 %) sont interrogés, à raison de 70 000 entreprises et 30 000 structures publiques, sélectionnées aléatoirement. L’enquête se fait en ligne et le taux de réponse est de l’ordre de 11 %, ce qui est un taux classique pour ce type d’enquête.

La phase d’enquête dure trois semaines en octobre. Les résultats sont présentés d’abord en interne au sein de l’AIFE, puis auprès de nos utilisateurs trois mois plus tard.

De quoi est constituée cette enquête ?

Claude Molly-Mitton : L’essentiel de l’enquête est constitué de questions fermées. Mais il y a une question ouverte au début du questionnaire concernant l’amélioration attendue des outils. Les réponses à cette question ouverte peuvent être aussi bien très courtes (« RAS », « Pas d’idée », etc.) que longues (plusieurs dizaines de lignes) avec de nombreuses idées très concrètes, qui concernent par exemple des petites évolutions, très utiles pour le quotidien des utilisateurs, mais qui ne remontent pas forcément via le support classique proposé pour chacun de ces outils ou via la gouvernance des évolutions.

En 2022, nous avons recueilli 18 000 lignes de verbatim dont 5 000 sur Chorus Coeur et Chorus Formulaires. Il y a quelques années, il était difficile, compte tenu des volumes, de tirer pleinement parti de la richesse de ces verbatims. Depuis 4 ans, une analyse syntaxique de l’ensemble des verbatims, réalisée par une IA, permet de pré-trier et de pré-qualifier ces verbatims. Ce premier tri permet d’affecter les bonnes remontées aux bons responsables (soit par produit soit par type de sujet, par exemple le support utilisateurs ou l’ergonomie).

Précisément, comment sont exploitées ces remontées ?

Claudine Rey : Nous filtrons les remontées sans intérêt (« RAS », « pas d’idée »…) ou trop évasives et nous classons ensuite les verbatims par thèmes. Nous rassemblons aussi les doublons d’idées et évacuons les faux sujets.

A partir de la base ainsi retraitée, nous analysons item par item dans leur détail les éléments remontés. Nous identifions ainsi des évolutions qui sont étudiées avec les différents ministères de manière collégiale pour valider, arbitrer et prioriser celles qui vont effectivement être réalisées.

D’autres remontées ne relèvent en fait pas de demandes d’évolution. Par exemple, il peut s’agir d’une mauvaise maîtrise de l’outil, notamment sur des fonctions nouvelles ou rarement utilisées, entraînant un mauvais usage. Face à ce genre de problèmes, nous faisons évoluer les documentations en leur ajoutant des précisions ou nous faisons des communications explicatives ciblées auprès des populations concernées. Bien entendu, il peut aussi s’agir d’anomalies qui n’avaient pas été découvertes lors des phases de tests et de recette, ou détectées par nos équipes du support.

Côté évolutions, nous nous sommes aperçus que, parfois, des choses simples non identifiées par nos services peuvent considérablement faciliter le travail au quotidien pour de nombreux utilisateurs.

Comment sont menés les arbitrages et la priorisation ?

Claudine Rey : Pour les correctifs d’anomalies, nous gérons l’arbitrage et la priorisation en interne à l’AIFE.

Concernant les demandes d’évolutions, nous réalisons d’abord une estimation de charges. Puis ce sont les instances collégiales interministérielles qui se prononcent sur l’intégration au cycle des évolutions. L’enquête menée en 2021 est ainsi exploitée en 2022 et aboutit à des évolutions mises en œuvre en 2023.

Depuis trois ans, nous ajoutons à notre envoi du questionnaire un lien vers un document de synthèse faisant la liste des actions réalisées sur l’enquête de l’année précédente, dont la liste des évolutions réalisées. Il est clair que démontrer ainsi l’utilité du fait de répondre à une enquête de satisfaction a eu un effet positif sur l’augmentation du taux de réponse.

Certes, une certaine masse de retours ne donne pas lieu à actions en fonction des arbitrages rendus par les comités de pilotage. Mais ce qui n’est pas retenu est aussi communiqué.

Comment sont communiqués et valorisés les arbitrages faits ?

Claudine Rey : En interne, les choix opérés sont bien sûr communiqués au niveau du comité de direction de l’AIFE. Chaque membre des comités de pilotage est chargé d’effectuer la restitution dans son ministère. Les résultats et les plans d’actions sont également présentés au comité d’orientation stratégique qui réunit les DAF de tous les ministères. Enfin, nous publions sur l’extranet, accessible par tous les agents, un document de synthèse dont nous mettons le lien d’accès dans chaque nouvelle enquête afin que tous nos utilisateurs puissent en disposer

Quels sont vos prochains défis ?

Claude Molly-Mitton : Un premier défi a été progressivement traité, celui des mails menant à l’enquête qui atterrissent dans les spams. Pour cela, nous informons, en amont de l’envoi des mails, chaque ministère et directement les utilisateurs via les applications, du lancement de l’enquête. Sur ce point, Ipsos a fait aussi de son côté pas mal de progrès.

Claudine Rey : Notre prochain défi est d’améliorer notre compréhension des commentaires pour mieux les traiter. Aujourd’hui, l’enquête est totalement anonyme. De ce fait, nous n’avons aucune information sur qui a soumis une suggestion, ce qui nous empêche de revenir vers un auteur pour lui demander des précisions. Tout en respectant l’anonymisation et le RGPD, nous allons mettre en place, sur la seule question ouverte, la possibilité de partager son adresse e-mail. Cet e-mail, s’il est partagé, sera associé au verbatim, mais pas aux autres réponses qui demeureront totalement anonymes. Nous pensons que ceux qui déposent des commentaires intéressants accepteront aisément le partage de leur e-mail, car ils y verront leur intérêt. Cette option ne sera donc actionnée qu’avec le consentement explicite du répondant.

Sur la photographie, de droite à gauche :

- Claudine Rey, responsable du département « maintenance corrective et évolutive de Chorus Cœur et Chorus Formulaires », AIFE

- Claude Molly-Mitton, responsable communication et veille, AIFE

Vidéo de présentation du projet réalisée par l’AIFE

L’AIFE a réalisé cette vidéo de présentation du projet.

Sur le même sujet

- Armelle Degenève (AIFE) : « en 2024, toutes les entreprises utiliseront nos produits ». 

- Facturation électronique obligatoire : simplification pour les entreprises et Etat data driven.