Promotion EIG 3 : on fait le bilan
Le 15 novembre 2019, après 10 mois de travail intense et près de 18 mois après le lancement de l’appel à projets pour constituer la troisième promotion des entrepreneur(e)s d’intérêt général, celle-ci s’est officiellement achevée. C’est avec fierté que nous avons clôturé cette promotion lors d’un événement de restitution publique, le 12 novembre 2019, à l’occasion duquel chaque défi a pu présenter ses résultats.
Nous souhaitions également évaluer les résultats collectifs de la promotion au regard des deux objectifs, ambitieux, du programme : produire des outils utiles, ouverts et pérennes au sein des administrations, et contribuer à la transformation numérique de l’État et à l’internalisation des compétences numériques.
Qu’est-ce qui a bien fonctionné ? Qu’est-ce qui gagnerait à être amélioré ou écarté ?
Les constats de cet article sont issus d’un ensemble de sources : questionnaires anonymes, ateliers, données collectée sur les défis. Ces différents dispositifs (et leurs limites) sont détaillés en fin d’article.
Les défis présentent leurs réalisations aux visiteurs, le 12 novembre 2019. Pour un résumé de l’événement, voir le billet de blog sur Etalab.
10 mois après, quels sont les principaux constats en termes de transformation numérique et de production d’outils ?
Internalisation des compétences & acculturation au numérique
📍 Dans le programme, ce qui est important, ce sont les gens. Presque tous les mentors indiquent que recruter des profils rares était un élément déterminant pour postuler au programme (le deuxième facteur est le cofinancement, pour la moitié des mentors).
Cette année, la promotion a réussi le pari de l’internalisation des compétences : 5 équipes EIG ont été complètement ou partiellement embauchées par les administrations porteuses des défis. ⅓ des EIG continuent à travailler pour l’administration après le programme, y compris dans d’autres administrations.
C’est d’ailleurs pour renforcer le recrutement pérenne de profils innovants dans l’administration que le programme EIG reçoit du financement en loi de finances. Il servira à constituer une quatrième promotion EIG en 2020.
Un mentor a soulevé un effet inattendu du programme pour l’attractivité de l’Etat employeur : “les EIG inspirent [d’autres] candidats pour rejoindre l’équipe”.
📍 Acculturation des administrations d’accueil : plus de la moitié des défis ont organisé des formations pour les métiers, sur des thèmes variés - data science, géomatique, open data, analyse sémantique, accessibilité. Les EIG ont également contribué à l’organisation de meetups et à la facilitation d’ateliers pour les services.
Ces formations permettent une acculturation aux métiers et compétences du numérique. Un mentor explique ainsi : “le rôle d’UX designer est mieux compris dans l’administration et est plus recherché par les équipes”. Un autre note la “démystification très importante de l’intelligence artificielle et de la data science”.
📍 Montée en compétences des mentors : les agents publics qui participent au programme attestent d’un gain de compétences, notamment hors de leur coeur de métier. Pour la plupart, il s’agit des compétences qu’ont leurs EIG : plus de la moitié indiquent mieux connaître la data science, un tiers le développement et un tiers le design.
C’est également une expérience professionnelle enrichissante. Un mentor explique : “c’est une opportunité de management d’une petite équipe data très productive et compétente, difficile de s’en passer après".
Co-construction de prototypes pour le défi ACOSS Plateforme
Des outils pérennisés et des efforts d’ouverture
On note également quelques résultats du côté des réalisations des défis, notamment sur le plan de l’ouverture.
📍 La majorité des outils développés seront pérennisés dans les administrations d’accueil, sous différentes formes. 5 outils sont déjà intégrés dans les systèmes d’informations des administrations, et 9 autres le seront d’ici à mars 2020.
📍 Sur le plan de l’open source, 10 défis (sur 15) ont des dépôts de code en ligne. 2 défis (ExploCode et Open Chronic) ont publié des librairies réutilisables (voir ici et ici). Notons également la collaboration de Plume avec la communauté open source Editoria pour l’outil de rédaction de la Cour des comptes.
📍 En termes d’open data, 3 défis (EIG Link, Open Chronic et CibNav) ont ouvert des jeux de données. Le défi CartoBio, qui met à disposition les données parcellaires d’agriculture biologique sur demande, prévoit une mise en open data prochaine. Ces résultats ne sont pas à la hauteur de nos attentes. Quelques pistes d’explication : les problématiques de certains défis ne se prêtaient pas à l’ouverture de jeux de données, d’autres ont manqué de temps et/ou de ressources pour le faire. Enfin, notre accompagnement sur ce volet gagnerait peut-être à être affiné.
Nous ne nous concentrons pas ici sur l’efficacité et l’utilité des réalisations par défi. Si le sujet vous intéresse, des données sont disponibles sur les pages individuelles de chaque défi.
Vous pouvez également retrouver une description de chaque défi et des prochaines étapes dans le livret de restitution de la promotion.
Quel rôle pour le programme EIG ?
📍 Depuis 3 ans, nous avons formé autour du programme EIG une importante communauté, dont le coeur est la promotion EIG en cours et les anciens EIG et mentors. Elle est soutenue entre autres par les membres du jury, nos partenaires et les membres de la direction interministérielle du numérique.
Cette communauté est vue comme essentielle par la promotion. Un EIG explique : “je n’aurais pas postulé sans la communauté et je pense que le projet n’aurait probablement pas abouti à autant sans, elle est plus qu’indispensable”.
📍 Les éléments du programme d’accompagnement les plus plébiscités sont d’ailleurs les formats collectifs : bootcamp, séminaires hors-les-murs, sessions d’accompagnement collectives.
Cette communauté permet aussi un important apprentissage pair-à-pair : 25 EIG disent avoir développé des compétences hors de leur coeur de métier. Il s’agit de connaissances juridiques et sur le fonctionnement de l’administration, de compétences tech transmises par d’autres EIG, et de compétences en gestion de projet. Un tiers estiment avoir également progressé techniquement.
📍 On note également le succès de l’outil de partage d’informations “Bulletins”, mis en place par le programme, considéré comme très pertinent. Les bulletins hebdomadaires étaient lus au moins une fois par mois par plus de 80% des EIG.
L’écosystème des EIG s’étend au-delà de la promotion. Ainsi, l’immense majorité a été en lien avec des membres de la direction interministérielle du numérique pendant l’année, et notamment des membres d’Etalab. Ces interactions ont été très appréciées par les EIG.
📍 Une de nos grandes fiertés : la satisfaction des EIG et des mentors. 75% des EIG et la très grande majorité des mentors se déclarent satisfaits ou très satisfaits des résultats de leur projet. 5 mentors sur 12 disent également que le programme a dépassé leurs attentes, ainsi que 10 EIG sur 27.
La promotion EIG 3 (EIG et mentors), lors de l’événement de restitution du 12 novembre.
Des pistes pour améliorer le programme EIG
1.Mieux accompagner les administrations dans la définition des compétences recherchées.
Dans l’ensemble, les équipes ont trouvé que les projets étaient plutôt bien cadrés, ou que cette absence de cadrage permettait aux EIG de se réapproprier le projet (moyennant un portage politique adapté). Cependant, certaines équipes ont expliqué qu’elles auraient préféré plus de cadrage, notamment au niveau des profils des EIG recherchés. Nous poursuivrons cette piste pour les prochaines promotions. Nous souhaitons également constituer des promotions plus équilibrées en termes de compétences et de sujets, avec des data scientists, desigenrs et développeuses ou développeurs en proportions égales. Cette année, l’intégration de plus de designers dans la promotion et le succès de l’expérimentation “Designers d’Intérêt Général” nous ont notamment confortés dans l’importance du design pour l’innovation publique.
2.Renforcer les liens avec la communauté des anciens EIG.
Les EIG 3 ont regretté d’avoir eu peu de liens avec les EIG des promotions précédentes. Ainsi, nous réfléchissons à des opportunités d’interactions inter-promotions. Parmi elles, on trouve la création par quelques alumni EIG de l’association LEON (les entrepreneur(e)s ouverts du numérique), vouée à rassembler les anciens EIG et mentors.
3.Continuer d’adapter le programme d’accompagnement aux spécificités de chaque promotion.
Les sessions d’accompagnement collectives ont été plébiscitées comme moyen de rassembler la promotion, mais leur format n’a pas tout le temps été à la hauteur des attentes des EIG et des mentors. Deux des suggestions principales exprimées : mettre en place plus de formats structurés d’apprentissages en pair-à-pair (jugés plus utiles que des interventions “top-down”) et faire participer plus d’intervenants extérieurs.
Par ailleurs, nous devons encore itérer sur les missions des EIG Link. Cette troisième promotion a vu l’introduction d’un deuxième EIG Link designer, pour renforcer l’accompagnement technique interne pouvant être proposé aux EIG. Cette introduction a été appréciée. Cependant, les EIG Link cumulent beaucoup de missions très différentes les unes des autres, qui vont du soutien technique aux conseils sur la stratégie et à l’animation de la communauté des EIG, en passant par la production d’outils. L’articulation entre ces rôles nécessitera d’être clarifiée, pour renforcer l’efficacité de l’accompagnement.
Enfin, à quel niveau accompagner un “défi” ? Cette année, nous avons renforcé le suivi individuel de chaque défi à travers des appels réguliers avec les équipes. Cependant, certains EIG ont exprimé le besoin de pouvoir interagir avec l’équipe d’accompagnement sans la présence des autres EIG de leur défi. Cette option, qui permettrait de détecter plus rapidement d’éventuels problèmes humains au niveau des équipes, a pour inconvénient d’être très chronophage pour l’équipe de pilotage du programme.
4.Mieux outiller les EIG et les mentors sur les sujets de transformation numérique et de pérennisation.
Les EIG ont remarqué que beaucoup d’informations étaient transmises en bloc, à des moments pas forcément optimaux pour les défis. Les mentors ont exprimé le souhait d’avoir plus d’informations pratiques sur comment pérenniser leurs projets. Le site de documentation que nous avons structuré cette année pourra être davantage mobilisé à l’avenir pour répondre à ces besoins en autonomisant l’accès à l’information.
5.Renforcer la visibilité du programme, pour les administrations et les EIG.
Le programme est maintenant bien installé dans le paysage de l’innovation publique, mais nous faisons encore face à plusieurs enjeux. Comment toucher des administrations peu familières de l’écosystème de la transformation numérique et les encourager à candidater ? Pour les EIG, nous souhaitons renforcer nos canaux de recrutement pour toucher plus de profils seniors. Cette année a également été l’occasion de renforcer la visibilité du programme en France et à l’international, et de nouer un partenariat avecl’association Latitudes.
Et maintenant ?
En 2020, le programme Entrepreneur(e)s d’Intérêt Général continue ! Il bénéficie d’un financement via la loi de finances 2020. Deux objectifs dans ce cadre : recruter 50 EIG en 2020 (pour 20 à 25 projets), et en pérenniser une partie dans l’administration.
Dès début 2020, nous nous attelons à la constitution d’une ambitieuse promotion 4, qui commencera en septembre 2020.
Par ailleurs, nous continuerons d’évaluer le programme tous les 6 mois environ, pour suivre le devenir des projets et des EIG.
Nous sommes très intéressés par le partage d’expérience. Si vous aussi, vous pilotez un programme d’innovation, et que vous avez des conseils ou une expérience similaire par rapport aux pistes évoquées ci-dessus, nos dispositifs d’évaluation ou les résultats de la promotion, n’hésitez pas à nous contacter à entrepreneur-interet-general@data.gouv.fr !
🧐 Focus sur la méthodologie d’évaluation
Pour mesurer les résultats de la promotion EIG3, nous nous sommes appuyés sur quatre dispositifs :
- Un tableur rempli par les EIG de chaque défi, recensant des données factuelles sur les projets : pérennisation des réalisations et des postes, degré d’ouverture des codes sources et des données, formations organisées, etc. ;
- Des questionnaires anonymes distribués aux EIG et aux mentors, portant sur leurs motivations, leurs apprentissages, leurs difficultés et leurs retours sur le programme. Ces questionnaires s’appuient sur ceux développés pour évaluer les promotions 1 et 2 (voir notre rapport d’analyse de juin 2019) ;
- Nous avons distribué ces documents le 7 novembre 2019, une semaine avant la fin officielle de la promotion (même si beaucoup de défis ont continué après le 15 novembre). A partir de juillet 2019, nous avons également organisé des ateliers informels de retours sur le programme, organisés pendant les sessions d’accompagnement.
- Dans le cadre du financement par le Programme d’investissements d’avenir, les mentors sont également invités à élaborer des indicateurs spécifiques à leur projet. Ils remplissent ces indicateurs de manière auto-évaluée en fin de promotion.
Les données issues du tableur et des questionnaires sont en ligne sur data.gouv.fr.
Cette méthodologie nous permet d’avoir des retours quantitatifs et qualitatifs sur le programme, de manière relativement efficace. Elle présente certaines limites :
- Par manque de temps et de ressources, nous interrogeons uniquement les EIG et les mentors de la promotion, et ne nous rendons pas dans les locaux les administrations d’accueil ou auprès des utilisateurs. Il est difficile de mesurer la transformation numérique d’administrations ou la satisfaction d’usagers que nous n’allons pas voir directement.
- Tous les EIG et mentors n’ont pas répondu au questionnaire : 27 EIG (sur 30 visés) y ont répondu, et 12 mentors sur 18. Les chiffres et avis obtenus ne prennent pas en compte les évolutions après le 7 novembre 2019 (date de remplissage des questionnaires).
- Elle est menée exclusivement en interne, ce qui pourrait mener à des biais dans l’interprétation et/ou la présentation des résultats. Pour pallier cela, nous avons également recours à d’autres types d’évaluation.
Enfin, nous avons changé de méthode d’évaluation entre les deux premières promotions et la troisième. De ce fait, il est difficile de faire des comparaisons entre promotions. Pour remédier à cela, nous espérons maintenir cette méthodologie pour la promotion 4. Par ailleurs, les résultats du questionnaire ont permis de corroborer et d’étayer des conclusions déjà développées dans de précédents rapports (voir le rapport d’analyse des promotions EIG 1 et 2) et billets de blog (voir le billet sur les facteurs de réussite d’un défi EIG).
Malgré leurs limites, ces outils nous permettent de dégager quelques résultats clés pour la promotion et d’identifier des points d’amélioration pour les prochaines.