Rapport sommaire de l'Évaluation horizontale de l’Initiative de R D en génomique

Rapport sommaire de l'Évaluation horizontale de l'Initiative de R-D en génomique - Rapport final (PDF, 698 Ko)

Préparé pour :
Le Conseil national de recherches du Canada

Préparé par :

Goss Gilroy Inc.
Conseillers en gestion
Bureau 900, 150, rue Metcalfe
Ottawa (Ontario) K2P 1P1
Tél : (613) 230-5577
Fax : (613) 235-9592
Courriel : ggi@ggi.ca

Date :
Le 15 novembre 2016

Description du programme

L'Initiative de recherche et développement en génomique (IRDG) a été lancée en 1999 et met actuellement en œuvre sa sixième phase de financement. L'objectif du programme consiste à établir et à maintenir une capacité fondamentale de R-D en génomique dans les ministères et les organismes suivants :

  • Agriculture et Agroalimentaire Canada (AAC)
  • Environnement et Changement climatique Canada (ECCC)
  • Pêches et Océans Canada (MPO)
  • Santé Canada (SC)
  • Agence de la santé publique du Canada (ASPC)
  • Conseil national de recherches du Canada(CNRC)
  • Ressources naturelles Canada (RNCan)
  • Agence canadienne d'inspection des aliments (ACIA) – depuis la sixième phase

Au total, 59,7 millions de dollars ont été investis à l'appui de la R-D en génomique dans le cadre de la phase V. Les travaux de recherche épaulés par l'IRDG visent à maintenir les mandats en matière de réglementation, de politiques publiques et d'activités dans des domaines importants comme la santé, la salubrité des aliments, la saine gestion des ressources naturelles, un secteur agricole durable et concurrentiel et la protection de l'environnement, en entretenant des collaborations solides avec le milieu universitaire et le secteur privé. Lors de la phase V (2011-2014), l'IRDG a appuyé 73 projets de recherche individuels autorisés pilotés par des ministères et organismes. Par ailleurs, le programme a financé deux projets prioritaires communs (PPC) de janvier 2012 à mars 2016 : la salubrité des aliments et de l'eau au Canada par l'entremise d'une initiative fédérale intégrée en génomique (aussi appelé projet Salubrité des aliments et de l'eau ou SAE); et la protection de la biodiversité et du commerce au Canada contre les répercussions des changements à l'échelle mondiale grâce à une capacité accrue de surveillance des espèces envahissantes et de quarantaine (aussi appelé projet Espèces envahissantes et espèces de quarantaine ou EEQ).

Il existe deux types d'utilisateurs finaux des projets financés par l'IRDG : les utilisateurs finaux internes et externes. Dans le cadre des projets financés par l'IRDG, on retrouve surtout des utilisateurs finaux internes; ce sont les utilisateurs qui évoluent au sein du gouvernement fédéral (p. ex. scientifiques dans les laboratoires, inspecteurs sur le terrain, agents des services frontaliers et négociateurs commerciaux). Les utilisateurs finaux externes sont ceux qui évoluent à l'extérieur du gouvernement fédéral (p. ex., industrie qui utilise une technologie brevetée, industrie qui change ses processus en raison d'un changement dans la politique ou dans les organismes de réglementation internationaux qui utilisent/adoptent la technologie).

Portée et méthodologie

Les documents fondamentaux pour le sixième cycle de l'IRDG exigent la réalisation d'une évaluation horizontale du programme en 2015-2016. L'évaluation s'est concentrée sur la phase V de l'IRDG, qui couvrait les exercices de 2011-2012 à 2013-2014. Cependant, les exercices 2014-2015 et 2015-2016 ont été inclus pour ce qui est des travaux relatifs aux PPC qui se poursuivaient au cours de ces exercices. L'évaluation a posé neuf questions dans trois secteurs d'intérêt : pertinence; rendement - efficacité; rendement - efficience et économie. La méthodologie a fait appel à de multiples sources de données, autant des sources qualitatives que des sources quantitatives, qui se fondaient sur des sources de données à la fois primaires et secondaires. Les principales limitations de la méthodologie étaient les suivantes : la validité et la fiabilité des données administratives; et la sous-estimation probable de la portée des collaborations dans les PPC évalués dans le cadre de l'étude bibliométrique.

Constatations globales de l'évaluation

L'évaluation a révélé que, même si les besoins des ministères et des organismes en financement de la R-D en génomique ont évolué, l'IRDG est toujours nécessaire. Pour bon nombre de ministères et d'organismes, le besoin se rapporte au renforcement des capacités (tant pour les techniques de base que pour les techniques poussées). Plusieurs ministères et organismes ont également constaté la nécessité d'aller vers la mise en œuvre de technologies et d'approches fondées sur la génomique. Par ailleurs, il se dégage un lien clair entre l'IRDG et les mandats et les priorités des ministères et des organismes participants ainsi que du gouvernement fédéral de façon plus générale. L'évaluation a permis de confirmer que le programme était conforme et qu'il contribue aux mandats prescrits par la loi des ministères et des organismes participants en ce qui a trait à la santé et à la sécurité de la population canadienne ainsi qu'à la durabilité des ressources naturelles du Canada (par l'entremise d'activités de réglementation) et au soutien donné à l'industrie (au moyen d'activités de développement économique et de réglementation). L'évaluation a également fait ressortir qu'il y a peu de recoupements avec d'autres organisations ou programmes fédéraux semblables.

Malgré les gros montants qui sont engagés et malgré le fait que certains ministères et organismes investissent dans la R-D en génomique, il ne fait aucun doute qu'il est toujours aussi nécessaire de soutenir ce genre de projets. L'évaluation a démontré que, si ce n'était de l'IRDG, il pourrait y avoir des répercussions négatives dans l'avenir sur la capacité des ministères et des organismes d'exécuter leur mandat puisque l'on ignore le montant que les ministères et les organismes accorderaient à la R-D en génomique compte tenu de leurs autres priorités.

L'IRDG est toujours nécessaire en raison de la diminution de la valeur réelle du financement (qui s'explique par l'inflation observée depuis la création du programme en 1999 sans hausse correspondante du financement), du partage des fonds entre un plus grand nombre de ministères et d'organismes participants, du fait que les PPC doivent lutter pour obtenir leur part de l'enveloppe de financement de l'IRDG et de la hausse des coûts liés à la recherche. Par ailleurs, les coûts de la recherche sont à la hausse puisque l'on consacre désormais plus d'efforts aux demandes et aux activités de transfert des connaissances aux utilisateurs finaux; ces phases de la R-D nécessitent davantage de ressources.

En ce qui a trait à l'efficacité, l'évaluation a démontré que les projets de la phase V avaient permis de générer des connaissances et des technologies novatrices et avaient exercé une influence sur l'élaboration de politiques publiques fondées sur des données probantes. Le programme a donné les résultats attendus et a dépassé les cibles connexes fixées. De plus, l'évaluation a confirmé que bon nombre de projets de l'IRDG ont réussi à faire un transfert des connaissances et des technologies vers les utilisateurs finaux, tant au sein du gouvernement fédéral qu'à l'extérieur de celui-ci. De nombreux autres projets de l'IRDG ont le potentiel qu'il faut pour générer des répercussions comparables sur les utilisateurs finaux. Néanmoins, il est encore possible, surtout pour les PPC, de miser sur les leçons tirées et sur les pratiques exemplaires de la phase IV dans les phases subséquentes du programme. On a déjà donné suite à quelques-unes de ces possibilités. Plus précisément, le contenu décrit dans la Stratégie de gestion de l'innovation (SGI), même s'il était destiné aux PPC, fournit des exemples et des outils qui permettent de mobiliser les utilisateurs finaux et de faire adopter des connaissances et des technologies financées par l'IRDG qui pourraient être envisagées au-delà des PPC.

En plus du transfert de connaissances et de technologies, l'évaluation a trouvé des données probantes démontrant que les projets financés par l'IRDG sont susceptibles d'avoir des répercussions réelles et durables à plus long terme; pour l'instant, il s'agit dans la plupart des cas de répercussions prévues ou éventuelles. Ces répercussions sont considérables et, selon les attentes, devraient générer des milliards de dollars en avantages pour les utilisateurs finaux (en coûts évités, en hausse des activités commerciales, etc.). Plus particulièrement, l'évaluation a permis d'apprendre que les projets financés par l'IRDG sont susceptibles de donner les résultats suivants : une amélioration de la santé et du mieux-être de la population; des coûts évités pour le système de santé; des gains d'efficience et des pertes évitées pour les secteurs public et privé; une durabilité environnementale; une détection accrue des espèces envahissantes; une amélioration des souches/caractères des plantes, des arbres et des animaux ayant une valeur commerciale; un meilleur processus de suivi et de gestion des pêches.

L'arrivée de PPC à la phase V a été l'un des points forts du programme et l'évaluation a démontré que ce type de collaboration interministérielle est encore nécessaire. Les deux PPC financés dans le cadre de la phase V ont été bien gérés et ont permis d'atteindre des résultats significatifs, ce qui n'aurait probablement pas été le cas si ce n'avait été du financement de l'IRDG pour le volet interministériel des projets. De plus, l'ampleur de la collaboration interministérielle découlant des PPC a été considérable. Cependant, il n'existe pas d'approche cohérente ou prévue relativement à ce qui se passera avec les PPC en cours lorsque le financement de l'IRDG prendra fin. Par conséquent, il se peut que les résultats obtenus à ce jour ainsi que les autres répercussions éventuelles soient ralentis ou autrement atténués. On a également soulevé quelques préoccupations par rapport à la sélection des PPC (y compris relativement au rôle des scientifiques); un examen des documents connexes est venu confirmer un manque de transparence quant à la façon dont les sous-projets sont sélectionnés. Par ailleurs, étant donné que les sous-projets sont en fin de compte dirigés par le coordonnateur scientifique d'un ministère ou organisme participant (avec le soutien des chefs des sous-projets), il risque d'y avoir apparence de conflit d'intérêts. Finalement, l'étude de cas EEQ donne à penser que l'exigence relative à la production d'un rapport semestriel risque d'être trop contraignante (en plus de la production du rapport annuel). Les deux études de cas ont suggéré qu'il faudrait générer davantage d'interactions entre les différents scientifiques qui contribuent à l'atteinte des buts des PPC.

Voici d'autres difficultés qui sont rattachées aux PPC : mobilisation des utilisateurs finaux; échange de données/matériels et renforcement de la capacité en bio-informatique; gestion de la PI; court délai d'exécution pour des projets de cette ampleur; enjeux financiers et administratifs interministériels; délais dans l'embauche d'employés hautement qualifiés. La SGI a été élaborée en tenant compte plus particulièrement des trois premières difficultés (entre autres) et est appliquée pendant la phase VI des PPC.

En ce qui a trait à l'efficience et à l'efficacité, l'évaluation a révélé que le programme est à la fois efficient (sur le plan de sa gouvernance horizontale) et efficace (pour ce qui est de l'utilisation qu'il fait des collaborations ainsi que de l'optimisation des fonds et de l'approche de prestation). L'évaluation n'a pas fait ressortir d'occasions majeures d'amélioration dans la gouvernance ou la prestation du programme. Par ailleurs, l'évaluation a décelé que le programme avait apporté des améliorations dans ses approches et systèmes de mesure du rendement. Cependant, quelques difficultés demeurent, notamment des incohérences dans la production de rapports et l'absence de mécanismes pour compiler ou suivre les éléments justificatifs par projet.

Recommandations et réponse de la direction

Recommandations Réponse de la direction
1. Le CCSMA devrait envisager d'étudier et de définir officiellement la façon dont les sous-projets des PPC sont sélectionnés (y compris comment et quand l'apport des scientifiques est pris en compte). Ce processus de sélection devrait notamment tenir compte du potentiel de conflit d'intérêts, évaluer ce potentiel pendant le processus d'approbation et faire de même avec l'apport des scientifiques.

Acceptée.

L'IRDG mettra à jour son Cadre de gouvernance et définira plus clairement le processus de planification des PPC, plus précisément en ce qui a trait à l'élaboration et à la sélection des sous-projets.

2. Le CCSMA devrait envisager d'obliger les PPC financés au cours de la phase VI et après à produire un plan indiquant comment la technologie et les connaissances générées pendant le projet seront transférées aux utilisateurs finaux et utilisées par ceux-ci, précisant le travail de suivi qui devra être effectué par les partenaires pour garantir un tel transfert et mentionnant les sources de financement possibles afin de maximiser l'adoption du plan.

Acceptée.

Les PPC comprendront un plan de transfert des technologies/connaissances désignant les clients et les utilisateurs finaux qui seront mobilisés tout au long du projet.

Les équipes des PPC examineront et mettront à jour périodiquement le plan initial afin de maximiser son adoption. À la fin de la période de financement des projets, l'IRDG déterminera le travail de suivi qui devra se faire pour mettre en œuvre intégralement le plan en indiquant les ressources éventuelles et en encourageant l'établissement de liens à l'externe selon le cas.

3. Le CCSMA devrait examiner et offrir d'autres possibilités d'amélioration de la communication entre les ministères et les organismes participant aux PPC afin de renforcer la collaboration et la recherche de solutions communes, par exemple en appuyant la tenue de séances semestrielles interactives.

Acceptée.

Les plans de gestion des PPC devront contenir des plans de communications internes pour faciliter la collaboration et la recherche de solutions communes. L'IRDG appuiera la tenue d'autres séances interactives en équipe.

4. Le CCSMA devrait examiner d'autres possibilités d'améliorer la mesure du rendement et la production de rapports sur le rendement, dont les suivantes : Acceptée.
  • Surveillance continue des PPC de la phase V (la prochaine évaluation devrait également examiner ce qui s'est passé dans le cadre de ces projets). Il faudrait consulter les responsables des PPC pour définir l'ensemble des indicateurs les plus utiles devant faire l'objet d'un suivi et qui est gérable lorsque vient le temps de produire des rapports.
De concert avec les responsables des PPC des cinquième et sixième phases, l'IRDG élaborera des méthodes utiles pour examiner l'héritage durable et les répercussions que laisseront les PPC. Les PPC seront tenus de désigner les utilisateurs finaux et les intervenants qui ont profité ou qui pourraient profiter des produits du projet aux fins de la réalisation d'évaluations de suivi. Une étude sur l'adoption et l'incidence des PPC de la phase V sera entreprise dans le cadre de la prochaine évaluation de l'IRDG.
  • Création d'une base de données pour consigner l'information par projet, qui permettrait de faire une recherche et une analyse en fonction des principales caractéristiques des projets (comme le type de projet, le secteur d'impact, le ministère ou l'organisme, la phase de financement de l'IRDG, le financement de l'IRDG, le financement engagé par les ministères ou organismes, le PHQ, etc.) et qui encouragerait les projets ayant des objectifs comparables à communiquer ensemble. Il faudrait accompagner cette base de données d'une définition détaillée des variables et des indicateurs devant être déclarés.
L'IRDG définira les principales caractéristiques des projets devant être déclarées et établira une base de données qui pourra être utilisée pour favoriser la communication interministérielle et pour soutenir les activités de déclaration.
  • Simplification du processus de production de rapports des PPC, par exemple en revoyant le nombre d'indicateurs devant être déclarés dans les rapports semestriels des PPC. La tenue de séances interactives à mi-exercice au lieu de la production de rapports semestriels détaillés et le réexamen du nombre d'indicateurs sont des exemples d'occasions de simplification et d'amélioration des communications.
L'IRDG simplifiera le processus de production de rapports semestriels des PPC au CCSMA et réexaminera les variables et les indicateurs devant être déclarés annuellement pour les projets autorisés et les PPC.
Date de modification :