Profweb

Accueil » Publications » Dossiers » L'évaluation continue des programmes d’études à l’aide du numérique

Publications

Dossiers

Publié le 22 novembre 2018 | Multidisciplinaire

L'évaluation continue des programmes d’études à l’aide du numérique

La mise en oeuvre des programmes d’études est au coeur de la mission de chaque collège (Loi sur les collèges, Article 6). Plusieurs mécanismes existent pour assurer la qualité de ces programmes. L’un de ceux-ci est l’évaluation continue des programmes d’études, qui est actuellement en implantation dans notre collège. Nous avons exploré différents outils numériques afin de soutenir le travail des équipes-programmes dans cette transition. Ce dossier présente quelques-unes des stratégies numériques que nous avons mises en place ou que nous envisageons de développer à l’interne pour assurer le bon déroulement du processus d’évaluation continue.

État de la question

L’évaluation des programmes d’études

En vertu du Règlement sur le régime des études collégiales (RREC), chaque établissement d’enseignement collégial doit se doter d’une politique institutionnelle d’évaluation des programmes d’études (PIEP), adoptée par son conseil d’administration après consultation de sa commission des études, s’assurer de l’application de cette politique, et la faire évaluer par la Commission d’évaluation de l’enseignement collégial (CEEC).

La CEEC est un organisme d’évaluation externe, public et indépendant, dont la mission est de contribuer à l’amélioration continue de la qualité de l’enseignement collégial et d’en témoigner. Son mandat consiste notamment à évaluer, pour chaque établissement, la politique institutionnelle d’évaluation des programmes d’études et son application.

Dans son cadre de référence, la CEEC retient 6 critères d’évaluation:

  • La pertinence du programme
  • La cohérence du programme
  • La valeur des méthodes pédagogiques et de l’encadrement des étudiants
  • L’adéquation des ressources humaines, matérielles et financières
  • L’efficacité du programme (incluant l’évaluation des apprentissages)
  • La qualité de la gestion du programme

Lors du processus d’évaluation, certains collèges procèdent par l’analyse séquentielle des critères de la CEEC, alors que d’autres privilégient l’identification d’enjeux qui recoupent plusieurs critères.

Au Cégep régional de Lanaudière à L’Assomption, nous avons privilégié l’approche par enjeux afin de mieux représenter la réalité des programmes d’études.

De l’évaluation en profondeur à l’évaluation continue des programmes

Au secteur régulier, les évaluations de programmes donnent l’occasion aux enseignants de mettre en oeuvre une vision du programme qui répond aux besoins :

  • Des étudiants
  • Du milieu universitaire
  • Des employeurs
  • De la société en général

Auparavant, l’évaluation des programmes dans notre collège s’effectuait tous les 8 ans et se déroulait minimalement sur une année scolaire. Les comités de programmes formaient des équipes d’évaluation qui devaient :

  • Établir un portrait de la situation et planifier le processus d’évaluation propre au programme dans un devis d’évaluation
  • Développer des outils de cueillette de données pour sonder les enseignants, les étudiants, les employeurs, les universités, etc.
  • Rédiger un rapport d’évaluation comprenant des recommandations pour améliorer le programme

En raison de leur durée, ces évaluations en profondeur ne permettaient pas nécessairement aux comités de programmes de s’arrimer avec les nouveaux programmes universitaires, les exigences des ordres professionnels et les transformations que vit le marché du travail, notamment en lien avec le numérique. De plus, elles mobilisaient beaucoup de ressources pour une longue durée, faisant en sorte que l’état de la situation pouvait avoir grandement évolué entre le portrait de situation initial et le rapport d’évaluation. Enfin, plusieurs recommandations du comité de programme exigeaient, pour être mises en oeuvre, d’être échelonnées sur plusieurs années dans le plan de travail.

Depuis quelques années, plusieurs collèges ont donc migré vers une évaluation continue de leurs programmes d’études, puisque celle-ci permet aux comités de programmes de réagir plus rapidement, en ciblant chaque année des éléments plus prioritaires.

Pour outiller les comités de programmes dans ce type d’évaluation, les différents services (organisation scolaire, service des programmes, services aux étudiants, services adaptés, etc.) doivent rendre l’information récente et longitudinale accessible. Pour favoriser la collaboration entre ces différentes équipes, nous avons exploré différents outils numériques pour optimiser nos pratiques de développement et d’évaluation de programme.

Dans la pratique

L’évaluation continue des programmes d’études exige de travailler en collégialité. Plusieurs comités de programmes souhaitaient optimiser le processus et faciliter :

  • Le partage d’information
  • La communication
  • La collaboration
  • La concertation des équipes de travail

L’utilisation d’outils numériques est apparue comme une solution pour soutenir efficacement les tâches des différentes équipes. Ces outils permettent notamment d’assurer un suivi des différents travaux d’évaluation, ce qui favorise la mise en oeuvre d’une réelle évaluation continue des programmes.

L’équipe du Service des programmes et du développement pédagogique a sélectionné divers outils numériques. Le choix de ces outils a reposé sur différents critères, comme :

  • La pérennité des informations stockées
  • Le coût
  • Le soutien technique accessible
  • La courbe d’appropriation requise
  • Les fonctionnalités, l’accessibilité et la flexibilité offertes

Les outils de cueillette de données

Pour sonder les différents intervenants, des questionnaires d’appréciation standardisés seront proposés aux comités de programmes. Ils sont destinés à recueillir des données perceptuelles, de manière longitudinale, auprès des futurs étudiants, des étudiants, des finissants, des employeurs, des maîtres de stages et du milieu universitaire afin d’alimenter les travaux des comités de programmes.

Ces questionnaires seront révisés annuellement par le comité de programme et les participants y répondront en ligne. Ils seront validés par le comité de programme et la compilation des réponses sera réalisée par le Service des programmes.

Pour mener ces enquêtes, nous avons opté pour l’utilisation du logiciel libre LimeSurvey. Sa flexibilité nous permet de sonder facilement les acteurs externes tels que les finissants, les employeurs ou le milieu universitaire. Ce type de solution d’enquêtes réduit le délai pour l’envoi, la réception et la compilation des données.

Copie d’écran d’un questionnaire créé dans LimeSurvey

Les résultats des enquêtes sont analysés, validés et révisés pour être le plus représentatifs et accessibles possible. Par exemple, un graphique montrant la répartition des réponses selon une échelle d’appréciation permet de visualiser rapidement les résultats. L’illustration suivante permet de valider si les compétences de la formation générale dans un programme technique répondent bien aux besoins exprimés par les différents acteurs (étudiants, finissants, employeurs).

Exemple de tableau d’analyse pour l’appréciation des compétences par les étudiants de 3e année d’un programme technique.

Les outils d’information

Pour regrouper et centraliser l’ensemble de l’information nécessaire aux travaux des programmes, des sites SharePoint pour chaque programme sont en développement. Ces sites, accessibles en lecture seule aux membres des comités de programmes du Cégep, regroupent les informations relatives au programme, notamment :

  • Les documents structurants (devis ministériels, plans-cadres, plans de cours, profils de sortie, logigrammes de compétences, etc.)
  • Les personnes-ressources (coordonnateurs, représentants, personnel de soutien, professionnels, direction)
  • Des sites web d’intérêt (pages des autres collèges, ordres professionnels, etc.)

Exemple de page SharePoint pour un programme regroupant les documents structurants, le tableau de bord, les acteurs concernés et des liens d'intérêts d'un programme [GIF animé].

Ces sites comprennent également un accès aux tableaux de bord qui regroupent des informations longitudinales pertinentes (statistiques et données perceptuelles) pour un programme d’études. Ces informations sont issues des systèmes de gestion, des données ministérielles et des questionnaires d’appréciation continue.

Les tableaux de bord ont également pour but d’alimenter les travaux des comités de programmes. Ils sont créés de manière dynamique à partir des statistiques ciblées par les comités de programmes. Ces tableaux de bord présentent notamment des statistiques sur :

  • L’admission et l’inscription
  • Le type de population
  • Le cheminement scolaire
  • La réussite en 1re session et la persévérance
  • La diplomation, le placement et l’admission à l’université

Des résultats d’enquêtes auprès des acteurs clés du programme (étudiants, finissants, enseignants, employeurs, milieu universitaire, etc.) sont également versés dans ce site. Pour respecter la confidentialité et éviter que des renseignements nominatifs soient partagés, l’ensemble des données est anonymisé par le service qui les fournit.

Dans les prochaines années, les futurs étudiants du programme Techniques d’intégration multimédia devraient être mis à contribution pour développer et mettre à jour les tableaux de bord. Pour développer ceux-ci, nous nous sommes inspirés des modèles du Cégep Heritage, qui a développé ses propres tableaux de bord pour l'analyse des données internes.

Exemple de tableau de bord d’un programme

Exemple de tableau de bord d’un programme montrant le taux de réussite des cours d’étudiants de première session

D’autres collèges ont développé des solutions similaires, notamment le Collège Dawson, dont le projet d’analyse des programmes grâce à la visualisation des données des étudiants a fait l’objet d’un article dans Profweb.

Les outils de collaboration

Liées aux outils d’information, des solutions pour favoriser la collaboration sont également en expérimentation. Ainsi, la gestion de certains programmes s’effectue par l’entremise de groupes de travail dans Microsoft Teams. Cet outil nous permet de regrouper les échanges et les documents des équipes restreintes d’actualisation des programmes.

Exemple de canal de discussion dans Microsoft Teams (582 - Techniques d’intégration multimédia)

Pour développer certains outils plus complexes, comme des profils de sortie ou des logigrammes de compétences, les solutions collaboratives d’Office 365 (PowerPoint Online) ou de LucidChart sont utilisées. Ces outils nous permettent de collaborer en temps réel à l’expression de la vision concertée (profil de sortie, logigramme, descriptif des cours, etc.) du programme par les membres du comité de programme.

Exemple de logigramme de compétences en Techniques d’éducation à l’enfance créé avec PowerPoint Online

Les outils de validation

En plus du développement de nombreux gabarits pour la production des documents structurants (descriptifs de cours, plans-cadres, plans de cours, etc.), nous développons également un outil standardisé pour la révision des grilles de cours. Cet outil a pour objectif d’assurer la conformité (respect des prescriptions ministérielles), la cohérence (avec le profil de sortie, le logigramme de compétences, etc.), la qualité (pédagogie de première session, répartition optimale de la charge de travail, poids relatif des disciplines, etc. ) et le coût (impact sur la tâche des enseignants, besoin en locaux, etc.) des propositions de grilles de cours développées par les équipes d’actualisation programmes.

Cet outil nous permet d’informer les enseignants sur les nombreuses balises encadrant les programmes d’études, de nous assurer de la conformité des nouvelles propositions de grille, tout en respectant les orientations émises par les différents acteurs du programme.

Ce type d’outil permet également aux enseignants de mieux s’approprier le processus de révision de grille de cours, de diminuer le risque d’erreurs et de mieux cerner les impacts et les opportunités liés à ce type de révision.

Conclusion

Dans son cadre de référence sur l’évaluation des PIEP, la CEEC énonce 3 conditions (le leadership, la participation et le respect de principes déontologiques) et 3 caractéristiques (l’utilité, la faisabilité et la rigueur) de travaux d’évaluation de qualité.  À travers la révision et la mise en oeuvre de notre PIEP, nous avons tenté de respecter le plus possible ces éléments afin de proposer un processus d’évaluation des programmes mobilisateur permettant aux comités de concrétiser leur propre vision des programmes.

L’utilisation du numérique soutiendra les programmes dans leurs travaux d’évaluation. Ces outils de cueillette de données, d’information, de collaboration et de validation permettent de gagner en efficacité, d’assurer une collecte et une analyse des données plus systématiques, de favoriser la collaboration et de rendre l’information plus accessible. Ces avantages faciliteront la transition vers une évaluation continue des programmes et le maintien à long terme de cette pratique. Nous espérons être en mesure de mettre en oeuvre ces pratiques le plus tôt possible afin de mobiliser encore davantage l’ensemble de notre communauté dans le développement de programmes de qualité.

Ce dossier a été réalisé avec la collaboration de :

  • France Perreault, technicienne en information, Cégep régional de Lanaudière à L’Assomption
  • Dominique Trudel, conseillère pédagogique, Cégep régional de Lanaudière à L’Assomption
  • Sébastien Piché, directeur adjoint aux études, Cégep régional de Lanaudière à L’Assomption
  • Andréanne Turgeon, éditrice, Profweb

Remerciements

Je tiens à remercier le personnel de la Commission d’évaluation de l’enseignement collégial (CEEC) pour les informations relatives à la mission de l’organisme.

Références utiles

À propos de l'auteur

Jean-Luc Trussart Enseignant au secondaire, puis conseiller pédagogique au Cégep régional de Lanaudière à L’Assomption, il accompagne depuis plus de 10 ans les enseignants et les institutions d’enseignement dans l’adoption de pratiques pédagogiques diversifiées, dans la mise en oeuvre de programmes de formation favorisant la réussite des étudiants et dans l’intégration cohérente des outils numériques. À travers son parcours, il met à profit sa créativité pour proposer des solutions pédagogiques cohérentes, efficaces et efficientes, tout en mobilisation des acteurs clés des organisations.

15 commentaire(s)

  1. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Isabelle Laplante a écrit le 28 novembre 2018 à 14h25

    Bravo pour cette illustration que le numérique permet d'allez au delà de la somme des parties. Une véritable écologie de systèmes numériques! J'attire également votre attention sur une avancée connexe soit l'utilisation des données ouvertes et liées (le Web sémantique) pour briser les silos où se trouvent les données sur les programmes. Voir la présentation de Yves Otis, sur cette initiative au Cégep de Chicoutimi « Un prototype de base de connaissances pour l’évaluation des programmes collégiaux », https://websemantique.ca/2018/programme/prototype-base-de-connaissances-programmes-collegiaux/ Bon visionnement!

  2. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 30 novembre 2018 à 10h50

    Merci pour les bons mots Isabelle! Merci également pour la ressource, complémentaire, pertinente et fort intéressante! Ton apport est toujours fort apprécié!

  3. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jules Massé a écrit le 30 novembre 2018 à 11h03

    Merci Isabelle, Je viens d'écouter la présentation et ça vaut la peine d'être partagée!!

  4. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jules Massé a écrit le 30 novembre 2018 à 10h36

    Excellent article, présentant une approche extrêmement intéressante, car elle met le numérique au service des programmes collégiaux dans une perspective d'amélioration continue qui favorise la mobilisation et la collaboration. J'y vois une avenue intéressante pour développer l'autorégulation de l'ensemble des acteurs autour d'un programme!

  5. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 30 novembre 2018 à 10h41

    Merci de ton commentaire Jules! C'est exactement ce que nous cherchons à faire! En espérant pouvoir collaborer à mettre en place ces pratiques dans nos établissements respectifs :)

  6. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 30 novembre 2018 à 10h41

    Merci de ton commentaire Jules! C'est exactement ce que nous cherchons à faire! En espérant pouvoir collaborer à mettre en place ces pratiques dans nos établissements respectifs :)

  7. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Martin Richard a écrit le 30 novembre 2018 à 14h51

    Bravo pour cet article Jean-Luc ! Je répète ma remarque à ProfWeb. Peut-être que c'est moi qui est trop vieux, mais je n'arrive pas à apprécier les images inclues dans l'article. Ce serait vraiment bien de pouvoir cliquer sur les images pour accéder aux images en plus haute résolution.

  8. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 30 novembre 2018 à 16h05

    Merci Martin! J'assurerai le relais avec l'équipe de Profweb pour voir si cette option pourrait être implantée!

  9. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Sylvie Plante a écrit le 30 novembre 2018 à 19h06

    C'est brillant d'avoir pensé à une façon de pérenniser les outils d’évaluation continue des programmes par les TIC. Quel bon coup! Et merci de l'avoir partagé!

  10. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 2 décembre 2018 à 12h56

    Merci beaucoup du compliment! L'objectif de pérenniser les outils est effectivement très présent dans notre démarche. Je suis content que cette approche vous inspire!

  11. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    C85afaaad9a45c376661a94cc28716eb

    Nicole Perreault a écrit le 4 décembre 2018 à 13h52

    Bonjour Jean-Luc, je joins ma voix à celles des nombreuses personnes qui ont commenté ton dossier : avec ta clarté habituelle, tu proposes une démarche et des outils où, effectivement, le numérique contribue à faciliter la gestion des programmes et leur suivi. C'est précieux. Merci !

  12. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 7 décembre 2018 à 7h14

    Merci beaucoup Nicole pour les bons mots!

  13. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Samuel Fournier St-Laurent a écrit le 13 décembre 2018 à 11h08

    Après quelques années, j'utilise tes documents pour le design de cours, la prévention du plagiat, la gestion de classe avec TIC et maintenant l'évaluation de programmes. Où est le bouton pour s'abonner à plus !

  14. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    36424775068cdf64ddc14b16071b446d

    Guillaume Vachon a écrit le 13 décembre 2018 à 11h55

    Il y a l'infolettre (http://www.profweb.ca/infolettre) ou encore la page de l'auteur pour la liste de toutes ses publications, présentes et futures (http://www.profweb.ca/auteurs/jean-luc-trussart)!

  15. Pour afficher votre avatar dans vos commentaires utilisez le services Gravatar.
    Pour des explications techniques, consultez notre article « Afficher un avatar avec le service Gravatar ».

    Avatar default

    Jean-Luc Trussart a écrit le 17 décembre 2018 à 11h50

    Merci Samuel pour ton intérêt pour mes partages! Content que cela réponde à tes besoins:) Comme le présente Guillaume, l'infolettre de Profweb permet de s'inspirer des partages de l'ensemble des membres du réseau! Un incontournable!

Commenter

* champs obligatoires
Type d'intervention*