Cette année 2021 est importante pour les IUT car c’est celle de l’instauration du Bachelor Universitaire de Technologie (B.U.T.) qui s’accompagne d’une transformation pédagogique majeure. En effet, ce nouveau diplôme national, repose sur l’approche par compétences (APC). L’articulation entre théorie et pratique est le cœur de l’APC. Cette approche doit permettre aux étudiants de s’adapter à des problématiques professionnelles complexes en mobilisant connaissances, savoir-faire, techniques, attitudes. Pour cela, les étudiants en BUT seront confrontés, à des Situations d’Apprentissage et d’Évaluation (SAÉ). Les SAÉ sont au coeur de l’APC du BUT et compteront pour moitié dans l’évaluation de ce nouveau diplôme.

La suite de ce billet ne restera pas aussi générale mais posera des questions sur la mise en place de cette réforme en BUT informatique, ou STID, puisque j’enseigne dans ces formations.

Une SAÉ se définit comme un ensemble constitué d’une ou plusieurs tâches à réaliser par l’élève en vue d’atteindre le but fixé. Elle permet à l’élève de développer et d’exercer une ou plusieurs compétences disciplinaires et transversales. La SAÉ n’apporte pas grand chose de nouveau, en dehors de son nom, puisqu’elle correspond à une activité bien connue : le projet.

Clairement, en informatique, les projets sont un atout pédagogique majeur. Il s’agit probablement de l’activité pédagogique la plus motivante et la plus formatrice pour un étudiant. En réalité, il existe une activité encore plus motivante et plus formatrice que le projet, c’est le stage !

Dans le nouveau diplôme BUT l’évaluation des SAÉ comptera pour moitié. C’est là que les problèmes commencent car si le projet constitue, selon moi, l’activité pédagogique la plus formatrice pour un étudiant, c’est également l’un des pires moyens d’évaluation. Je ne dis pas qu’il est impossible d’évaluer rigoureusement et individuellement un projet réalisé de manière collective. C’est possible mais c’est extrêmement chronophage et difficile, et c’est rarement fait. Tout du moins je l’ai rarement observé. Quand aux évaluations de stages, franchement, il vaut peut être mieux éviter d’en parler. Pour courroner le tout, autant les heures étudiantes dédiées aux SAÉ sont plétores, autant les heures enseignantes dédiées aux SAÉ sont faméliques.

Pour l’évaluation et le suivi de nos étudiants nous utilisont une superbe application nommée ScoDoc. Ce logiciel nous permet, entre autres, de réaliser des graphiques de répartition des notes. J’ai pris au harsard la répartition des notes de différentes promotions d’étudiants en DUT informatiques concernant :

• Trois évaluations de modules informatiques (équivalent des ressources dans le BUT)
• Trois évaluations de projets informatiques (équivalent des SAÉ dans le BUT)
• Trois évaluations de stages (qui s’appelera probablement toujours stage dans le BUT ?)

J’insiste sur le fait que les graphiques ci-dessous sont des exemples réels et représentatifs du DUT informatique dans lequel j’enseigne.

On observe une répartition très classique et « saine » des notes. Il y a des étudiants qui ont un niveau catastrophique avec des notes en dessous de 5 (il s’agit d’étudiants de S1). Il y a aussi des notes exceptionnelles (19 ou 20 par exemple).

Oublions les 0 qui correspondent ici à des étudiants qui n’ont rien rendu. On voit clairement que la répartition des notes se déplace vers la droite et se concentre. On observe très peu de notes en dessous de 10 car dans un groupe de projet, il y a toujours au moins un étudiant capable de faire quelque chose. Souvent les notes sont partiellements individualisées par des oraux par exemple. Mais même en individualisant, l’individualisation reste partielle et la ventilation des notes dans un groupe reste généralement modérée (ex : sur un même projet, on met rarement un 2 à un membre et un 18 à un autre). Il y a également moins de notes exceptionnelles (19 ou 20 par exemple). Les notes sont bien moins discriminantes et les étudiants au niveau insignifiant obtiennent généralement des notes pas du tout catastrophiques et pas du tout représentatives de leur niveau. Ces notes de projets posent régulièrement des problèmes lors des commissions de passage. Mais, comme je l’ai déjà dit, il est difficile et extrêmement chronophage d’évaluer rigoureusement et individuellement un projet. Par contre, ce serait certainement une erreur de se passer de ce type d’outil pédagagique tant il est motivant et formateur pour nos étudiants.

Certains vous dirons qu’il est possible d’évaluer rigoureusement et individuellement des projets et je veux bien les croire. Toujours est-il que ce que je montre ici est ce qui est observable sur notre application de suivi des étudiants…

Les stages sont vraiment utiles, formateurs, structurants pour nos étudiants. Par contre, clairement, leur évaluation est très peu significative, et c’est bien normal car :

• Les sujets de stages sont très différents et souvent peu comparables
• Chaque stage est évalué par une personne différente
• Chaque stage est partiellement évalué par une personne dont ce n’est pas le métier
• Les grilles d’évaluation sont inévitablement extrêmement vagues

Je répète souvent à mes étudiants qu’une note dans l’absolu ne veut rien dire. Une note prend du sens en la comparant aux autres à condition que le sujet soit le même pour tous, que les conditions d’évaluation soient les mêmes pour tous, que la grilles d’évaluation soit assez précises et l’évaluateur formé et de préférence unique. Les notes de stage ne remplissent aucune de ces conditions, elles sont donc quasiment incomparables les unes par rapport aux autres et ne veulent ainsi pratiquement rien dire. On peut tout au plus dire qu’une note 16 correspond probablement à un stage qui s’est mieux déroulé qu’un stage évalué à 8. Mais de mon expérience, on ne peut pas en dire grand chose de plus. J’ai moi même, dans la même promotion, co-évalué à 11 un stage équivalent à un autre (selon mon point de vue informatique) que j’ai co-évalué à 17 !

L’objectif de cette réforme pédagogique est de mettre au coeur de la formation la notion de compétence. La compétence c’est un « savoir-agir complexe reposant sur la mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situations » (Tardif, 2017). La connaissance s’applique aux savoirs théoriques et techniques qui s’acquièrent par formation. La compétence ajoute une dimension pratique, l’habileté de mise en œuvre des connaissances en une situation bien spécifique.

Certes, tout cela et bien louable et je conviens que les compétences, qui englobent les connaissances, sont bien plus importantes que ces dernières (c’est une totologie qui, en mathématique s’appele la relation d’inclusion).

L’évaluation des compétences constitue la problématique majeure du recrutement dans les entreprises. Pourtant, malgré leurs ressources importantes et un personnel humain professionnel formé et spécialisé, force est de constater que cette problématique n’a pas encore trouvé de solution satisfaisante.

Ma compréhention est que la connaissance est quelque chose que l’on peut formaliser, enseigner et évaluer. L’autre partie de la compétence (celle qui n’est pas de la connaissance) et évidément difficile à formaliser, à enseigner et à évaluer. Et pour mettre la compétence au coeur du BUT, la motié de l’évaluation portera sur les connaissances (les ressources) et l’autre moitié sur le reste (les SAÉ). L’autre moitié, c’est bien ce que les entreprises, malgré tout leurs moyens, n’arrivent pas à évaluer. C’est bien ce qui, par définition, est extrêmement difficile à évaluer. Ainsi, en évaluant pour moitié les connaissances (ressources) et pour moitié le reste (SAÉ), nous obtiendrons un BUT bien équilibré et à cheval sur la notion de compétence (sic !).

Ce semestre, je vais commencer la SAÉ S101 en BUT STID. En résumé, l’objectif de cette SAÉ est de « mettre l’étudiant en situation de production de tableaux de bord à partir de données stockées dans un SGBD relationnel, en respectant les termes d’un cahier des charges fourni (spécification, livrables, délai…) » Voici les volumes horaires alloués à cette SAE :

• 12h de Travail pour les étudiants en autonomie
• 4h de préparation et d’évaluation pour l’enseignant
• 2h en présentiel étudiant/enseignant pour la présentation et le lancement de la SAÉ et les réponses aux questions des étudiants.

Imaginons que je consacre la moitié du temps pour la préparation des sujets de SAÉ (2h) et que je fasse deux évaluations (une à mi-parcours et une finale par exemple) individualisées pour cette SAÉ dans mon groupe de 30 étudiants :

• Avec un volume de 2h, je ne mets même pas au point une SAÉ, donc je ne pourrai en préparer qu’une seule.
• Avec un temps de 120 secondes par étudiant et par évaluation je vais certainement renoncer à une évaluation orale…

La solution pour conserver une évaluation représentative et individualisée serait un examen individuel sur papier sur des compétences identiques à celle de la SAÉ. Une sorte de mise en situation analogue sur papier en temps limité. Mais cette solution pose deux problèmes :

• ce format ne s’adapte pas bien à cette SAÉ et s’adaptera probablement encore moins aux SAÉ des semestres suivants
• sans évaluation directe de la SAÉ proprement dite, un nombre important d’étudiants va inévitablement la bacler (pas d’implication sans note), et ce n’est pas l’objectif.

Les SAÉ vont compter pour la moitié de l’évaluation et donc de la validation du BUT. L’approximation importante que l’on accepte sur l’évaluation d’un projet comptant moins de 10% de la formation est bien plus difficile à accepter quand le poids des ces notes approximatives, et largement surévaluées pour certains étudiants, compte pour la moitié de la formation. Selon moi c’est une généralisation systémique à l’échelle nationnale de la médiocrité de l’évaluation de notre diplôme, et donc de sa valeur. Tout comme mes collègues, je ferai mon possible pour ne pas sombrer dans ce travers, mais je n’ai pas encore trouvé les solutions à ce problème.

Note du 26/10/2023 : Je suis actuellement directeur des études en BUT2 et donc bien placé pour faire une petit constat chiffré. Supposons qu’un étudiant de S4 obtienne la note de 15 en stage (l’évaluation du stage dure 30 minutes et la moyenne des notes de stage de la promotion de cette année est de 14). Supposons également que cet étudiant et eu 12 en SAÉ. Supposons enfin que ce même étudiant ait eu 4 à toutes les évaluations de toutes les ressources (Il y a 12 ressources qui totalisent une vingtaine d’évaluations soit environ 30h d’évaluation). Et bien cet étudiant, grâce au poids des SAÉ (stage compris) validera toutes les UE du S4 avec 10 de moyenne dans chacune d’elles ! Considérer qu’une note de stage attribuée en 30 minute a le même poids que 30h d’évaluation avec sujet, barême et correction est selon moi d’une absurdité sans bornes !

Le Bachelor Universitaire de Technologie, présentation Jean-Christophe Dubacq
Le Bachelor Universitaire de Technologie Vers l’approche par compétences, présentation d’Emmanuel Viennet
Réunion apériBUT SAÉ
Réunion BUT informatique, ressources BD compétence 4
Journées Pédagogiques Nationales 2021 les 1er et 2 juin 2021
Webinaire – Atelier Comment construire son enseignement et les SAÉ avec la démarche 4C/ID le 10/06/2021
Webinaire – Atelier Démarche Portfolio et Eportfolio avec l’outil Karuta Open Source le 03/06/2021
Journées Pédagogie et Professionnalisation (JPP) consacrées au Bachelor Universitaire de Technologie organisées par l’IUT d’Aix-Marseille du 9 au 11 juin 2021
Wikipedia – Situation d’apprentissage et d’évaluation
Bachelor Universitaire Technologie – IUT de Vannes
L’approche par compétences : une mystification pédagogique