Questionner l'usage des données numériques liées à l'activité des élèves

Compte rendu de la conférence de Pascal Detroz (ULiège).

L’Admée¹ est « une association internationale francophone qui réunit des chercheurs, enseignants, formateurs, cadres et autres personnes intéressées par les questions d’évaluation en éducation et en formation. L’évaluation des acquis des élèves, l’évaluation des formations, des dispositifs, des outils, des programmes et l’évaluation des systèmes de formation… sont autant de thèmes qui motivent nos échanges, nos rencontres et nos productions ».

Lors du colloque de janvier 2020, j’ai été particulièrement intéressée par une des conférences intitulée « Learning analytics : chimère ou nouveau paradigme en évaluation ? » et donnée par Pascal Detroz, professeur à l’Université de Liège. Ce compte rendu s’inspire du diaporama présenté par le professeur Detroz qui l’a généreusement mis à notre disposition.

Ce colloque proposait des réflexions sur des dispositifs et des méthodologies en émergence dans l’évaluation. La conférence a décrit quelques cas d’utilisation des « learning analytics » et questionné l’émergence de ces dispositifs. Je reprends quelques points essentiels de cette conférence, en commençant par citer deux définitions des « learning analytics » :

• « La mesure, la collecte, l’analyse et la présentation de données au sujet des apprenants et de leur contexte dans le but de comprendre et d’optimiser les apprentissages et les écologies dans lesquelles ils se construisent. » (Siemens et al., 2012).
• « La collecte, l’analyse et l’utilisation intelligente des données produites par l’apprenant. » (Boyer, 2019).

Quelques cas exposés qui permettent de mieux comprendre le concept

1. Les algorithmes

Le premier cas porte sur des algorithmes permettant de prédire la réussite ou l’échec des étudiants. Ces algorithmes prédictifs englobent des données relatives à l’étudiant : ses résultats antérieurs, ses caractéristiques personnelles (lieu de résidence, âge, nombre de crédits visés…), des données sur son engagement, son temps de travail effectif mesuré, par exemple en fonction du temps passé sur un « Learning mangement system »² comme un MOOC (Massive Open Online Course). Ces algorithmes peuvent alerter l’étudiant, avec envoi de courriels, l’informer de risques d’échec. Ceux-ci peuvent aussi informer l’enseignant et lui donner des indications sur les travaux des étudiants…

 Les implications semblent intéressantes :

• assurer plus d’engagement de la part de l’étudiant,
• prévenir les abandons,
• augmenter les réussites. 

Par ailleurs, d'autres constats ont été soulignés par les chercheurs :

- Les traces récoltées sont meilleures que les données autorapportées pour définir l’action des individus. (Poellhuber at al., 2014).
- L’analyse des traces permet de prédire avec une certitude de 90 % l’abandon dans les MOOCs dès la deuxième semaine. (Poellhuber, 2019).
- Dix likes sur Facebook sont aussi efficaces que de vagues connaissances pour établir votre profil. Cent likes sont aussi efficaces que vos amis intimes. (Pascot, 2019).
- Les traces sont des faits qui ne sont soumis à aucun a priori, et qui n’ont pas été construits et récoltés pour les besoins de l’analyse (Luengo, 2019) - au contraire, souvent, de l’artéfact évaluatif …
- Dans les learning analytics, les données sont hétérogènes, ambigües, multiformes, avec des temporalités différentes et massives. (Boyer, 2019). Elles sont aussi partielles et donc partiales, ce qui pose la question de la norme : 
> Les traces constituent des données d’engagement comportemental et pas nécessairement des données d’engagement cognitif. Les individus peuvent réguler le comportement sans s’engager. Par exemple, visionner une vidéo sur son ordinateur n’implique pas nécessaire de la suivre, de la comprendre, d’en tirer les informations essentielles…
> Plus les données sont massives, plus elles sont factuelles et moins elles sont porteuses de sens.
> Que penser de l’identité numérique ?

2. Amélioration du diagnostic de la dysgraphie

Le deuxième cas illustre l’amélioration du diagnostic de la dysgraphie. En effet, les tests actuels pour diagnostiquer la dysgraphie donnent des résultats imparfaits pour analyser les éléments dynamiques de l’écriture. L’écriture sur tablette permet de recueillir ces éléments dynamiques : espace entre les mots, tremblements, vitesse d’écriture, pression et inclinaison du crayon électronique…).

La prise en charge de ces éléments assure un diagnostic plus précis et donc une remédiation plus adaptée, notamment par la création d’outils mieux appropriés.

3. Des outils de reconnaissance faciale

Le troisième cas fait davantage frémir. L’école supérieure de Hangzhou City, dans la province de Zhejiang, emploie des outils de reconnaissance faciale pour monitorer l’attention des étudiants en classe. Techniquement, trois caméras sont disposées devant la classe et scannent l’ensemble des visages toutes les 30 secondes. Le système décode alors l’humeur des étudiants de manière individuelle. Il détecte la surprise, la tristesse, l’antipathie, la colère, la neutralité. Il synthétise également ces informations au niveau du groupe.

Le système décode aussi l’activité de l’étudiant (lire, écouter, écrire, se lever, lever la main, s’appuyer sur le bureau). En croisant ces informations, le système livre à l’enseignant la liste des étudiants qui ne font pas attention et il peut intervenir. 

Il se chuchote que l’enseignant pourrait être rémunéré en fonction de l’activité réelle qu’il suscite chez les étudiants. 

En conclusion 

La recette pour produire des « learning analystics » semble donc simple :

• vous tracez l’activité de l’apprenant (données massives - Big Data),
• vous secouez le tout avec des algorithmes,
• vous ajoutez une pincée de structure statistique,
• vous servez dans de chouettes tableaux de bord,
• vous réglez les problèmes d’enseignement/apprentissage.

Cette « recette » permet donc de prédire, alerter, estimer, recommander…

Certaines recherches montrent d’ailleurs des résultats qui questionnent et se révèlent des pistes prometteuses, tandis que de multiples inquiétudes sont aussi fortement présentes dans la réflexion (notamment le fait qu'il y ait des données pour un type particulier d’individus et que celles-ci soient inévitablement numériques).

CONCLUSIONS

Les learning analytics sont, par leur extrême modalité, ce que l'on décide d'en faire.

Apports indéniables pour les étudiants, les enseignants, le encadrants, les chercheurs, les autorités institutionnelles et politiques mais ..
> l'implémentation des learning analytics constitue un processus complexe à de multiples égards ;
> les fonctions liées aux learning anlytics suscitent des craintes et des réticences ;
> la fiabilité des données inhérentes à toute démarche de learning analytics doit être démontrée ;
> le respect de la vie privée constitue un véritable noeud dans la mise en oeuvre des learning analytics ;
> ...

Les learning analytics sont porteurs de risques, mais il est peut-être nécessaire de les prendre ?

Notre position est favorable sous conditions.

Source:  https://orbi.uliege.be/bitstre...

En guise de conclusion, je vous laisse réfléchir à votre prise de position personnelle quant à la question posée par le conférencier : « Learning analytics : chimère ou nouveau paradigme en évaluation ? »

 Colette Leunus

¹ Site de l’Admée : http://admee.org

² LMS =  En technologie de l'information et de la communication, un learning management system (LMS) ou learning support system (LSS) est un logiciel qui accompagne et gère un processus d'apprentissage ou un parcours pédagogique. En français, on parle de « plateforme d'apprentissage », « système de gestion de l'apprentissage », « centre de formation virtuel », « plate-forme e-learning », « formation ouverte à distance » (FOAD) ou « formation en ligne », et, particulièrement au Québec, d' « environnement numérique d'apprentissage » (ENA).
Source : https://fr.wikipedia.org/wiki/...