L’intelligence artificielle bientôt prête à corriger le brevet ?

Une expérimentation rigoureuse menée dans l’académie de Lyon

Thibaud Hayette, professeur de lettres et interlocuteur académique pour le numérique à Lyon, a mené une expérience inédite : comparer la correction de copies de brevet faite par des enseignants et par une intelligence artificielle. Une démarche encadrée par les autorités académiques, lui permettant d’utiliser des copies officielles du brevet 2024. L’objectif : mesurer les performances de l’IA face à celles de l’humain dans une tâche aussi exigeante que la notation.

Un protocole de test exigeant et long à mettre en œuvre

Le professeur a sélectionné une copie de brevet de français, corrigée par sept enseignants volontaires. Avant toute correction, il a numérisé la copie via Notebook LM, transformant l’écriture manuscrite en texte numérique. Un travail technique mais nécessaire, bien qu’imparfait : dans 85 % des cas, la numérisation était correcte, mais certaines fautes étaient mal interprétées ou complétées de manière fantaisiste par l’IA. Résultat : un contrôle mot à mot s’est révélé indispensable.

Des résultats bluffants avec ChatGPT 4… sur certaines parties

Thibaud Hayette a ensuite utilisé la version gratuite de ChatGPT 4 pour procéder à la correction. Avec les consignes d’un professeur de français et le corrigé officiel à l’appui, l’IA a corrigé la partie « questions » en dix secondes, avec justification des notes. Une rapidité impressionnante, mais pas sans limites.

Des erreurs notables dans la correction de la dictée

Sur la dictée, les résultats se sont révélés moins convaincants. L’IA a tendance à mal classer les fautes. Par exemple, un accent oublié dans « il répétait » a été considéré comme une erreur de conjugaison, pénalisée à –1, au lieu d’une erreur lexicale à –0,25. Des imprécisions qui soulignent la complexité d’une tâche pourtant rapide pour un enseignant.

Une rédaction bien notée, mais des écarts parfois marquants

Concernant la partie rédaction, la majorité des copies portaient sur un sujet d’imagination. L’IA a su évaluer avec justesse en respectant la grille de notation : introduction, conclusion, cohérence, connecteurs… Pourtant, des écarts importants subsistent. Sur l’ensemble des copies, l’écart moyen entre IA et enseignants est de 0,5 point, mais il atteint parfois 7 points sur une même copie.

Des atouts réels mais encore plusieurs limites

La rapidité de traitement et la justification des notes sont les deux grandes forces de l’IA. Toutefois, des limites techniques persistent : transformation du manuscrit, protection des données personnelles, ou encore éthique d’utilisation. Soumettre des copies contenant du contenu autobiographique à une IA pose de réelles questions. Actuellement, la législation interdit d’ailleurs aux enseignants de transmettre les travaux d’élèves à une IA.

Une automatisation partielle bientôt envisageable ?

Thibaud Hayette croit à un avenir proche où les IA pourraient corriger partiellement les copies du brevet ou du bac. D’ici trois ans, selon lui, cela pourrait devenir réalité, tant les résultats s’approchent déjà de ceux de l’humain. À condition toutefois de lever les obstacles éthiques et de repenser le rôle de l’enseignant dans ce processus.

L’enseignant, toujours au cœur du processus d’évaluation

L’IA pourrait devenir une aide précieuse pour l’enseignant, en le déchargeant de tâches répétitives tout en lui permettant de garder la main sur l’évaluation finale. Ce tandem homme-machine pourrait aussi être utilisé pour accompagner l’élève tout au long de l’année, en analysant ses progrès, en proposant des pistes de remédiation, et en adaptant l’apprentissage.

SOURCE : VOUS NOUS ILS