Comment évaluer les compétences et la performance ?

Les attentes des services formation en entreprise

Dans la première partie de cet article, nous avons fait le constat que les attentes des services de formation en termes de résultat des formations linguistiques sont souvent irréalistes, décalées avec les objectifs réels de la formation et induisent des effets pervers sur l’apprentissage.

Les cahiers des charges des appels d’offres de la profession regorgent de textes où on exige par exemple qu’après une formation de 10 ou 15 heures, au rythme d’une heure par semaine, étalée sur une période allant jusqu’à 6 mois, le stagiaire ait progressé d’un demi-niveau sur l’échelle du CECRL ou de X points au TOEIC.

Il suffit de se plonger quelques heures dans les publications des spécialistes du domaine, comme Cambridge Assessment ou The American Council on the Teaching of Foreign Languages (ACTFL), pour se rendre compte qu’il faut beaucoup d’heures d’apprentissage guidé pour passer d’un niveau à un autre du CECRL¹ (150 à 300) et que l’aisance et la spontanéité s’acquièrent grâce à une pratique quasi quotidienne.

Qui en a les moyens et le temps, dans les entreprises aujourd’hui ?

Par ailleurs, la plupart des personnes qui suivent une formation au sein de leur entreprise ne se soucient pas du niveau, sauf si celui-ci est imposé par l’entreprise. Ils veulent plutôt être à même de participer à des conférence calls en anglais, répondre à des emails ou au téléphone en espagnol, accueillir des visiteurs étrangers, faire un « pitch », être plus à l’aise, et bien sûr maintenir leur niveau actuel, etc.

Face à ces demandes, les professionnels de la formation linguistique ont tendance à ménager la chèvre et le chou, en laissant les formateurs adapter leur accompagnement aux demandes du stagiaire, tout  en proposant à l’entreprise des outils de mesure de la micro-progression en niveau qui n’ont aucun sens et ne reflètent pas la réalité. Cela a contribué à décrédibiliser la profession, car les résultats ne sont pas au rendez-vous.

Peut-on mesurer autre chose que la progression en niveau ?

Il serait, à notre sens, plus logique de mesurer les résultats de la formation en fonction des objectifs opérationnels poursuivis et d’amélioration de l’efficacité communicative plutôt qu’en terme de niveau. Mais comment procéder ?

Ce sujet n’est pas nouveau : l’approche par compétences et la perspective actionnelle (task-based approach) ont été adoptées depuis longtemps par certains prestataires et certificateurs (le BEST, les examens de Cambridge Assessment, le DCL, Leveltel, etc.). Nous constatons malgré tout que la formation linguistique en entreprise reste trop fréquemment centrée sur l’atteinte d’un niveau supérieur.

Avant d’aborder les solutions possibles, il convient de préciser l’utilisation faite ici des expressions « niveau de langue », « compétence(s) » et « performance ».

1. Niveau de langue, compétence et performance

Le niveau de langue est généralement représenté par un score linéaire sur une échelle numérique (ex : 870 / 990), ou bien par une lettre, comme dans le Cadre Européen Commun de Référence pour les langues ou CECRL (A1, A2, B1, B2, C1, C2).
Dans les deux cas, même si utile, cette représentation linéaire est réductrice. En effet, selon le CECRL, au-delà des 5 activités langagières (lire, écrire, écouter, parler en continu, parler en interaction), un niveau de langue est multi-dimensionnel et mobilise différents types de compétences :

• Linguistiques : phonologique, lexicale, grammaticale…
• Pragmatiques : réagir de manière adaptée et pertinente, réguler et organiser son propos, utiliser des stratégies pour débattre, expliquer, argumenter…
• Sociolinguistiques : adaptation du discours à l’auditoire, emploi approprié des registres de langue, civilités, politesse, références culturelles…

Dans le contexte de la formation en entreprise, on peut affiner l’approche en la situant dans un contexte professionnel, en ciblant les compétences professionnelles linguistiques transversales, liées à des tâches ou contextes communs à la plupart des métiers et fonctions. Par exemple : la capacité à réaliser une présentation technique, à rédiger des emails, à lire un article de presse spécialisée, à interagir efficacement en réunion, à se débrouiller en voyage d’affaires, à négocier un contrat, etc., dans une autre langue.

Chacune de ces compétences peut également être divisée en micro-compétences ou tâches (organiser un voyage, conclure une réunion, argumenter efficacement, comprendre des titres de presse…).

Ainsi, comme le nombre de variables qui composent le niveau est important, toutes sortes de profils ou de combinaisons sont possibles, difficilement comparables entre eux, ce qui relativise l’utilité de cette notion de niveau.
Deux exemples :

• Jean-Pierre a 10 ans d’anglais scolaire et prépa derrière lui. Il possède une bonne maîtrise formelle des structures grammaticales et lexicales de la langue, peut rédiger un rapport correct ou lire un article de presse, mais balbutie à l’oral par manque de pratique et par timidité, a un accent incompréhensible et a des difficultés à suivre une conversation.
• Elodie, qui n’a que 4 ans d’anglais scolaire, maîtrise beaucoup moins les structures grammaticales, emploie un vocabulaire imprécis et fait des fautes d’orthographe à chaque ligne, mais comme elle a pratiqué la langue souvent dans le cadre professionnel et a confiance en elle, parvient à communiquer relativement bien avec ses collègues étrangers et est à l’aise dans une conversation courante.

Lorsque l’on additionne leurs différents scores respectifs dans les tests de compréhension et d’expression orale et écrite, on constate que malgré des divergences très fortes dans chaque partie du test, la moyenne des scores est similaire : B1.2

Ce niveau « global » est trompeur et peut avoir des conséquences regrettables, car ce serait une erreur de proposer une formation identique à ces deux personnes, risqué d’envoyer Jean-Pierre en réunion ou de demander à Elodie de rédiger un courrier important, alors que si on se fie aux descripteurs du niveau B1.2, ils sont capables de réaliser ces tâches.

La compétence linguistique étant multi-dimensionnelle, elle est donc difficilement représentée de manière linéaire et bidimensionnelle.

Il est donc nécessaire de trouver d’autres outils que l’échelle linéaire de niveau pour mesurer les progrès en compétences d'un apprenant sans changement de son niveau général.

La notion de « performance » ou « d’efficacité communicative »
La performance est ici définie comme le degré de maîtrise qu’une personne peut posséder dans la réalisation d’une tâche définie ou la mobilisation d’une ou de plusieurs compétences, lorsqu’elle communique dans une deuxième langue. C‘est un peu la capacité à « mettre en musique » les compétences et les connaissances acquises.

La notion de performance se situe résolument dans la perspective « actionnelle »² (task-based approach), où l’apprentissage de la langue n’est pas un but en lui-même, mais un moyen pour faciliter la réalisation de certains objectifs ou d’accomplir certaines tâches.

Exemple :

• Compétence : capable d’accueillir un visiteur dans l’entreprise et à l’orienter dans le bâtiment.
• Performance : 60% = parvient à accomplir la tâche, mais les imprécisions lexicales induisent des erreurs lorsque le visiteur tente de suivre les instructions.

2. Comment mesurer les compétences et la performance ?

Est-il possible de mesurer « objectivement » la maîtrise d’une compétence professionnelle ou transversale en langue étrangère ? Compte tenu du nombre de variables mobilisées par cette compétence (compétences socio-culturelles, pragmatiques, linguistiques, soft skills…).²

Nous pensons que c‘est possible : parmi les tests et examens certifiants, le DCL, le BEC de Cambridge, ainsi que Leveltel et le BEST mesurent, à partir de leurs paramètres propres, ces compétences dans leurs tests, avec des paramètres standardisés et validés statistiquement. Ils évaluent la performance de la personne en la soumettant à des scénarios et mises en situation.

Dans le cadre de l’évaluation formative, qui est mise en œuvre par le formateur, l’exigence de validation n’est pas la même, car l’objectif est avant tout pédagogique : suivre, accélérer et consolider l’acquisition des compétences.

Pourtant, plus l’organisme fournit de garanties de la fiabilité et de la validité de son processus d’évaluation, plus il sera crédible auprès de ses clients.

Une approche pragmatique, avec des tests réalisés par le formateur au cours de la séance, à l’oral, sur papier ou en ligne, est donc recommandée, d’autant plus que les moyens accordés à la formation linguistique dans les entreprises ne sont pas illimités. Voici quelques indications sur les conditions nécessaires :

• Approche pédagogique « actionnelle » par compétences professionnelles.
  Référentiel de compétences linguistiques professionnelles transversales, clé de voûte du dispositif qui permet d’élaborer les objectifs de formation, les contenus du programme et les outils d’évaluation initiale, continue et finale.
• Dispositif d’évaluation continue de l’acquisition des compétence et l’amélioration de la performance (modes d’évaluation pertinents, basés sur des tâches à réaliser).
• Programme détaillé et personnalisé de formation basé sur les résultats de l’évaluation, avec des jalons clairs.
• Outils et indicateurs de mesure de la performance/progression clairs et faciles à adopter.

3. Les outils

a) Le référentiel de compétences linguistiques professionnelles transversales

Dans toute démarche d’évaluation de la formation, un référentiel permettant de lister et de séquencer ces compétences est indispensable. Le référentiel détaillé du CECRL constitue le socle de base, mais n’est pas suffisamment précis pour les contextes et les tâches typiques de l’environnement professionnel. Il faut donc le compléter par un référentiel de compétences professionnelles transversales basé sur les niveaux du CECRL. Les objectifs de formation, les programmes, les contenus et les outils d’évaluation doivent être construits à partir de ce référentiel.

Extrait d’un référentiel de compétences simplifié :

b) Les tests

L’évaluation linguistique comprend généralement 2 types de test : tests internes et tests externes :

Les tests externes à la formation :
Tests de diagnostic ou de positionnement certifiants (Toeic, Bulats-Linguaskills, DCL, Bright, Bright 5 star, Leveltel, le Lilate, le Best, EF Set, etc.) ¹ qui mesurent le niveau global et sous certaines configurations, l’ensemble des activités langagières. Les plus évolués se situent dans une perspective actionnelle, avec mises en situation interactives (en particulier le DCL, le Best, le Bright 5 star, le BEC…). Ils peuvent être passés à tout moment et ne sont pas nécessairement liés à une formation. Ils sont utiles en début ou à la fin d’une formation longue et/ou intensive, pour établir le profil d’une personne (par exemple lors du recrutement) ou réaliser une cartographie des compétences linguistiques de l’entreprise.

Les tests internes à la formation
Les tests et évaluations de progression (dits formatifs) : intégrés au programme et aux contenus, ils jalonnent le parcours. Ils sont conçus pour tracer et renforcer l’apprentissage.

Les tests et examens de fin de stage ou cycle (dits sommatifs) : ils mesurent les résultats partiels ou complets du programme suivi, généralement au milieu et en fin de formation.

Les tests internes sont généralement conçus par l’organisme de formation, leurs contenus variant en fonction des programmes.

c) Le Dispositif d’évaluation

Les compétences pertinentes pour l’apprenant, sont évaluées avant et après chaque séquence pédagogique et en fin de formation à l’aide des tests internes, généralement par le formateur.

Chaque séquence pédagogique (une séquence peut comprendre une ou plusieurs séances), parfois basée sur le modèle de la classe inversée, suit un cycle qui comprend :

Le Cycle d’Évaluation continue de la progression en competences en classe inversée

d) Les indicateurs : outils de mesure et indicateurs de performance

L’échelle de niveau / compétences
Comme nous avons vu, la compétence linguistique est multi-dimensionnelle, elle est donc difficilement représentée de manière linéaire.

C’est pourquoi, plutôt que de la représenter sur une échelle, certains instituts la représentent comme un hexagone :

La notion de niveau cède la place ici à celle de profil linguistique, plus parlant et plus personnalisé. Dans l’exemple cité dans la première partie de l’article, nous obtiendrions 2 profils bien plus parlants que celui de niveau B1.2.

Bien entendu, cet outil peut être adapté non seulement aux objectifs et niveaux du CECRL, mais aussi à d’autres objectifs de progression (ex : performance du stagiaire, sur une échelle de 1 à 5, dans les 2 à 3 objectifs déterminés en début de formation).

Le scoring
Pour représenter la progression vers l’objectif en compétences, une échelle en pourcentage de réalisation de l’objectif ou une échelle numérique (1 à 10, 1 à 5) sont généralement utilisées. Cette échelle doit être la plus simple possible, car elle doit être comprise rapidement par tous les acteurs de la formation.
Notre préférence va vers un dispositif allant de 0 à 5, aux caractéristiques suivantes :

Cette échelle peut être utilisée à la fois pour évaluer la progression globale de l’apprenant vers l’objectif ou les objectifs de formation, le degré d’acquisition d’une compétence spécifique ou le niveau de performance atteint.
On peut ainsi représenter les résultats de diverses manières sur un tableau de bord :

• Jauge (du niveau minimum au niveau maximum)
• Barre de progression
• Pie chart
• Tableau
• Hexagone
• Etc.

Les indicateurs étant renseignés par l’organisme de formation, il est clair que des garanties supplémentaires sont nécessaires pour réduire la possibilité de résultats fantaisistes.

Compte tenu des moyens limités accordés à la formation linguistique, exiger une évaluation indépendante ou managériale est irréaliste dans la grande majorité des cas.

C’est pourquoi, dans les meilleurs dispositifs, l’apprenant doit également auto-évaluer sa progression et l’atteinte des objectifs, à partir d’un questionnaire qui reprend les mêmes rubriques que l’outil d’évaluation de l’organisme. Les écarts entre les deux versions permettent de détecter des problèmes avec le dispositif et les corriger.

4. Méthodologie : approche de l’évaluation et modalités mises en œuvre

Le principe ici est tout simple, évaluer en utilisant la même modalité que celle qui mobilise la compétence ciblée : l’écrit en écrivant, la compréhension orale en écoutant, le dialogue en dialoguant et la lecture en lisant. Evaluer la capacité à interagir en réunion avec un test à choix multiple est un non-sens.

De même, il convient d’évaluer en reproduisant le contexte de la mobilisation des compétences, en conditions aussi proches de la pratique réelle que possible.

Si on n’a pas le temps, des solutions toutes faites existent : certains éditeurs, comme Oxford University avec la méthode « Business Result », mettent gratuitement à la disposition des formateurs des tests assez sophistiqués des compétences linguistiques transversales, basés sur des mises en situation.

5. Les tendances émergentes

Intégration des formations en « Hard Skills », « Soft Skills » et en langues

On peut prévoir que l’une des tendances majeures de la formation linguistique professionnelle dans les années à venir sera l’hybridation croissante des contenus entre les soft skills, les hard skills (compétences transférables ou métier) et les compétences linguistiques.

On formera davantage en « double compétence ». D’un modèle linguistique (l’anglais de la négociation) on passera davantage à la négociation en anglais, programme comprenant non seulement les éléments linguistiques utiles, mais également les techniques de la négociation, dans un cadre international ou socio-culturel spécifique.

Avec la réduction des moyens que nous observons depuis plusieurs années, des parcours hybrides sur le modèle du CLIL (Content and Language Integrated Language Learning), où du FEST (Formation En Situation de Travail) commencent à se développer chez certains éditeurs et organismes de formation. A moyen terme, il risque d’y avoir davantage de rapprochements entre les organismes de formation généralistes et les écoles de langue.

Il faudra néanmoins faire attention : les formations en soft skills ne sont pas à la portée de n’importe quelle école de langues. Il faut des garanties importantes en professionnalisme et en personnel qualifié pour qu’un organisme puisse développer une offre crédible de soft skills intégrée avec des parcours d’apprentissage linguistique.

La digitalisation

Avec la transition digitale et les avancées de l’intelligence artificielle, les formations linguistiques vont être de plus en plus proposées en ligne. Cette tendance boostera sans doute l’approche par compétences, car elle simplifie le suivi, l’évaluation continue, le reporting et la gestion intelligente des parcours de formation.

Les prestataires du distanciel devront faire attention à ne pas choisir les solutions de facilité en mettant plus de moyens dans le marketing des solutions que dans les solutions elles-mêmes, car à long terme, le marché sanctionne ceux qui promettent beaucoup et livrent peu.

Conclusion

Comme nous l’avons déjà indiqué, les idées développées ici ne sont pas particulièrement innovantes ou inédites. Elles tentent simplement de résumer les meilleures pratiques d’évaluation de la progression linguistique existantes, qui ont fait leurs preuves, qui sont centrées sur des objectifs réalistes, mais qui restent insuffisamment appliquées dans la formation professionnelle.

D’où un gaspillage énorme de ressources et une décrédibilisation de la formation linguistique, car les résultats sont rarement au rendez-vous. Tout simplement parce que les attentes des acheteurs ne sont pas en phase avec les objectifs réels de la formation.

Il faut dire que les réformes successives de la formation, qui conditionnent les financements à des certifications parfois déconnectées des objectifs, ont contribué à brouiller les pistes. Compte tenu de la focalisation croissante des entreprises et des pouvoirs publics sur le développement des compétences et de la performance des salariés, il est peut-être temps que tous les acteurs du marché adoptent une approche de l’évaluation plus en phase avec les objectifs de la formation et les besoins réels du terrain.

Toutefois, il est bon de rappeler que ce n’est pas le degré d’efficacité ou de sophistication du dispositif qui détermine la réussite d’un projet de formation. Ce qui compte avant tout est l’implication, la motivation et l’engagement des apprenants, des formateurs et de tous les acteurs impliqués dans le dispositif.