En tant qu’entreprise évoluant sur un marché en constante évolution, vous êtes toujours à la recherche de moyens pour rationaliser le recrutement. Les compétences linguistiques sont importantes dans de nombreux emplois, et il est important de s’assurer que les candidats possèdent les bonnes compétences en langues parlées et écrites. Offrir aux entreprises et aux candidats un processus d’évaluation équitable et efficace est le moteur de nos services d’évaluation linguistique depuis 2001. Nous collaborons avec nos partenaires d’acquisition de talents pour garantir une expérience globale, efficace et sans stress.
Plongeons dans les évaluations d’intelligence artificielle (IA) par rapport aux évaluations humaines. On pourrait dire que la technologie de notation automatisée pour juger la parole et l’écriture a lentement mais sûrement gagné l’acceptation mondiale. De moins en moins de gens se demandent : “Est-ce que ça marche ?” “OK, comment cela fonctionne-t-il pour nos objectifs ?” est la question suivante. Ce blogue vise à fournir aux lecteurs les informations dont ils ont besoin pour répondre à ces deux questions.
L’une des idées fausses les plus répandues au sujet de la notation automatique est qu’un ordinateur a été formé pour “faire ce que font les humains”. Les ordinateurs ne se comportent pas comme des humains grâce à la technologie de notation automatisée. Au contraire, elle tire parti du fait que les ordinateurs peuvent être programmés pour trouver et mesurer des caractéristiques de l’expression orale et écrite, les combiner et les pondérer dans un espace multidimensionnel, et déterminer quelles caractéristiques et pondérations spécifiques permettent de prédire au mieux le score attribué par un humain. Il n’est pas nécessaire de soutenir l’affirmation selon laquelle un ordinateur peut “comprendre” un énoncé oral, ce que les ordinateurs ne peuvent pas faire. Il n’est pas nécessaire de soutenir l’affirmation selon laquelle un juge humain peut compter avec précision les événements temporels subphonémiques au niveau de la milliseconde dans un discours naturel (ce que les ordinateurs peuvent faire mieux que les humains). Les deux types d’évaluation peuvent produire de manière cohérente des points de compétence pour les énoncés oraux.
L’objectif de ce blogue est de fournir une explication compréhensible de la manière dont les évaluations actuelles de pointe utilisent la technologie d’IA, ainsi que de passer en revue les recherches qui ont montré que les technologies sont efficaces dans le contexte de l’évaluation plutôt que de faire faire les évaluations par un humain. La technologie de notation automatique et de validité, lorsqu’elle est utilisée correctement et avec soin, peut rendre les tests de langue beaucoup plus intéressants et utiles en termes de prestation, de types de tâches et de notation. En même temps, il faut faire attention à justifier chaque partie de la technologie utilisée dans l’argument de validité de l’évaluation. Pour s’assurer que l’interprétation des scores est cohérente, que le test soit informatisé ou sur papier, il peut être nécessaire d’étudier les questions suivantes : les élèves obtiennent-ils les mêmes résultats aux tâches de rédaction lorsqu’ils les écrivent à la main ou les tapent sur ordinateur ? La capacité de dactylographier est-elle un désavantage pour certains candidats ? Les élèves utilisent-ils des compétences stratégiques différentes lorsqu’ils lisent des passages à l’écran ou sur papier ?
Selon une école de pensée, les jugements humains étant faillibles, la subjectivité entre en jeu. En plus de comparer les modèles automatisés aux jugements humains, les modèles automatisés devraient également être comparés à des critères ou mesures externes de la même capacité. Étonnamment, les modèles automatisés sont, à certains égards, plus transparents que les jugements humains. Les évaluateurs humains évaluent des échantillons de langue, consultent les descripteurs d’échelle et utilisent leur jugement et leur expérience pour attribuer une note finale. Pourtant, il n’existe aucun moyen quantifiable de mesurer la manière dont ils évaluent et combinent les différents éléments d’information d’une rédaction. En revanche, la notation automatique permet d’obtenir quelque chose de reproductible. Chaque élément d’information analysé, ainsi que sa pondération précise dans le modèle de notation, est vérifiable dans les algorithmes de la machine.
Ainsi, dans les modèles automatisés, il est possible de laisser de côté les informations non pertinentes (comme la longueur d’une phrase) et de pondérer explicitement les informations importantes, comme les marqueurs de discours, d’une manière que les humains ne peuvent pas faire. Bernstein, Van Moere et Cheng (2010) affirment que les modèles de notation sont basés sur des données, qu’ils peuvent être vérifiés et qu’il est possible de démontrer qu’ils sont faux.
Il y a beaucoup de choses pour lesquelles les humains sont bons et beaucoup de choses pour lesquelles ils ne sont pas si bons. Récapitulons les points forts de l’IA et des humains:
- Les évaluateurs humains devraient être utilisés pour la sélection des compétences linguistiques, ce n’est pas une bonne solution lorsque vous recrutez de nombreux candidats à la fois.
- Lorsque des évaluateurs humains mènent des tests linguistiques, leurs résultats sont parfois biaisés en raison de facteurs tels que la fatigue, la distraction et les quotas d’embauche trop élevés.
- Les données de nos clients ont montré que l’IA est bien meilleure pour évaluer de manière cohérente et précise les candidats sur la base de leurs compétences linguistiques académiques.
- Les évaluateurs humains sont plus à même d’évaluer les capacités linguistiques nécessaires le monde des affaires.
Chez ELAM, nous effectuons continuellement des audits de référence afin de garantir des évaluations impartiales et cohérentes. Nous voulons nous assurer que tous les candidats ont des chances égales en ce qui concerne leurs compétences linguistiques !
