ÉVALUATION ET ACTIVITÉ ÉVALUATIVE

 

L’évaluation en langue(s) : contraintes, tensions et sens

Cliquez sur le logo pour accéder à la conférence.

AF SP

AFSP 2

 

L´histoire de l´évaluation formelle en éducation et en formation montre le caractère profondément sélectif de procédures construites pour gérer des flux d´ayants droit et de refoulés. Sur cette finalité, fonction sociale primaire qui s´épanouit avec l´entrée de la compétition dans des espaces sociaux toujours plus nombreux et variés sous la pression du nombre comme contrainte et de l´élitisme comme principe, s´ajoute depuis une trentaine d´années, le poids du marché des certifications véritable facteur de renforcement comportemental. Tout objet produit, tout acte individuel ou social est devenu évaluable. Avec l´extension du domaine des évaluables, se sont développés une technicité avec des procédures et des procédés plus ou moins sophistiqués, des discours spécialisés au nom de l´évaluation et des discours sociaux sur l´évaluation. Dans le domaine de l´éducation, des fonctions particulières ont été introduites par la production de savoirs pédagogiques et didactiques sur l´acte d´enseigner et sur l´acte d´apprendre. Procédures et procédés variés inventés dans les pratiques professionnelles disciplinaires pour atteindre des buts généraux et des objectifs spécifiques de mesure de la connaissance et/ou de la compétence, dessinent une typologie bien documentée d´actes d´évaluation dénommés par un vocabulaire savant. L´évaluation en langue(s) dans un contexte global d´accroissement de flux de communication plurilingues, s´inscrit dans cet ensemble en étant le jeu de tensions entre offre et demande ; entre plan d´enseignement et plan d´apprentissage ; entre valeurs d´usage et valeurs symboliques ; entre besoins de repères et figures de mesure imposées ; entre connaissance et compétence ; entre plaisir d´apprendre, plaisir d´enseigner et jugement.

 

Será que ainda e possível falar sobre avaliação na educação e em didática das línguas ?

Para alcançar ao documento acompanhante da conferência, clique no logo da USP.

ÉVALUATION ET ACTIVITÉ ÉVALUATIVE usp2

conf-pt-usp-2

 

 

Examens et certifications en langue, une illusion évaluative ?

usp1

 

 

vi-e-journee-usp

 

Pour accéder au document d´accompagnement de la conférence, cliquez sur le logo de l´USP.

 

Assurer la qualité des épreuves d’évaluation en langues.

Quels enjeux ?

Mardi 2 février 2010 Université de Paris IV – Paris-Sorbonne p41.png
Conférence 1 : les enjeux de l’évaluation, la qualité (Amphithéâtre Guizot)

celaf.pngccip1.png

pch-cartoon-2

Sans remettre en cause l’utilité de l’évaluation, il est évident que nos sommes entrés dans une société de compétition qui a installé un paradigme idéologique exigeant de chacun constamment et partout des performances dont les modèles sont puisés dans des niveaux de réussite entre une moyenne normalisée et une excellence athlétique : test de naissance, propreté à l’entrée en maternelle, courbe d’évolution du poids et de la taille, évaluations scolaires en tout genre, évaluations professionnelle, de la solvabilité , bien entendu tout cela est légitime dans des sociétés de masse, mais autant avouer qu’il s’agit en priorité de réguler des flux sociaux entre ayant droit et non ayant droit, alors qu’à côté de cela sont mis en valeur les performances extrêmes, sportives des meilleurs athlètes, financières des meilleurs chefs d’entreprise ou des artistes et athlètes les mieux payés. Performance extrême, concurrence et évaluation cadrée par le modèle, atteignent ainsi l’éducation où non seulement élèves et enseignants sont des évaluables en concurrence potentielle, mais aussi les établissement.

 Il y a de quoi désespérer ceux qui passent les premières années de la vie et de leur scolarité entre les environs de la moyenne et en-dessous de la moyenne et qui sont certainement les plus nombreux.

 Cet environnement idéologique de la performance extrême introduit l’exceptionnel comme finalité alors que l’évaluation devrait être un instrument partagé, un outil de l’apprentissage. C’est donc par rapport aux finalités d’un projet éducatif global, dans le cadre des buts d’une discipline qui doit concourir à ce projet, que l’on devrait construire un véritable système d’évaluation, lisible et productif autant pour la société que pour les acteurs de l’éducation : administration, enseignants, élèves, parents.

 Transposé en langues, qu’est-ce que cela veut dire ? Expliciter clairement les buts d’un dispositif (offre de langues, programme, méthode d’enseignement / apprentissage, évaluation / certifications), sur des finalités définies pour l’enseignement des langues dans une société ouverte au monde.

 Nous y sommes quasiment à l’échelon européen avec l’extraordinaire travail du Conseil de l’Europe depuis une trentaine d’années, mais l’éducation étant du ressort des Etats, on peut constater que l’appropriation de ces finalités et de ces buts est loin d’être complètement et également partagée dans chacun des pays. La situation n’est pas meilleure en matière d’évaluation, à cause du verrou représenté par les procédures d’examen officiels dans les systèmes éducatifs, qui ont une rétroaction négative sur l’intégration des savoirs didactiques dans l’enseignement / apprentissage.

 Mais je voudrais essayer de montrer ici qu’à ce facteur inhibiteur, s’ajoute une certaine fossilisation des propositions en évaluation, qui tournent pour la plupart dans un cadre unique, figées sur des modèles qui ne répondent plus tout à fait à l’enjeu mis au jour : la formation de citoyens plurilingues assumés, d’élèves, d’étudiants, et de professionnels capables de manier au moins trois langues.

 Quelle est la situation en Europe et dans le monde ?

 D’abord une croissance exponentielle des flux de communication :

  • sur sol avec les mobilités : en 1965 il y avait 45 millions de personnes qui vivaient en dehors de leur pays de naissance, pour la plupart le pays de résidence n’était que le deuxième; en 2002 ils étaient 150 millions et en 2006 180 millions avec pour une bonne partie d’entre-eux, une résidence transitoire dans un ou plusieurs autres pays; ajoutons à ce nombre les 30 millions de réfugiés ; en 1050 il y avait 25 millions de touristes internationaux , en 2007 ils étaient 897 millions;

  • hors sol avec avec les communications électroniques sur supports multiples qui se diversifient.

Ensuite une augmentation constante du nombre des individus qui entrent dans un processus formel d’apprentissage de langues étrangères, un développement de l’offre de cours et un marché des certifications qui est passé en trente quarante de l’artisanat à l’industrialisation avec ce que cela comporte d’avantages en matière d’investissements et de contrainte du point de vue du modèle économique.

 Et de ce point de vue il me semble qu’un certaine convergence entre la pression idéologique de l’efficacité qui inscrit l’exigence de résultat dans des échéances, le modèle économique industriel qui exige un retour rapide sur investissement a contribué à prioriser les approches scientifiques capables de s’articuler avec cette rationalité.

 Il est quand me paradoxal de constater une sorte de déphasage épistémologique : à peu près à la même période qu’apparaissait en évaluation dans les années 1980, la critique de la docimologie et de l’édumétrie et de sa source psychométrique, sous la forme de propositions visant à orienter l’évaluation vers un sens formatif avec des procédures multicombinatoires (multi-référentielles; multi-échelles; multi-critères; multi-points de vue…); ce qui allait dominer, d’abord dans le monde anglo-saxon et dans sa sphère d’influence avec l’enseignement / apprentissage de l’anglais comme langue étrangère, c’est-à-dire, en gros le monde, puis progressivement dans le reste de l’Europe pour l’enseignement / apprentissage des langues ce sont les tests produits sur un étayage psychométrique.

 Je ne porte pas ici une critique sur l’outil test lui-même qui serait ou bon ou mauvais. Je m’interroge sur un potentiel de figement des procédures d’évaluation en déphasage avec des savoirs à partir des remarques suivantes :

  • dans le cadre des approches communicatives, le DELF- Diplôme d’études en langue française et le DALF- Diplôme approfondi de langue française, avaient été mis au point dans la première partie des années 1980, sous forme d’épreuves à la fois centralisées dans leur principe et décentralisées dans leur conception locale; le succès de ces procédures a assuré un succès aux certifications (qui ont servi de modèles à la mise en place de procédures pour d’autres langues comme l’espagnol, l’italien ou le portugais), mais au moment de les adapter dans les années 1990, on aurait pu imaginer aller plus loin en intégrant l’approche actionnelle sous forme de situations et de parcours d’évaluation, mais un choix autre a été fait, celui d’une rationalité économique qui supprimait la conception décentralisée des épreuves;

  • un processus comparable a touché le DCL- Diplôme de compétence en langue, qui dans sa conception originelle proposait des situation d’évaluation sous la forme de parcours d’évaluation unique quel que soit le niveau d’entrée de l’évaluataire, sous le principe finalement très actionnel, que ce n’est pas à l’épreuve de prédéterminer un cadre de performance sous la forme d’un niveau, mais à l’étalonnage de la performance réalisée; cette complexité a ensuite été abandonnée.

 On se trouve donc face à une standardisation qui au lieu de se rendre capable d’intégrer de nouveaux savoirs en évaluation, de nouvelle exigences en langue comme les compétences plurilingues et interculturelles, se restreint dans un cadre de mesure numérique calibrée conçu selon une méthodologie fermée.

 C’est dans ce manque d’espace que je voudrais interroger la notion d’évaluation, afin de tenter de définir les enjeux de quelques pistes supposées répondre à la problématique posée pour cette Journée d’études : assurer la qualité des épreuves d’évaluation en langues.

 Si je parle d’espace, c’est à dessein car il me semble que l’un des enjeux est justement le manque d’espace donné à (ou que se donne), d’une part l’évaluation en amont en tant que champ de connaissance, et d’autre part l’évaluation en didactique des langues d’autre part en tant que domaine spécifique, pour remplir l’ensemble de ses fonctions. « Fonctions » au pluriel car nous savons bien maintenant que les acte d’évaluation répondent à des fonctions multiples et variables qui relèvent en gros de trois natures : formative, sommative, sélective.

 Les certifications sont de puissants outils d’équipement des langues, au bénéfice des politiques linguistiques et éducatives. Mais l’évaluation qui les instrumente doit pouvoir en affiner l’efficacité au bénéfice des étudiants, des enseignants et des établissement pourvoyeurs de services de cours.

 Pointer ainsi ce ce qu’appelle un certain « manque d’espace » est pour moi une façon d’alerter et de lancer un appel. Une alerte car si l’évaluation en éducation fournit une littérature abondante, diverse, parfois théoriquement complexe à l’extrême, parfois techniquement simplifiée à l’extrême, il n’existe pas en France à ma connaissance, sauf à l’Université Stendhal Grenoble 3, dans les formations de master en didactique des langues, une unité d’enseignement à part entière consacrée à l’évaluation. Un appel aux étudiants-chercheurs pour qu’ils considèrent ce domaine, qu’ils y inscrivent des thèses afin de répondre dans l’avenir

 Pour illustrer ce manque d’espace, vous me permettrez de relater deux anecdotes :

 En 2003, j’avais été invité à participer en tant que conférencier à un colloque international du RELC (Regional Language Centre) à Singapour, organisme qui dépend de la SEAMEO (Southeast Asian Ministers of Education Organization). Sollicité, je proposai un résumé de ma communication, centrée sur la remarque suivante : « On peut constater que la notion d’évaluation n’est jamais vraiment définie autrement que par ses fonctions, jamais par ses fondements, parce que jamais interrogée par la connaissance à travers une théorie générale. La conséquence de cette approche favorise un consensus : « l’évaluation va de soi, tout le monde sait ce que c’est ». Il suffit donc d’en améliorer les techniques ».

Ce projet me fut d’abord retourné sous le motif général que mes interlocuteurs du RELC ne me comprenaient pas. J’étais alors convaincu d’un problème de traduction car la communication était en anglais. Après plusieurs aller-retours, plusieurs révisions, je me suis rendu compte que le problème résidait en fait dans une incompréhension de mes interlocuteurs de la possibilité de questionner la notion d’évaluation. Celle-ci semblait une donnée stable pour des organisateurs, qui avaient centrée leur colloque sur cette du paysage éducatif général. Ils attendaient de moi des propositions techniques, alors que j’envisageai de mettre en avant son instabilité théorique. Car c’est un fait, vous ne trouverez pas dans le champ de l’évaluation, de définition qui en précise le fonctionnement cognitif : comment se fait-il que l’être humain soit capable d’évaluer ? Capacité qui n’est pas distribuée largement dans le règne animal…

 Dans les années 1990, alors que travaillais sur ma thèse, j’ai eu quelques échanges avec les éditions Hachette, qui recherchaient un auteur pour produire un ouvrage traitant de l’évaluation en didactique du FLE. Bien entendu, l’objectif de l’éditeur était de compléter un créneau manquant au-delà du DELF et du DALF, afin d’apporter des compléments méthodologiques à ses collections de manuels. Après plusieurs échanges, le projet n’eut pas de suite car on me demandait un manuel d’application de techniques immédiatement utiles alors que je proposais un contenu formatif qui commençait par poser la question suivante :

  • qu’est-ce qui nous permet d’évaluer ?

ou

  • sur quoi se fonde l’acte d’évaluation.

 Les éditeurs d’Hachette et le RELC avaient bien raison, j’étais incapable de répondre à leur demande qui limitait a priori l’espace d’investigation, pour des raisons de disponibilité immédiate de techniques sur le marché des méthodologies et des méthodes d’enseignement / apprentissage.

 Je pense que sur le plan scientifique, nous devons être attentifs à ne pas minorer ce qui pèse sur la demande de qualité des épreuves en évaluation, qui peut tendre à brûler des étapes dans la production des savoirs nécessaires à l’actualisation de cette qualité. Je pense bien entendu aux enjeux politiques, sociaux et économiques que représentent :

  • les certifications en tant qu’instruments de reconnaissance sociale et comme produit d’éducation industrialisé;

  • les dispositifs (procédures, procédés et technologies qui permettent de mettre en place et de gérer les épreuves);

  • les besoins en équipement des langues dans le cadre des politiques linguistiques.

 Or, contrairement à ce qui se passe dans la mesure de performance des objets (matériaux, machines) qui a peu de variabilité, la performance des activités du vivant reste soumise à une quantité non finie de situations dans des contextes variables étendus.

 Ce qui a pour corollaire, qu’il est plus facile de mesurer une performance du vivant dans un contexte spécialisé défini où les variables sont peu nombreuses, que dans un contexte non spécialisé où les variables sont nombreuses.

 Rapporté à notre domaine, cela veut dire qu’il est plus facile de définir les composantes d’une compétence nécessaire à la rédaction d’un mémoire scientifique, que de définir les composantes d’un usage non spécialisé de la langue. Nous savons mieux comprendre la spécialisation que l’ordinaire car nous avons une représentation didactique plus précise de ce qu’est un texte scientifique performant, alors qu’on sait plus difficilement décrire ce qu’en un énoncé quotidien, non spécialisé performant compte tenu de la quantité et de la qualité des variables qui pèsent sur les discours non spécialisés.

 Or, la masse la plus importante des besoins de base en évaluation des compétences en langue se concentre dans la sphère non spécialisée des usages, entre les niveaux A1 et B2 du CECR.

 Et de ce point de vue, les meilleurs procédés d’évaluation consisteraient à pouvoir prendre le sujet évaluataire et le lâcher dans des situations sociales variables authentiques, muni de caméras et de capteurs destinés à enregistrer les praxèmes, c’est-à-dire l’ensemble des conduites de l’interlocuteur évaluataire, les interactions langagières et gestuelles que l’on sait découper en acte de langage et en gestèmes (pour emprunter à la terminologie des études sur la pertinence des actes dans les interactions de jeux et de sports, P. Parlebas, 2007 : pp. 49-65). La pertinence relevant ici du pragmatique, eu égard à la complétude et la réussite des interactions.

 Ce n’est bien entendu ici qu’un situation théorique. Mais ici non plus ne minimisons pas les choses. La robotique montre chaque jour ses capacités à enregistrer des activités humaines, à les décomposer en algorithmes formels et à construite des logiciels capables de piloter des robots capables non seulement de réagir mais d’enregistrer de nouveaux comportements pour en quelque sorte les « apprendre » (même si l’on doit mettre ici de gros guillemets au verbe « apprendre »).

 Ne serait-ce pas par ailleurs, une voie également intéressante pour constituer des référentiels authentiques qui pourraient fournir une cadre de nouvelle génération, moins hypothétiques que ceux sur lesquels sont élaborés les grilles d’évaluation actuelles ?

 Sur quoi se fondent principalement les référentiels de compétences linguistiques actuels ? Sur un énorme travail de compilation et d’analyses produites dans la dynamique de Un Niveau Seuil, puis du CECR, que l’on relie quantitativement et qualitativement dans l’acte de mesure en évaluation à partir de descripteurs :

  • peut décrire,

  • peut présenter,

  • peut raconter,

  • peut présenter,

  • peut exposer,

  • peut lire.

qui se manifestent dans chaque langue par des listes d’acceptables et de non acceptables élaborées par les didacticiens. Autrement dit, on se trouve, comme le notait Francine Cicurel au début des années 1990 lorsqu’elle observait les rituels communicatifs dans la classe de langue, dans une situation où le modèle est l’enseignant reproducteur de discours, ce qu’elle appelait « la mise en scène pédagogique du savoir » (F. Cicurel, 1990 : p. 49).

 Aujourd’hui, toutes les procédures reconnues, officielles, qui ont un poids dans les enjeux auxquels je faisait référence précédemment, se fondent, sur des outils sophistiqués qui reposent sur des valant pour de réel langagier.

 Poser la question de la qualité des épreuves d’évaluation en langue, c’est me semble-t-il affronter aujourd’hui les exigences de demain en identifiant les défis.

 Après cette introduction, je voudrais focaliser mon intervention sur quelques axes qui me semblent déterminants. Ils ne sont certainement pas uniques et je ne prétends pas bien entendu qu’ils sont les plus importants. Ils ne sont que le fruit d’un parcours, encore une fois il s’agit d’un appel à mobiliser les compétences heuristiques, les moyens et les orientations des institutions.

 1. Ancrage théorique de la didactique et ancrage théorique de l’évaluation de l’appropriation linguistique

 Je voudrais aborder la question de l’ancrage théorique par deux entrées : celle de l’élaboration de procédures d’évaluation (examens ou tests) à partir de listes d’attendus de réponses adéquates prévisibles entre le communicationnel et l’actionnel; celle du fondement de l’activité évaluative comme moteur de l’acte d’évaluation.

1.1. Du communicationnel à l’actionnel : la question des items de réponse comme indicateurs de performance

 En 2006, Christine Tagliante posait la question suivante : L’approche actionnelle convient-elle à l’évaluation ?1

 En s’appuyant sur les concepts de l’approche communicative2, l’approche actionnelle ajoute l’idée de « tâche » à accomplir dans les multiples contextes de la vie sociale. Elle considère par ailleurs, l’apprenant comme un « acteur social » qui sait mobiliser l’ensemble de ses compétences et de ses ressources (stratégiques, cognitives, verbales et non verbales), pour parvenir au résultat de la réussite de sa communication langagière.

Mais qu’est-ce qu’on évalue actuellement en dehors des connaissances sur le fonctionnement de la langue par les tests et d’une certaine adéquation d’un répertoire d’actes de langage en fonction de situations de communication avec les épreuves visant des compétences ?

Il y a bien entendu un lien entre la mobilisation des savoirs et des savoir faire dans l’indexation de groupes de compétences et d’indicateurs de combinaisons adaptées à telle ou telle situation de communication. Mais comment peut-on vraiment prendre en compte l’usage social de la langue si le nombre de combinaisons n’est pas prédictible ? Plus simplement, comment rendre compte par la mesure quantifiable qu’une réponse à une situation problème est acceptable dans la mesure où le référentiel de possibilités n’est pas fini au sein d’un cadre normatif.

 Qu’il s’agisse d’usage formels bien décrits par la pragmatique au niveau de la langue, ou bien d’usages sociaux, les possibilités réelles sont toujours supérieures à celles envisageables dans le cadre de ce que l’on appelle dans les indicateurs, « les réponses attendues ». Dans la vie courante, il y a des questions auxquelles on ne répond pas nécessairement sans que cela entraîne une sanction communicative. Ce qui veut dire que la qualité de l’évaluation ne peut épuiser la qualité de la communication, sauf à préciser clairement que toute évaluation en langue implique d’identifier en premier lieu la tâche d’évaluation avant la simulation communicative et l’on ne peut pas dire grand chose de la qualité actionnelle, sauf que l’évaluataire à joué dans une mise en scène évaluative. Ce qui finalement est moins pertinent en langue qu’en mathématique où il ne s’agit que d’apprentissage de simulation.

Et puis à un déclencheur comme : « Comment va-t-on de l’université à la gare », qui vise à impliquer une utilisation d’indicateurs de repérage dans l’espace et d’orientation il existe :

  • un potentiel d’interprétation permettant de répondre avec un indicateur de moyen : « En taxi »;

  • un potentiel d’interprétation permettant de répondre avec un indicateur interactionnel: « Je peux vous y emmener »;

  • un potentiel de non réponse par absence d’information sur le chemin à prendre : « Je ne sais pas ».

 Il existe bien entendu des tentatives qui visent à intégrer une certaine « actionnalité » sous la forme de tâches comme le projet coordonnée par Johann Fischer (Universität Göttingen, Allemagne), développé dans le cadre des actions du Centre européen pour les langues vivantes. Mais l’approche actionnelle vise ici à emprunter des tâches au contexte universitaire ou professionnel d’un domaine de spécialité. C’est-à-dire avec des restrictions situationnelles qui permettent un relatif listage. Restrictions qui ne sont pas envisageables partout.

Je me demande si la formulation de la question de Christine Tagliante était bien posée : L’approche actionnelle convient-elle à l’évaluation ? Est-ce que l’on doit remettre en question une approche didactique qui poserait des questions à l’évaluation ? Ou bien est-ce à l’évaluation de trouver les moyens de répondre à la démarche didactique ? D’ailleurs, elle parvenait à donner des réponses allant dans ce sens.

Si dans le CECR, les six niveaux de compétence sont définis en fonction de l’étendue et de la qualité des actes de communication que peut accomplir le sujet de façon linguistiquement et pragmatiquement correcte, rien ne dit que l’acte d’évaluation doit reposer sur une prédétermination d’une situation de communication et d’un niveau. Les tâches langagières dans la vie réelle ne sont pas hiérarchisées en fonction de ce qui est ou non considéré comme évaluable. Et je m’interroge donc sur la voie qui tendrait à laisser en dehors de l’évaluation ce qui ne peut être considéré comme évaluable par les procédures actuelles. Quand le CECR3 distingue différentes catégories de tâches selon des variables ( domaine, nature langagière fonctionnelle, code, complexité … ), il ajoute que ces catégories sont aussi fonction de l’évaluation qui leur est associée. Mais il est vrai que plus loin il est plus prudent en recommandant de ne pas chercher à évaluer toutes les catégories, et pour l’évaluation d’une compétence donnée, de n’en retenir au maximum que quatre ou cinq4. Pourquoi quatre ou cinq et pas trois ou six ? Sauf erreur ce n’est pas précisé mais j’imagine qu’il s’agit là d’une sorte de savoir établi latent (entre savoir divulgué par la science et savoir banalisé pour reprendre une terminologie introduite par JC. Beacco), peut-être hérité de l’expérience ou encore des conditions de fiabilité des QCM telles que la psychométrie le recommande).

Comme dans le tableau de classement périodique des éléments chimiques, ce qui n’existe pas encore a déjà une place. C’est à l’évaluation de s’adapter.

On se trouve avec le CECR, devant deux catégories de critères pour atteindre un objectif d’apprentissage, qui sont représentés par deux types de descripteurs (descripteurs d’activités communicatives -ex. Comprendre une interaction entre locuteurs natifs et descripteurs d’aspects de compétences particulières5 -ex. La compétence pragmatique), qui rendent possible, tel ou tel d’évaluation -ex. L’évaluation ponctuelle.

 Descripteurs d’activités communicatives

Descripteurs d’aspects de compétences particulières

 Types d’évaluation

 Mais une question reste posée : est-ce que les pratiques langagières peuvent être traitées comme des corpus autonomes avec ces deux catégories de descripteurs qui tendent à les isoler des conditions matérielles de leur énonciation ?

On sait déjà (Bakhtine, 1984), que les rapports entre le sujet, la langue et le monde ne sont pas directs. Qu’ils se manifestent dans des genres de discours disponibles que le sujet doit manier pour entrer dans l’échange. Il s’agit d’un stock d’énoncés attendus, prototypes des manières de dire ou de ne pas dire dans un espace-temps sociodiscursif. On apprend également avec l’ergologie notamment, que les échanges s’inscrivent aussi dans un corpus de genres d’activités, de stocks de prêts-à-agir organisés.

Les recherches en analyse du discours dans les situations de travail en particulier, montrent :

  • qu’on ne peut comprendre le fonctionnement d’une interaction langagière sans tenir compte du modèle organisationnel qui façonne les échanges (Boutet, 2004);

  • et qu’il existerait des genres d’activités (Clot & Faïta, 2000), formes stables, préexistantes, sorte de préconstruits sociaux, corpus de normes antécédentes dans lesquels s’inscrivent les échanges.

Par ailleurs, pour Bakhtine il n’y a pas d’énoncé sans échange verbal, sans communication dialogique.Tout cela converge vers l’approche actionnelle bien entendu, mais cela rend également problématique l’établissement des liens à entre :

  • des listes de descripteurs d’activités ,

  • des listes de descripteurs de compétences,

  • des types d’évaluation,

qui resteraient une fois pour toutes figés dans le marbre.

Concernant les conditions matérielles qui organisent l’énonciation, l’augmentation des flux d’échanges dans le monde (par les situation virtuelle qu’offrent les technologies de la communication et par les situations réelles qu’engendrent les flux de population), contribuent pour beaucoup à faire que ces listes gagneraient à être dynamiques. Comment pourrait-on aujourd’hui renoncer à enseigner / apprendre à rédiger des courriels et des textos et à interagir avec ces outils de distance relative (on envoi des courriels aussi bien dans une pièce à proximité qu’à l’autre bout du monde) ? Mais comment évaluer la production de ces écrits sans prendre en compte les conditions d’énonciation, la variabilité des destinataires et des modèles organisationnels qu’elles contribuent à faire émerger ?

Prenons une situation de communication par courriel. Le Descripteur d’activités du cadre ne va pas plus loin me semble-t-il que « Correspondance »6 dans Interaction écrite générale .

Parmi les Descripteurs d’aspects de compétences particulières, on peut estimer que sont mobilisées les compétences communicatives langagières ( Compétences linguistiques; Compétence sociolinguistique; Compétences pragmatiques).

Quel types pertinents d’évaluation sélectionner ?

Évaluation de la capacité (plutôt que du savoir)

Évaluation critériée (plutôt que normative)

Évaluation dans le continuum (plutôt que la maîtrise ponctuelle)

Évaluation de la performance (plutôt que de la connaissance)

 Pour pouvoir apprécier le caractère actionnel de l’échange, il me semble qu’il faudra construire deux types de conditions :

  • ne pas avoir à traiter les corpus comme des listes finies;

  • ne pas considérer ces corpus comme des textes, mais comme des relations dialogiques.

On se situerait davantage dans un « entre-les-listes », que dans les listes. Toute la difficulté est me semble-t-il ici : sortir de la correspondance d’éléments entre les listes, pour apprécier un ensemble dynamique.

Outre la question de l’approche langagière des corpus, se pose celle des types d’évaluation. Comment apprécier le fonctionnement langagier dynamique ?

Les corpus fermés conduisent en fait à élaborer des listes de contenus attendus pour telle ou telle situation et la mesure de la performance sous la forme d’indices de correlations. Mais ne pourrait-on pas plutôt envisager un traçage de compétences sous la forme d’une carte bilan d’échanges verbaux à partir de déclencheurs contextualisés ? Sans présupposés de contenus attendus et de niveau d’entrée, mais en fonction d’une appréciation de réussite de la tâche globale et de l’adéquation des formes dans le contexte et la situation d’échange :

  • ce qui supposerait de décrire au préalable des réseaux de facteurs de réussite langagiers plutôt que des indicateurs isolés ;

  • ce qui supposerait pour pouvoir les évaluer, des points de vue différents et variables.

 À la suite de ces questions concernant la dynamique d’approche des actes d’évaluation, je voudrais aborder celle qui touche au fondement même de ce qui permet de faire fonctionner ces actes, c’est-à-dire ce que j’appelle l’activité évaluative.

1.2. De l’activité évaluative à l’acte d’évaluation

En 2001, Gérard Figari et Mohammed Achouche ont publié un ouvrage qui s’intitulait : L’Activité évaluative réinterrogée , dans lequel des psychologues, des sociologues, des économistes, des spécialistes de l’éducation et de la formation, faisaient le point sur les recherches alors récentes sur l’évaluation. Ils constataient que l’ère du béhaviorisme dominant paraissait close, laissant la place à deux courants distincts, voire contradictoires :

  • celui donnant au cognitif une primauté dans le système éducatif (avec des préoccupations nouvelles comme celles des stratégies d’apprentissage, de l’auto-évaluation, de la métacognition…);
  • celui de l’influence grandissante des préoccupations sociales (autour de l’employabilité ou des acquis professionnels explicites ou implicites).

Si la mécanique behavioriste semblait dépassée et si de nombreux champs de connaissance commençaient alors à s’intéresser à l’évaluation, celle-ci continuait à se présenter comme une praxéologie, sans véritable prise en compte de ses fondements anthropologiques. J’avais moi-même évoqué cette problématique quelques années plus tôt dans un ouvrage qui s’intitulait De l’activité évaluative à l’acte d’évaluation, dans lequel, je tentais d’isoler les supports cognitifs et langagiers du fonctionnement du jugement à travers les discours d’évaluation. Je cherchais ensuite à montrer que si l’activité évaluative (qui fonctionne grâce à un ensemble d’outils d’approximation du réel par la subjectivité du langage qui permet de produire du jugement) est fondatrice de l’acte d’évaluation, la recherche de l’objectivité par des artefacts technologiques, serait un leurre.

Plus récemment, Claire Tourmen a publié un article qui apporte un autre éclairage sur cette approche : L’activité évaluative et la construction progressive du jugement. Elle y développe et discute deux résultats imprévus qui sont apparus lors de recherches sur l’activité d’évaluateurs en situation, montrant que les évaluateurs avaient énoncé des jugements évaluatifs provisoires et partiels sur les objets à évaluer dès les premières étapes des processus d’évaluation, anticipant l’accomplissement des procédures (et d’une certaine façon, limitant ainsi leur pertinence). Le jugement évaluatif anticipe la procédure d’évaluation et constitue un prototype d’acte d’évaluation.

Récemment encore, Anne Jorro a publié un article intitulé Microgénèses de l’activité évaluative, dans lequel elle caractérise l’activité évaluative dans ses éléments constitutifs : les gestes, les compétences et les postures de l’évaluateur, afin de saisir les pratiques évaluatives déclarées et agies, les pratiques évaluatives improvisées et rationalisées, les pratiques évaluatives contournées et assumées. Elle met aisni en évidence d’une autre manière, des composants prototypiques de l’acte d’évaluation, puisés dans une activité évaluative naturelle (au sens de distinct des actes formels).

Dans l’espace anglo-saxon, l’activité évaluative en tant qu’opération avait fait l’objet de débuts de travaux du Center for the Study of Evaluation de l’Université de Californie dès les années 1970 (Alkin, Marvin C.; Ellett, Frederick, Jr., 1979), qui visait la théorisation de l’évaluation comme activité humaine régie par de certains stratégies et principes. Mais il ne semble pas que cela ait été plus avant, les théories de l’évaluation étant le plus souvent des théories de la pratique mettant en avant telle ou telle approche conceptuelle de l’acte d’évaluation dans tel ou tel domaine.

Aujourd’hui, il me semble donc que convergent plusieurs types de travaux qui visent à éclairer les fondements de l’activité évaluative en tant qu’opération cognitivo-langagière. Ce qui devrait conduire à plus ou moins long terme, à marquer le concept évaluation afin que les pratiques, les actes d’évaluation prennent en compte cette dimension fondatrice : il n’y a pas d’évaluation sans opération langagière qui instrumente le processus qui mène au jugement :

  • la conception d’une procédure-épreuve ;

  • l’élaboration et la mise en oeuvre des procédés (tâche ou situation problème, consigne, grille, indicateurs, mesure, jugement);

impliquent des opérations de discours.

Après tout, il suffit de regarder parmi les types d’évaluation prévus par le CECR, ceux qui se fondent sur une activité évaluative langagière directe (plutôt que sur un artefact technologique)

9.3.1 Évaluation de la capacité

9.3.5 Évaluation formative

9.3.6 Évaluation indirecte

9.3.8 Évaluation subjective

9.3.10 Jugement fondé sur l’impression/Jugement guidé

9.3.11 Évaluation holistique/Évaluation analytique

9.3.13 Évaluation mutuelle/Auto-évaluation

Tous mobilisent des opérations de discours. Mais on peut également considérer que l’artefact technologique (critériage, échelle, liste de contrôle…) est lui même un produit qui est élaboré à partir d’une activité évaluative, ce qui voudrait dire que tous les autres types d’évaluation sont concernés.

Essayons de voir quelles conséquences cette conceptualisation de l’acte d’évaluation par l’activité évaluative, entraîne dans les pratiques. D’abord elle relativise le rôle objectivant de la technologie de l’évaluation, censée établir une distance entre la subjectivité de l’évaluateur et la performance qui avait relevée et catégorisée par la docimologie. Ensuite, elle me conduit à penser que les meilleures solutions sont peut-être à rechercher dans une posture et des procédures qui visent à affronter la subjectivité plutôt qu’à chercher à la contourner. Le meilleur moyen, me semble-t-il étant de ne pas réduire la part discursive dans les procédures, mais de les augmenter :

  • en multipliant les points de vue évaluateurs au lieu de tout miser sur un seul,

  • en construisant un réseau d’approximations coordonnées à partir de ces points de vues,

d’où l’idée déjà évoquée de réseaux de compétences. Ce que je vais tenter maintenant de décrire sous la forme d’un système global d’évaluation à construire, pour un objet langue lui-même en mouvement.

La méthodologie d’élaboration des échelles de compétences langagières du CECR a bien pris soin d’associer à une méthode quantitative de recueil des données à partir de corpus d’échantillons de performance ( analyse discriminante; étalonnage multidimensionnel; analyse théorique de réponse aux items ou IRT)7 , une méthode qualitative de jugement sur le corpus (concept-clé / formulation; concept-clé / performances; jugements comparatifs …).

2. Adéquation et relations entre les procédures (modèles de procédures de parcours évaluatifs et procédés), approche systémique, et l’objet langue dynamique

La cohésion des composantes de l´évaluation en langues, entre le niveau formatif et le niveau certificatif, devrait assurer une cohérence des dispositifs

2.1. Un système global d’évaluation en langue

Je précisais au début, combien les certifications représentent des outils d’intervention pour les politiques linguistiques et éducatives. Mais on voit également que le processus d’industrialisation qui leur permet de se diffuser, porte en lui des limites de son économie.

Le risque me semble important, de voir apparaître des fossés (d’inadaptation entre les modèles de formation et les modèles d’évaluation), tout aussi bien que des collusions (parcours de formation qui visent à préparer à des épreuves d’évaluation).

Quand on parle de qualité de l’évaluation, il faut à la fois envisager :

  • le niveau micro (didactique), de la salle de classe pour l’apprentissage, voire celui de l’individu seul en situation d’acquisition;

  • le niveau méso (économique), de la certification qui donnera une valeur sociale aux connaissances et aux compétences appropriées;

  • le niveau macro (politique), qui devrait pouvoir assurer le lien entre les niveaux micro et méso.

Pour parvenir à rendre compte de réseaux de compétences par une approche multiréférentielle et coordonnée à partir de procédures d’évaluation menées depuis des points de vue différents, il faudrait pouvoir construire un système global d’évaluation, capable d’articuler le formatif de compétences, le sommatif de connaissances et le certificatif social.

 Le niveau macro a bien fonctionné en Europe, pour assurer une certaine coordination entre les certifications sur la base du CECR, pourquoi ne serait-il pas possible d’articuler socialement les tests de connaissance, les examens de compétences et des outils mis en place pendant le parcours de formation ?

Pourquoi ne pourrait-on pas chercher à intégrer les éléments apportés par un outil comme le portfolio par exemple ? Bien sûr, le portfolio est principalement conçu comme un outil formatif, pour l’apprenant et pour l’enseignant. Mais ce qu’il peut renseigner dans le détail, à partir d’un point de vue différent de celui de l’évaluateur de tests et d’examens, est aussi essentiel pour attester d’une biographie linguistique, d’un parcours dans une langue et entre les langues.

Les activités langagières de communication peuvent y être clairement définies : écouter / lire / prendre part à une conversation / s’exprimer à l’oral en continu / écrire. La liste détaillée des descripteurs peut être accompagnée d’exemples concrets. La progression dans chaque activité et dans chaque niveau ( A2-1, A2-2, A2-3 etc.), est en général rendue visible, ce qui permet d’apporter un point de vue évaluatif sur le continuum qui complète l’arrêt sur image de compétences et de connaissances mobilisées à un moment bref lors des tests et des examens et qui apparaît sous forme de blocs (les compétences de A1, les compétences de A2 …

D’autres procédures sont expérimentées dans des parcours d’apprentissage particuliers comme les groupes tandem, où l’autoévaluation et l’évaluation réciproque joue un rôle important et permet de recenser à la fois des savoirs, des savoir faire, des savoir être et des compétences d’ordre langagier et culturel (Tardieu, 2006).

Mais il ne s’agit pas seulement d’une association coordonnée d’outils qui pourrait être proposée comme un kit aux systèmes éducatifs et de formation : test de connaissances / examen de compétences / portfolio de biographie linguistique. La variété des points de vue évaluatifs implique de valoriser dans le processus qualifiant ce qui n’est pas toujours mesurable à l’aide d’un seul type de procédure.

La question qui est ainsi posée est de savoir si le processus qualifiant qui valide socialement l’état de connaissances et de compétences d’un sujet doit être :

  • fondé sur un seul type de procédure d’évaluation avec un seul point de vue;

  • à des moments marqués par le seul rythme de cette procédure.

Et j’ajouterais pour terminer, en n’envisageant que des compétences monolingues

2.2. Une approche interlinguistique : évaluer les compétences plurilingues

J’évoquais dans l’introduction, la croissance exponentielle des flux de communication (flux de population et flux internet). Ce qui a des effets non seulement sur un élargissement des compétences en fonction de nouvelles pratiques communicatives et de nouveaux supports, mais également sur le contact des langues qui conduit à appréhender différemment l’objet langue. Dans ce contexte, l’objet langue dans ses usages sociaux, ne peut et pourra encore moins demain, être envisagé dans une sorte d’intégrité monolingue. Une part importante et croissante de la communication est interlingue.

Dès les années 1980, Rémy Porquier (1984), avait travaillé sur la communication asymétrique/symétrique (ou exolingue/endolingue). A partir de la classe de langue, cette opposition tend à mettre en valeur une langue d’apprentissage cible, une ou des langues résiduelles (celles des apprenants). On y perçoit une opposition des langues en jeu car il s’agit toujours de cibler une langue.

Cette opposition renvoie à la notion de communication interethnique utilisée en anthropologie dans l’espace anglo-saxons (Scollon, Scollon, 1981; Gudykunst, Kim, 1997; Kim, 2005). Il ne s’agit plus, dans ce contexte, de cibler a priori une langue, mais de prendre en compte un ensemble de ressources, le répertoire linguistique. Autrement dit, dans un cas il y a une interlangue de transition considérée dès les années 1960 (Corder, 1981), comme corpus d’analyse d’erreurs par la linguistique appliquée, et dans l’autre, un interlinguisme considéré comme un répertoire linguistique (Chardenet, 2004). Un part importante de la communication mondiale quotidienne se situe dans cet entre-les-langues qui pose un défi didactique (Chardenet, 2005), et bien entendu un enjeu de formation et d’évaluation pour les années à venir.

La coordination politique de niveau macro entre les organismes certificateurs, que j’évoquais précédemment reste multilingue. On s’accorde sur les modèles transposables, comme le CECR propose un cadre transposable dans les langues, mais on reste encore faible en matière d’outillage pour aborder cette actionnalité du répertoire plurilingue. Mis à part les approches en intercompréhension, qui restent cependant pour l’instant limitées à un type de compétence et à des groupes de langues.

En évaluation, mis à part les portfolios intégrant un répertoire plurilingue, aucune des certification n’a pour l’instant tenté d’occuper le terrain du plurilinguisme. Si on trouve des modèles communs pour plusieurs langues évaluées séparément, voire consécutivement, on ne trouve pas de certification qui prennent en compte la compétence plurilingue (par ex. sous la forme d’un descripteur de capacités d’alternance de langue, de traduction non spécialisée pour les usages quotidiens). Bien entendu, cette compétence n’est pas non plus identifiable dans les parcours de formation et c’est certainement par là qu’il faut commencer.

Pour conclure, je reviendrais sur mon constat initial par lequel, j’invoquais dans l’introduction, un manque d’espace ouvert pour les recherches sur l’évaluation des apprentissages en langue. Ce n’est finalement pas le manque d’espace qu’il convient d’identifier comme facteur inhibiteur, mais un manque d’innovation. Pardonnez-moi si mon constat est un peu sévère (et je m’inclue d’une certaine façon dans la responsabilité), mais si la didactique des langues à montré une certaine dynamique avec une variété d’approches qui se sont succédé, à la suite du monopole épistémologique du behaviorisme8 jusqu’à la fin des années 1950, pour tenter de répondre à la question de la sélection des contenus à enseigner et les moyens efficaces pour aider à leur appropriation :

  • approche communicative dès les années 1970-1980 (l’apprentissage basée sur le sens et le contexte de l’énoncé dans une situation de communication, Coste, 1994) ;

  • approche cognitive dès la fin des années 1990 (l’apprentissage envisagé comme un processus cognitif -architecture structurale des représentations et fonctionnelle du processus, du langage dans le cerveau qui, suite à une interaction avec l’environnement, provoque une modification relativement durable des comportements, des connaissances et des compétences, Gaonac’h , 2000; Fayol, Gaonac’h, 2003; Billières, M. , Spanghero-Gaillard, N., 2005);

  • approche actionnelle (l’apprentissage par tâches se fonde sur une communication langagière inscrite dans l’espace social au sein duquel la situation d’enseignement/apprentissage est un constituant, et l’apprenant un acteur socio-langagier).

En revanche, l’évaluation des apprentissages en langue est globalement restée positionnée, d’un côté sur du tâtonnement expérimental formatif dans les classes, et d’un autre, sur l’économie des certifications. Face aux enjeux évoqués, des dynamiques convergentes et des recherches innovantes sont nécessaires.

A posteriori, quand je regarde ce que disait déjà C. Puren en 2006 en conclusion provisoire d’une conférence contextualisée sur : « Comment harmoniser le système d’évaluation français avec le CECR ? »

  • faire un travail de clarification conceptuelle,

  • ne pas recréer une nouvelle orthodoxie didactique,

  • se donner les moyens de généraliser l’innovation,

je pense que nous tournons autour de problématiques comparables.

Bibliographie

ALKIN, MARVIN C.; ELLET, Frederick, Jr., 1979, The Human Activity of Evaluation Theorizing, document microfiche, California University, Los Angeles, ERIC- Education ressources Information Center (http://www.eric.ed.gov/ERICDocs/data/ericdocs2sql/content_storage_01/0000019b/80/35/ed/f6.pdf 08/06/09)

BAKHTINE M., 1984, Esthétique de la création verbale, Gallimard.

BILLIERES, M. , SPANGHERO-GAILLARD, N., 2005, La didactique cognitive des langues :

regards croisés de disciplines pour comprendre le « comment », dans Parole, 34, 35, 36, pp. 101-136.

BOUTET, J., 2004, « La part langagière du travail : bilan et évolution », dans Langage & société, 2001/4 – n° 98, Maison des sciences de l’homme, pp. 17-42.

CHARDENET, 2005, « La dynamique d’extension de l’objet et du sujet de la didactique des langues vers l’interlinguisme », dans Entrelinhas, année II, numéro 1, revue électronique (téléchargement: http://www.entrelinhas.unisinos.br/index.php?e=1&s=9&a=3 , 25/01/10), Universidade do Vale do Rio dos Sinos – Unisinos, São Leopoldo.

CHARDENET, P. 2004, « Interlingüismo de alternância e interlingüismo simultâneo nas trocas plurilíngues: para uma análise de um « entre-as -línguas », dans Giering, M.-E., Teixeira M., Investigando a linguagem em uso: estudos em lingüística aplicada, Editora UNISINOS, São Leopoldo.

CICUREL, F. 1990, « Eléments d’un rituel communicatif dans les situations d’enseignement », dans Dabène, L., Cicurel, F., Lauga-Hamid, M.-C., Foerster, C., Variations et rituels en classe de langue, Crédif/Hatier, pp, 22-54.

CLOT, Y. & FAÏTA, D., 2000, « Genres et styles en analyse du travail », dans Travailler, 4, 7-43.

CORDER, P, 1981, Error Analysis and Interlanguage, Oxford University Press, Oxford.

COSTE, D. et alii ,1994, Vingt ans dans l’ évolution de la didactique des langues, Didier-Hatier.

FAYOL, M., & GAONAC’H, D., 2003, « La compréhension. Une approche de psychologie cognitive », dans D. Gaonac’h & M. Fayol (Eds.), Aider les élèves à comprendre. Du Texte au multimédia, Hachette pp. 5-72.

FIGARI, G., ACHOUCHE, M, 2001, L’Activité évaluative réinterrogée. Regards scolaires et socioprofessionnels, De Boeck université.

GAONAC’H, D., 2000, « La lecture en langue étrangère : un tour d’horizon d’une problématique de psychologie cognitive », dans AILE n° 13.

GUDYKUNST, W.B., KIM, Y.Y., 1997, Communicating with strangers: An approach to intercultural communication, McGraw-Hill, New York.

JORRO, A., 2009, « Microgénèses de l’activité évaluative », dans Mottier Lopez, L. & Crahay, M., Evaluations en tension : entre la régulation des apprentissages et le pilotage des systèmes, De Boeck.

KIM, Y, 2005, « Association and dissociation: A contextual theory of Interethnic communication, dans W. B. Gudykunst (Ed.), Theorizing about intercultural communication, Thousand Oaks, CA: Sage, pp.  323-349.

NEULIEP, J.W; Mc CROSKEY, J.C, 1997, « The Development of Intercultural and Interethnic Communication »; Apprehension Scales, Communication Research Reports, Volume 14,Number 2, pp. 145-156.

PARLEBAS, P., 2007, « Pertinence motrice et complexité dans les jeux et les sports », dansLes Actes de Lecture n°98, juin 2007.

PORQUIER, R., 1984, « Communication exolingue et apprentissage des langues », dans B. Py, Dir., Acquisition d’une langue étrangère III, Paris, Presses Universitaires de Vincennes, p. 17-47.

PUREN. C., 2006, Comment harmoniser le système d’évaluation français avec le Cadre Européen Commun de Référence ?, APLV, Assemblée Générale Régionale de Grenoble, 22 mars (http://www.aplv-languesmodernes.org/spip.php?article30, 25/01/10).

SCOLLON, R; SCOLLON, S- B.K, 1981, Literacy, and Face in Interethnic Communication, Ablex Publishing Corporation, Norwood, New Jersey.

TARDIEU, C. 2006, « L’évaluation en langue : quelles perspectives ? », dans Les Cahiers de l’ACEDLE numéro 2, Recherches en didactique des langues, colloque ACEDLE, juin 2005, pp. 217-235.

TOURMEN, C., 2009, « L’activité évaluative et la construction progressive du jugement », dans Les Dossiers des sciences de l’éducation, no22, Presses universitaires du Mirail, Toulouse, pp. 101-119.

 

 Notes

1Dans Le français dans le Monde, Mars-avril 2006 – N°344

21975, J.L.M. Trim, Threshold level, Cambridge University Press et 1976, Daniel Coste, Un Niveau seuil, Hatier, Paris.

3 Pp. 19, 46, 113, 121-127.

4 CECR, chapitre 9.

5CECR, chap. 5.

6CECR, p. 69.

7CECR, annexe A (p. 148 à 154).

8Fondé l’observation directe des comportements.

 


 

 

tos2008 |
La main qui pense ا&... |
éoliennes 07590 |
Unblog.fr | Créer un blog | Annuaire | Signaler un abus | Panneaux solaires
| VOYANCE TAROT LE VRAI RENDE...
| tarotdeshumanistes