Questionnaire d’évaluation du contexte académique

1. Résumé / Abstract

Le Questionnaire d’évaluation du contexte académique (en anglais, Academic Setting Evaluation Questionnaire ou ASEQ) est un instrument psychométrique développé initialement par J. Fernandez et M. A. Mateo (1993, 1995) au sein de l’Université Complutense de Madrid. Conçu pour pallier l’absence d’outils standardisés évaluant l’environnement universitaire du point de vue des enseignants-chercheurs, l’ASEQ mesure de manière systématique la perception et la satisfaction du corps professoral à l’égard de leurs conditions de travail, du climat social institutionnel et de leurs interactions pédagogiques avec les étudiants. Historiquement élaboré à partir d’une version préliminaire comprenant 69 items (structurée en six dimensions avec un coefficient thêta de 0,98) puis affiné à 59 items, le questionnaire a été condensé dans sa version de référence définitive à 33 items.

Sur le plan psychométrique, la validation de la version à 33 items repose sur un échantillon représentatif de 748 professeurs d’université, ayant fait l’objet d’une procédure rigoureuse de validation croisée par scission d’échantillon (cross-validation). Les analyses factorielles en composantes principales, conduites avec rotations orthogonales et obliques, ont révélé une structure robuste à trois facteurs principaux expliquant approximativement 78 % de la variance totale :

• La satisfaction à l’égard des conditions de travail (19 items : 1 à 4, 6, 9 à 20, 22 et 23) ;
• Le climat social et la collégialité au sein des départements (5 items : 5, 7, 8, 26 et 33) ;
• Les relations avec les étudiants et l’adaptation pédagogique (7 items : 21, 24, 25, 27 à 29 et 32).

Deux items résiduels (30 et 31), relatifs aux modalités contractuelles et aux systèmes d’évaluation objective, n’ont pas présenté de saturations univoques sur ces trois axes lors de la solution finale mais conservent une valeur descriptive qualitative. L’échelle démontre d’excellentes qualités de cohérence interne : le coefficient alpha de Cronbach atteint 0,89 pour le domaine combiné des conditions matérielles et du climat social, 0,87 pour la dimension relationnelle avec les étudiants, et culmine à 0,90 pour l’ensemble du questionnaire. Chaque item est évalué selon une échelle de réponse de type Likert en 7 points, s’étendant de 1 (« plus faible niveau d’accord ») à 7 (« plus haut niveau d’accord »). L’ASEQ constitue ainsi un dispositif d’évaluation institutionnelle fondamental pour la recherche en psychologie des organisations universitaires, la gestion des ressources humaines académiques et le diagnostic organisationnel de l’enseignement supérieur.

2. Mots-clés / Keywords

Évaluation du milieu académique, satisfaction professionnelle universitaire, climat organisationnel, corps professoral, conditions de travail académiques, relations enseignant-étudiant, psychométrie, analyse factorielle, fidélité du test, validité de construit, enseignement supérieur, qualité de vie au travail, psychologie organisationnelle.

3. Auteurs / Authors

L’Academic Setting Evaluation Questionnaire a été conçu et validé par une équipe de chercheurs spécialisés en psychométrie et en méthodologie des sciences du comportement rattachée à l’Universidad Complutense de Madrid (Espagne) :

• J. Fernandez : Professeur et chercheur au sein du département de méthodologie des sciences du comportement (Departamento de Metodología de las Ciencias del Comportamiento) à la Faculté de Psychologie de l’Université Complutense de Madrid. Ses travaux portent principalement sur la modélisation psychométrique, l’évaluation de la qualité dans l’enseignement supérieur et l’analyse dimensionnelle des climats éducatifs.
• M. A. Mateo : Chercheur et méthodologue affilié à la même institution universitaire, expert dans l’analyse de données multivariées, les procédures de validation croisée et l’étude des facteurs organisationnels déterminant la performance et le bien-être du personnel enseignant et chercheur.

Les investigations menées par Fernandez et Mateo au début des années 1990 ont constitué une réponse pionnière aux réformes structurelles de l’enseignement supérieur en Europe du Sud, à une période où l’efficacité institutionnelle et l’assurance qualité commençaient à s’imposer comme des impératifs universitaires majeurs.

4. Objectif / Purpose

Justification théorique et historique

Pendant plusieurs décennies, l’évaluation de l’efficacité et du climat au sein de l’enseignement supérieur s’est focalisée de manière presque exclusive sur les évaluations des enseignements par les étudiants (communément désignées par l’acronyme anglophone SET, pour Student Evaluation of Teaching) ou sur des indicateurs quantitatifs bruts de productivité scientifique (nombre de publications, obtention de subventions de recherche, indices bibliométriques). Ces démarches unilatérales négligeaient une composante fondamentale du système universitaire : la perception subjective que les enseignants-chercheurs ont de leur propre environnement de travail.

L’objectif sous-jacent à la création de l’ASEQ était de combler ce vide méthodologique en concevant un instrument standardisé, valide et fidèle, capable de mesurer la manière dont le corps professoral évalue l’institution dans laquelle il exerce ses missions pédagogiques, scientifiques et administratives. Fernandez et Mateo (1993) ont postulé que la qualité de l’enseignement supérieur, le rendement de la recherche et la santé psychologique des universitaires dépendent intrinsèquement de l’adéquation perçue entre les exigences professionnelles et le soutien environnemental fourni par l’université.

Applications en recherche et en pratique institutionnelle

L’ASEQ a été élaboré pour répondre à des finalités diagnostiques, évaluatives et scientifiques diversifiées :

• Diagnostic organisationnel et audit institutionnel : L’outil offre aux directions d’universités, aux doyens de facultés et aux comités d’assurance qualité une cartographie précise des points forts et des défaillances perçues au sein des infrastructures matérielles, des systèmes d’incitation à la recherche, des processus de sélection et des dynamiques départementales.
• Prévention des risques psychosociaux et du burnout : Dans un contexte académique mondial marqué par la précarisation contractuelle, la pression à la publication (publish or perish) et la surcharge de travail, l’ASEQ permet d’identifier les facteurs organisationnels contributifs à l’épuisement professionnel, au désengagement ou au sentiment d’isolement des enseignants-chercheurs.
• Recherche différentielle et sociologie universitaire : L’échelle permet d’explorer les variations de perception en fonction du statut statutaire (titulaires du service public versus contractuels), du genre, de l’ancienneté professionnelle ou de la discipline académique (sciences humaines et sociales versus sciences expérimentales et technologiques).
• Évaluation des politiques publiques et réformes structurelles : L’ASEQ fournit des indicateurs psychométriques stables pour mesurer l’impact longitudinal des transformations législatives relatives aux statuts universitaires, aux critères de titularisation ou aux modèles d’allocation des fonds de recherche.

5. Construit psychologique / Construct

L’ASEQ conceptualise l’environnement académique comme un écosystème multidimensionnel articulé autour de trois domaines psychologiques distincts mais interconnectés, complétés par des interrogations sur les régimes d’évaluation et de gestion de l’emploi :

1. Satisfaction à l’égard des conditions de travail (Items 1–4, 6, 9–20, 22, 23)

Ce premier domaine constitue le socle institutionnel et matériel de la vie académique. Il englobe 19 items évaluant le sentiment d’équité, l’adéquation des ressources et l’efficacité des dispositifs structurels :

• Les conditions matérielles et budgétaires : La salubrité, l’équipement des espaces de travail, le financement accordé aux protocoles de recherche et les subsides alloués à la publication d’articles scientifiques (ex. : items 1, 2 et 3).
• La rémunération et la reconnaissance : Le sentiment de justice rétributive quant au salaire perçu au titre de l’enseignement universitaire et la valorisation du métier par la société globale (ex. : items 4 et 13).
• Les processus d’évaluation, de sélection et de promotion : La transparence, la pertinence et la rigueur des mécanismes d’embauche, de contrôle des activités d’enseignement et d’avancement professionnel (ex. : items 9, 10, 11 et 15).
• L’accomplissement et les perspectives professionnelles : La congruence entre les aspirations initiales de l’universitaire et la réalité vécue, la disponibilité temporelle consacrée à l’investigation scientifique, le soutien institutionnel face aux difficultés de carrière et l’optimisme quant aux perspectives futures (ex. : items 12, 14, 16, 17, 18, 19, 20 et 22).
• Le cadre statutaire : La conformité du statut de fonctionnaire (civil service system) aux impératifs d’indépendance et d’efficacité de l’enseignement supérieur (item 23).

2. Climat social et dynamique collégiale (Items 5, 7, 8, 26, 33)

La deuxième dimension saisit les aspects relationnels, émotionnels et communicationnels prévalant entre pairs au sein des unités de recherche et des départements pédagogiques. Composé de 5 items, ce construit examine :

• Le soutien interpersonnel et la cohésion : La perception d’être épaulé par ses confrères tant dans les activités d’enseignement que dans les démarches de recherche scientifique (items 5 et 33).
• La communication interne : La fluidité, la bienveillance et la constructivité des échanges formels et informels entre les membres d’une même équipe professorale (item 7).
• L’effet facilitateur des relations humaines : L’impact positif des interactions socio-émotionnelles sur l’efficience et le bien-être professionnel (item 8).
• La coopération scientifique : La volonté et la capacité collective à concevoir, financer et exécuter des programmes de recherche conjoints (item 26).

3. Relations pédagogiques avec les étudiants (Items 21, 24, 25, 27–29, 32)

La troisième composante mesure l’interface didactique et interactionnelle unissant l’enseignant à son public étudiant (7 items) :

• L’engagement et l’intérêt des étudiants : La réceptivité manifestée par les étudiants envers la matière enseignée et leur proactivité lors des créneaux de permanence ou d’encadrement individualisé (items 21 et 24).
• L’ajustement pédagogique et la réflexivité : La disposition de l’enseignant à recueillir et à intégrer les rétroactions étudiantes pour moduler sa méthodologie didactique et adapter ses exigences aux spécificités de chaque groupe d’apprenants (items 25, 27 et 28).
• L’adéquation des compétences : La facilité perçue avec laquelle le travail personnel des étudiants répond aux standards académiques imposés par le cours (item 29).
• La différenciation évaluative : La capacité des étudiants à émettre une appréciation nuancée et objective de chaque enseignant selon la qualité réelle de sa pratique pédagogique (item 32).

Items complémentaires non factorisés (Items 30 et 31)

Les items 30 (« Labor contracts would enable faculty duties to be carried out better ») et 31 (« Some “objective” system of evaluation of each faculty member’s research work is necessary ») abordent des enjeux idéologiques et régulateurs hautement clivants : l’opposition entre contrats de droit du travail et statut de la fonction publique, et la nécessité perçue d’instaurer des métriques quantitatives standardisées d’évaluation. Bien que décorrélés des trois composantes primaires dominantes, ils apportent une information descriptive essentielle sur l’attitude des universitaires face au management public contemporain.

6. Cadre théorique / Theoretical Framework

Psychologie des organisations et théories de la motivation au travail

L’élaboration de l’ASEQ s’enracine dans la tradition de la théorie bi-factorielle de Herzberg (Herzberg et al., 1959). Selon ce paradigme, la satisfaction au travail et l’insatisfaction ne sont pas deux extrémités opposées d’un continuum unique, mais résultent de deux séries distinctes de facteurs :

• Les facteurs d’hygiène (ou d’ambiance) : Liés au contexte extrinsèque du travail, tels que le niveau de rémunération, la sécurité de l’emploi garantie par le statut de fonctionnaire, la qualité des équipements matériels et les politiques administratives. Dans l’ASEQ, ces éléments sont largement représentés au sein du facteur « Conditions de travail ». S’ils sont défaillants, ils génèrent une forte insatisfaction ; s’ils sont satisfaits, ils préviennent l’insatisfaction sans nécessairement suffire à générer une motivation intrinsèque durable.
• Les facteurs moteurs (ou de motivation intrinsèque) : Liés au contenu même des missions, tels que l’autonomie intellectuelle, les possibilités de découverte scientifique, la reconnaissance par les pairs et l’impact pédagogique auprès des étudiants. Ces déterminants correspondent aux facteurs « Climat social » et « Relations avec les étudiants ».

Modèle Exigences-Ressources au Travail (JD-R)

Bien que formalisé de façon contemporaine à l’émergence de l’instrument (Demerouti et al., 2001), le modèle JD-R (Job Demands-Resources) éclaire la mécanique structurelle de l’ASEQ. L’environnement universitaire impose des exigences spécifiques : délais rigides, double contrainte enseignement/recherche, compétition pour les financements, hétérogénéité des cohortes d’étudiants. Pour y faire face, l’institution doit procurer des ressources professionnelles : ressources matérielles (locaux, budget de publication), ressources sociales (soutien des collègues, communication fluide au département) et ressources pédagogiques (écoute active des étudiants, ajustement des méthodologies). L’ASEQ évalue précisément l’équilibre subjectif entre ces exigences et les ressources allouées.

Écologie sociale des environnements éducatifs

Fernandez et Mateo se sont également inspirés des recherches de Rudolf Moos (1979) sur les climats sociaux humains, adaptées au contexte de l’enseignement supérieur par Fraser et Treagust (1986). Moos distingue trois dimensions fondamentales propres à tout environnement social :

1. La dimension relationnelle : Le degré d’implication des individus, le soutien mutuel et la franchise des communications (opérationnalisée dans l’ASEQ par le facteur Climat social).
2. La dimension de développement personnel : L’orientation vers la tâche, l’accomplissement intellectuel et l’autonomie (reflétée par l’encouragement institutionnel à la recherche et les perspectives professionnelles).
3. La dimension de maintien et de régulation du système : L’ordre, la clarté des règles administratives et la réactivité au changement (opérationnalisée par la régulation des promotions, les comités de sélection et les critères d’évaluation).

7. Validité / Validity

Validité de contenu et d’apparence

La validité de contenu de l’ASEQ a été garantie par une démarche itérative en entonnoir. À l’origine, un ensemble exhaustif de 69 items a été formulé sur la base d’entretiens approfondis avec des enseignants-chercheurs de différents échelons hiérarchiques et de panels d’experts en méthodologie éducative. Cette première version couvrait six dimensions présumées : l’insatisfaction envers l’institution, le climat social, la relation étudiant-professeur, la performance des services centraux, l’autonomie pédagogique et les procédures de sélection et d’évaluation. À l’issue d’une première pré-expérimentation sur 800 professeurs, l’échelle a été réduite à 59 items, puis épurée pour aboutir à la version finale de 33 items en conservant uniquement les énoncés dotés d’une pertinence théorique sans équivoque et d’une clarté syntaxique maximale.

Validité de construit et validation croisée

L’étude princeps de validation (Fernandez & Mateo, 1993) s’est appuyée sur un échantillon probabiliste rigoureux de 748 professeurs d’université issus de l’Université Complutense de Madrid. Pour éviter les artefacts de sur-ajustement statistique (overfitting), les auteurs ont appliqué une stratégie de validation croisée (cross-validation) en subdivisant aléatoirement la cohorte en deux groupes indépendants d’effectif égal (N = 374 chacun) :

• Sur le premier sous-échantillon d’étalonnage, l’extraction factorielle a mis en évidence la solution à trois facteurs dominants expliquant 78 % de la variance.
• Sur le second sous-échantillon de validation, la même structure factorielle a été testée et intégralement répliquée, démontrant l’invariance de mesure de l’instrument à travers des sous-groupes aléatoires.

Les indices d’homogénéité (corrélations item-total corrigées) ont révélé des valeurs satisfaisantes pour l’ensemble des items composant les trois facteurs, attestant que chaque item contribue significativement à la mesure de sa dimension respective.

Validité convergente, discriminante et critérielle

Les investigations complémentaires menées par Mateo et Fernandez (1995) et Fernandez et al. (1995) ont examiné les corrélations entre les scores obtenus à l’ASEQ et d’autres mesures organisationnelles et individuelles :

• Validité convergente : Les scores du facteur Climat social présentent des corrélations positives modérées à fortes avec les échelles de cohésion de département et d’évaluation par les pairs (peer ratings), en lien avec les constats documentés par Kremer (1990). De même, le facteur Conditions de travail est corrélé positivement avec les indicateurs institutionnels d’attribution budgétaire par laboratoire.
• Validité discriminante : L’indépendance relative entre le facteur Relations avec les étudiants et le facteur Conditions de travail démontre que la satisfaction pédagogique immédiate ne se confond pas avec les griefs matériels ou salariaux exprimés vis-à-vis de la gouvernance centrale.
• Validité critérielle : Des corrélations significatives ont été observées entre la sous-échelle Relations avec les étudiants de l’ASEQ et les résultats des évaluations anonymes de l’enseignement administrées aux cohortes estudiantines, confirmant que les perceptions professorales sont congruentes avec les appréciations réelles des étudiants (Mateo & Fernandez, 1995).

8. Fidélité / Reliability

Cohérence interne

La consistance interne de l’ASEQ présente des coefficients psychométriques élevés, dépassant largement les seuils conventionnels recommandés pour l’utilisation d’échelles en psychologie du travail :

• Coefficient Alpha global : Pour l’ensemble des items retenus dans les dimensions factorisées, le coefficient alpha de Cronbach atteint 0,90.
• Dimensions Conditions de travail et Climat social : Ces composantes présentent un coefficient alpha combiné de 0,89, dénotant une excellente homogénéité conceptuelle dans l’appréciation du support institutionnel et collégial.
• Dimension Relations avec les étudiants : Le coefficient alpha de cette sous-échelle ressort à 0,87.
• Coefficient Thêta (θ) de Carmines : Dans les phases préliminaires de développement sur l’échantillon élargi de 800 professeurs, un coefficient thêta de 0,98 avait été rapporté pour la version initiale à 69 items, confirmant la haute fiabilité de la banque d’items initiale.

Stabilité temporelle et cohérence inter-groupes

Les travaux de réplication menés en milieu universitaire espagnol (Fernandez et al., 1995) ont mis en lumière une remarquable stabilité des coefficients de fiabilité à travers différents corps académiques (professeurs titulaires de chaire, maîtres de conférences, assistants contractuels). Les analyses de variance n’ont révélé aucune fluctuation anormale de la cohérence interne attribuable à l’âge, au domaine scientifique (humanités versus sciences biomédicales) ou à l’ancienneté dans l’institution.

9. Analyse factorielle / Factor Analysis

Procédure d’extraction et de rotation

L’analyse factorielle exploratoire initiale a été menée selon la méthode de l’Analyse en Composantes Principales (ACP) sur les données recueillies auprès des 748 répondants. Afin d’élucider la structure sous-jacente sans biaiser les interrelations théoriques, les auteurs ont conduit parallèlement des rotations orthogonales (Varimax) et des rotations obliques (Oblimin/Promax).

L’examen des valeurs propres (critère de Kaiser, eigenvalues > 1) conjugué au test du coude de Cattell (scree test) a justifié l’adoption définitive d’une solution à trois facteurs, laquelle explique approximativement 78 % de la variance totale des scores, un pourcentage particulièrement élevé pour un instrument d’évaluation organisationnelle.

Répartition factorielle des items

Statut psychométrique des items 30 et 31

Les investigations factorielles ont mis en exergue que les items 30 (portant sur l’opportunité d’introduire des contrats de travail de droit commun) et 31 (portant sur l’exigence d’un système objectif pour mesurer la recherche) présentaient des saturations inférieures au seuil critique retenu (0,35 ou 0,40 selon les modèles) sur chacun des trois axes factoriels majeurs. L’analyse du contenu suggère que ces deux assertions ne mesurent pas un niveau de satisfaction personnelle immédiate, mais plutôt des opinions idéologiques et politiques relatives à la modernisation managériale de l’université. Les auteurs ont préconisé de les conserver dans le protocole de passation à des fins de sondage institutionnel tout en les excluant des scores factoriels composites.

10. Instrument de mesure / Instrument

• Nom complet de l’instrument : Academic Setting Evaluation Questionnaire (ASEQ) / Questionnaire d’évaluation du contexte académique
• Type d’évaluation : Auto-questionnaire psychométrique standardisé (self-report measure)
• Nombre total d’items : 33 items (31 items factorisés répartis sur 3 échelles principales + 2 items isolés)
• Format de réponse : Échelle de Likert à 7 points : de 1 (« plus faible niveau d’accord » / lowest level of agreement) à 7 (« plus haut niveau d’accord » / highest level of agreement)
• Temps moyen de passation : Environ 10 à 15 minutes
• Population cible : Enseignants du supérieur, enseignants-chercheurs, professeurs de chaire, maîtres de conférences, chercheurs universitaires et chargés de cours
• Modalités de cotation :
  • Calcul de scores factoriels bruts ou moyens pour chacune des trois dimensions par sommation des items correspondants :
  • Score Conditions de travail : Somme ou moyenne des items 1, 2, 3, 4, 6, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 22, 23 (Étendue du score brut : 19 à 133).
  • Score Climat social : Somme ou moyenne des items 5, 7, 8, 26, 33 (Étendue du score brut : 5 à 35).
  • Score Relations avec les étudiants : Somme ou moyenne des items 21, 24, 25, 27, 28, 29, 32 (Étendue du score brut : 7 à 49).
  • Score Global de satisfaction académique : Somme des 31 items factorisés (Étendue : 31 à 217). Un score élevé indique un climat perçu comme extrêmement favorable, stimulant et satisfaisant.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication initiale : 1993 (publication de référence par Fernandez et Mateo dans la revue Educational and Psychological Measurement) ; études de validation complémentaire en 1995.
• Statut du copyright : Propriété intellectuelle détenue par les auteurs et les éditeurs scientifiques originaux (SAGE Publications pour la revue Educational and Psychological Measurement).
• Conditions d’utilisation et permissions : L’utilisation du questionnaire est libre de droits d’auteur sous réserve d’un usage exclusif à des fins de recherche académique non commerciale, de thèses universitaires ou d’audits internes de diagnostic d’établissement, avec obligation formelle de citer la publication princeps de Fernandez et Mateo (1993).
• Tarifs : Gratuit pour la communauté scientifique et les praticiens de l’enseignement supérieur dans le cadre d’études universitaires. Toute intégration dans une plateforme logicielle commerciale ou un cabinet de conseil privé requiert une autorisation préalable auprès des ayants droit.

12. Références / References

• Demerouti, E., Bakker, A. B., Nachreiner, F., & Schaufeli, W. B. (2001). The job demands-resources model of burnout. Journal of Applied Psychology, 86(3), 499–512. https://doi.org/10.1037/0021-9010.86.3.499
• Fernandez, J., & Mateo, M. A. (1993). The development and factorial validation of the Academic Setting Evaluation Questionnaire. Educational and Psychological Measurement, 53(2), 425–435. https://doi.org/10.1177/0013164493053002012
• Fernandez, J., Mateo, M. A., & Muniz, J. (1995). Evaluation of the academic setting in Spain. European Journal of Psychological Assessment, 11(3), 133–137. https://doi.org/10.1027/1015-5759.11.3.133
• Fraser, B. J., & Treagust, D. F. (1986). Validity and use of an instrument for assessing classroom psychosocial environment in higher education. Higher Education, 15(1–2), 37–57. https://doi.org/10.1007/BF00138091
• Herzberg, F., Mausner, B., & Snyderman, B. B. (1959). The Motivation to Work (2nd ed.). John Wiley & Sons.
• Kremer, J. F. (1990). Construct validity of multiple measures in teaching, research, and service and reliability of peer ratings. Journal of Educational Psychology, 82(2), 213–218. https://doi.org/10.1037/0022-0663.82.2.213
• Mateo, M. A., & Fernandez, J. (1995). Evaluation of the setting in which university faculty carry out their teaching and research functions: The ASEQ. Educational and Psychological Measurement, 55(2), 329–334. https://doi.org/10.1177/0013164495055002017
• Moos, R. H. (1979). Evaluating Educational Environments: Procedures, Measures, Findings and Policy Implications. Jossey-Bass.

13. Questions et items du questionnaire / Scale Items