Le Feedback Instrument for Rescue Force Development (FIRE)<\/strong> (en allemand : Feedback-Instrument zur Rettungskr\u00e4fte-Entwicklung<\/em>) est un instrument psychom\u00e9trique d’\u00e9valuation diagnostique et formative con\u00e7u sp\u00e9cifiquement pour mesurer la qualit\u00e9 des formations destin\u00e9es aux forces de secours et aux services d’incendie. D\u00e9velopp\u00e9 conjointement par l’Institut des sapeurs-pompiers de Rh\u00e9nanie-du-Nord-Westphalie (IdF NRW<\/a>) et le d\u00e9partement de psychologie organisationnelle et \u00e9conomique de l’Universit\u00e9 de M\u00fcnster (Westf\u00e4lische Wilhelms-Universit\u00e4t M\u00fcnster<\/a>), cet outil comble un vide m\u00e9thodologique dans l’\u00e9valuation des formations des cadres op\u00e9rationnels d’intervention d’urgence.<\/p>\n L’instrument repose sur une mod\u00e9lisation th\u00e9orique articulant les processus p\u00e9dagogiques et les r\u00e9sultats d’apprentissage. Le questionnaire central (Kernfragebogen<\/em>) comprend 21 items standardis\u00e9s r\u00e9partis en six sous-\u00e9chelles distinctes : quatre \u00e9chelles au niveau des processus d’apprentissage (Comportement des formateurs<\/strong> [Dozentenverhalten<\/em>], Niveau d’exigence<\/strong> [Anforderungsniveau<\/em>], Structure du cours<\/strong> [Struktur<\/em>], et Dynamique de groupe<\/strong> [Gruppe<\/em>]) et deux \u00e9chelles au niveau des r\u00e9sultats d’apprentissage (Acquisition de comp\u00e9tences<\/strong> [Kompetenzerwerb<\/em>] et Transfert op\u00e9rationnel<\/strong> [Transfer<\/em>]). Quatre items additionnels optionnels permettent d’\u00e9valuer le jugement global et de recueillir un retour qualitatif ouvert.<\/p>\n Le format de r\u00e9ponse utilise une \u00e9chelle de Likert en 7 points compl\u00e9t\u00e9e par une option d’\u00e9chappement permettant d’indiquer qu’un item n’est pas applicable. Sur le plan psychom\u00e9trique, le mod\u00e8le factoriel a \u00e9t\u00e9 confirm\u00e9 par des analyses factorielles exploratoires et confirmatoires rigoureuses. La fid\u00e9lit\u00e9 de l’\u00e9chelle est satisfaisante \u00e0 excellente, avec un coefficient alpha de Cronbach global et sous-\u00e9chelles sup\u00e9rieur ou \u00e9gal \u00e0 .73 (α ≥ .73) et un om\u00e9ga de McDonald hi\u00e9rarchique sup\u00e9rieur ou \u00e9gal \u00e0 .76 (ωh<\/sub> ≥ .76). Les \u00e9tudes de validation d\u00e9montrent une validit\u00e9 de contenu, de construit et de crit\u00e8re \u00e9tay\u00e9e, faisant du FIRE un outil de r\u00e9f\u00e9rence robuste pour l’assurance qualit\u00e9 et la recherche en psychologie de la formation appliqu\u00e9e aux environnements \u00e0 haut risque.<\/p>\n \u00c9valuation de la formation, forces de secours, sapeurs-pompiers, psychologie organisationnelle, mod\u00e8le de Kirkpatrick, analyse factorielle confirmatoire, acquisition de comp\u00e9tences, transfert d’apprentissage, dynamique de groupe, fid\u00e9lit\u00e9 psychom\u00e9trique, assurance qualit\u00e9 p\u00e9dagogique, leadership d’urgence.<\/p>\n Le d\u00e9veloppement et la validation psychom\u00e9trique du questionnaire FIRE ont \u00e9t\u00e9 r\u00e9alis\u00e9s par une \u00e9quipe de chercheurs en psychologie du travail, des organisations et des facteurs humains, en \u00e9troite collaboration avec des officiers formateurs des services de secours :<\/p>\n L’exercice des fonctions de commandement au sein des forces de secours et des corps de sapeurs-pompiers soumet les personnels \u00e0 des exigences op\u00e9rationnelles extr\u00eames. Qu’il s’agisse de la gestion de sinistres industriels, de sauvetages techniques complexes, de feux de grande ampleur ou d’accidents de la circulation majeurs, les officiers de garde, chefs de groupe (Gruppenf\u00fchrer<\/em>) et chefs de colonne ou de section (Zugf\u00fchrer<\/em>) doivent op\u00e9rer sous forte contrainte temporelle, dans un climat d’incertitude radicale et face \u00e0 un risque vital permanent. Lors de ces interventions, diff\u00e9rentes organisations partenaires (police, secours m\u00e9dicaux d’urgence, s\u00e9curit\u00e9 civile, \u00e9quipes h\u00e9liport\u00e9es) convergent sur le th\u00e9\u00e2tre op\u00e9rationnel sans entra\u00eenement interarmes pr\u00e9alable imm\u00e9diat. L’efficacit\u00e9 du commandement repose d\u00e8s lors sur des comp\u00e9tences non techniques critiques : coordination rapide, communication standardis\u00e9e, prise de d\u00e9cision naturaliste et gestion du stress collectif.<\/p>\n La formation dispens\u00e9e aux officiers \u00e0 l’Institut des sapeurs-pompiers combine des enseignements th\u00e9oriques magistraux et interactifs avec des simulations tactiques immersives en terrain d’exercice grandeur nature. Jusqu’\u00e0 la conception du FIRE, il n’existait aucun instrument psychom\u00e9trique scientifiquement calibr\u00e9 pour mesurer sp\u00e9cifiquement l’efficacit\u00e9 de ces cycles p\u00e9dagogiques dans les services de s\u00e9curit\u00e9 publique. Les outils g\u00e9n\u00e9riques d’\u00e9valuation de l’enseignement sup\u00e9rieur ne prenaient pas en compte les imp\u00e9ratifs du commandement op\u00e9rationnel, tandis que les questionnaires informels internes manquaient cruellement de validit\u00e9 de construit et de fid\u00e9lit\u00e9 m\u00e9trologique.<\/p>\n L’objectif fondamental du FIRE est donc double :<\/p>\n Le mod\u00e8le th\u00e9orique sous-jacent au questionnaire FIRE op\u00e9rationnalise la qualit\u00e9 de la formation professionnelle \u00e0 travers deux niveaux macro-structurels indissociables : le niveau des processus d’apprentissage<\/strong> (les facteurs m\u00e9diateurs et contextuels durant le stage) et le niveau des r\u00e9sultats d’apprentissage<\/strong> (les acquis cognitifs, comportementaux et leur transf\u00e9rabilit\u00e9). Chacun de ces niveaux est d\u00e9compos\u00e9 en sous-construits cibl\u00e9s :<\/p>\n Ces items compl\u00e9mentaires permettent de capter l’\u00e9valuation holistique du stage (volume global per\u00e7u d’apprentissage, attribution d’une note scolaire standardis\u00e9e, intention de recommandation de la formation \u00e0 des pairs) et de recueillir des commentaires ouverts destin\u00e9s aux \u00e9quipes p\u00e9dagogiques. Bien que ne formant pas une \u00e9chelle psychom\u00e9trique \u00e0 proprement parler, ces indicateurs renforcent l’acceptabilit\u00e9 institutionnelle de l’\u00e9valuation.<\/p>\n La conception psychologique du FIRE repose sur une synth\u00e8se th\u00e9orique int\u00e9grant deux mod\u00e8les majeurs de la psychologie de l’\u00e9ducation et des organisations : le mod\u00e8le d’\u00e9valuation de la formation de Kirkpatrick (1979, 1998) et le mod\u00e8le multidimensionnel des conditions du succ\u00e8s de l’enseignement de Rindermann (2001), enrichis par la th\u00e9orie sociocognitive d’Albert Bandura (1977).<\/p>\n Le paradigme de Donald Kirkpatrick<\/a> postule que l’efficacit\u00e9 de toute action formative doit \u00eatre \u00e9valu\u00e9e selon quatre niveaux hi\u00e9rarchiques successifs :<\/p>\n Le questionnaire FIRE op\u00e9rationnalise directement les niveaux 1, 2 et 3 de Kirkpatrick. La recherche en psychologie cognitive d\u00e9montre qu’une r\u00e9action positive des apprenants constitue une condition n\u00e9cessaire (bien que non suffisante) \u00e0 l’engagement m\u00e9tacognitif et \u00e0 l’attention soutenue, favorisant ainsi l’ancrage mn\u00e9sique et l’acquisition effective des savoirs proc\u00e9duraux.<\/p>\n Dans l’\u00e9valuation de l’enseignement sup\u00e9rieur et technique, Heiner Rindermann a formalis\u00e9 le Multidimensionales Bedingungsmodell des Lehrerfolgs<\/em>. Selon cette approche syst\u00e9mique, la r\u00e9ussite d’un programme d’apprentissage r\u00e9sulte de l’interaction dynamique entre :<\/p>\n Le FIRE adapte cette mod\u00e9lisation au champ particulier des services de secours en isolant le comportement de l’instructeur, la structure du cours et la dynamique d’\u00e9quipe comme pr\u00e9dicteurs des r\u00e9sultats d’apprentissage per\u00e7us.<\/p>\n L’apprentissage du commandement d’urgence repose substantiellement sur la th\u00e9orie sociocognitive d’Albert Bandura<\/a> (1977). Lors des man\u0153uvres pratiques au centre d’entra\u00eenement, les stagiaires observent les simulations dirig\u00e9es par leurs pairs et b\u00e9n\u00e9ficient du d\u00e9briefing des formateurs. L’auto-efficacit\u00e9 per\u00e7ue (self-efficacy<\/em>), facteur d\u00e9terminant de la performance sous stress, se construit \u00e0 travers les r\u00e9ussites guid\u00e9es, le modelage vicariant et la r\u00e9gulation \u00e9motionnelle au sein du groupe de pairs.<\/p>\n La validit\u00e9 psychom\u00e9trique du FIRE a \u00e9t\u00e9 d\u00e9montr\u00e9e \u00e0 travers un protocole m\u00e9thodologique multimodal rigoureux articul\u00e9 en plusieurs phases successives au sein de l’IdF NRW :<\/p>\n La validit\u00e9 de contenu a \u00e9t\u00e9 \u00e9tablie par une d\u00e9marche inductive et d\u00e9ductive rigoureuse. Lors de l’\u00c9tude I, des entretiens semi-directifs approfondis conduits aupr\u00e8s de formateurs exp\u00e9riment\u00e9s (n<\/em> = 5) et d’apprenants (n<\/em> = 3), combin\u00e9s aux r\u00e9ponses d’un \u00e9chantillon de 56 officiers stagiaires (N<\/em> = 56), ont fait l’objet d’une analyse de contenu qualitative selon la m\u00e9thode de Mayring (2000). Pour garantir l’objectivit\u00e9 de l’analyse, deux \u00e9valuateurs ind\u00e9pendants ont cat\u00e9goris\u00e9 l’ensemble des \u00e9nonc\u00e9s. L’accord inter-juges a r\u00e9v\u00e9l\u00e9 un indice kappa de Cohen corrig\u00e9 du hasard tr\u00e8s \u00e9lev\u00e9, oscillant entre .85 et .96 (.85 ≤ κ ≤ .96), ce qui correspond \u00e0 une excellente fid\u00e9lit\u00e9 d’\u00e9valuation selon les crit\u00e8res acad\u00e9miques (Greve & Wentura, 1997).<\/p>\n Cette analyse a permis de g\u00e9n\u00e9rer un r\u00e9servoir initial de 116 items. Dans l’\u00c9tude II, ces items ont \u00e9t\u00e9 soumis \u00e0 un panel d’experts compos\u00e9 de 7 enseignants-instructeurs et de 26 participants en formation pour examiner leur pertinence clinique, leur lisibilit\u00e9 et leur repr\u00e9sentativit\u00e9 op\u00e9rationnelle. Les items trop sp\u00e9cifiques \u00e0 un mat\u00e9riel technique particulier ont \u00e9t\u00e9 \u00e9cart\u00e9s afin de ne conserver que les indicateurs universels de qualit\u00e9 p\u00e9dagogique.<\/p>\n La structure factorielle a \u00e9t\u00e9 valid\u00e9e au moyen d’analyses factorielles confirmatoires (AFC). Les indices d’ajustement globaux obtenus r\u00e9pondent pleinement aux standards psychom\u00e9triques recommand\u00e9s par Hu et Bentler (1999) :<\/p>\n La s\u00e9paration nette entre les quatre facteurs de processus et les deux facteurs de r\u00e9sultats confirme l’ind\u00e9pendance dimensionnelle des construits tout en d\u00e9montrant leur coh\u00e9rence interne globale.<\/p>\n La validit\u00e9 convergente se manifeste par des corr\u00e9lations positives statistiquement significatives entre les \u00e9chelles d’acquisition de comp\u00e9tences et de transfert et des crit\u00e8res externes tels que le sentiment d’auto-efficacit\u00e9 au commandement et l’\u00e9valuation globale du stage (Item 22, r<\/em> > .60, p<\/em> < .001). \u00c0 l’inverse, l’\u00e9chelle du Niveau d’exigence<\/strong> pr\u00e9sente des corr\u00e9lations n\u00e9gatives mod\u00e9r\u00e9es avec la satisfaction g\u00e9n\u00e9rale, confirmant que la perception d’une surcharge cognitive disproportionn\u00e9e alt\u00e8re le sentiment de ma\u00eetrise sans pour autant s’identifier \u00e0 une mauvaise appr\u00e9ciation du formateur, confirmant ainsi la validit\u00e9 discriminante.<\/p>\n Les propri\u00e9t\u00e9s de fid\u00e9lit\u00e9 m\u00e9trologique du questionnaire FIRE ont \u00e9t\u00e9 analys\u00e9es sur des cohortes d’officiers en formation de chef de groupe et de chef de colonne. L’ensemble des indicateurs de coh\u00e9rence interne se situe dans des intervalles psychom\u00e9triques tr\u00e8s satisfaisants :<\/p>\n Les analyses de robustesse indiquent que ces coefficients demeurent stables quel que soit le mode d’administration retenu (passation sur support papier ou passation en ligne via terminal num\u00e9rique).<\/p>\n L’architecture factorielle du FIRE a \u00e9t\u00e9 \u00e9tablie dans le cadre de l’\u00c9tude III par une d\u00e9marche rigoureuse combinant analyse factorielle exploratoire (AFE) puis analyse factorielle confirmatoire (AFC).<\/p>\n Avant d’engager la mod\u00e9lisation factorielle, une proc\u00e9dure stricte de filtrage statistique des 65 items g\u00e9n\u00e9riques a \u00e9t\u00e9 appliqu\u00e9e. Les crit\u00e8res d’exclusion comprenaient :<\/p>\n Le corpus final soumis \u00e0 l’AFE comportait 39 items de processus et 17 items de r\u00e9sultats. Des AFE distinctes ont \u00e9t\u00e9 calcul\u00e9es sur ces deux sous-ensembles :<\/p>\n L’analyse factorielle confirmatoire a valid\u00e9 le mod\u00e8le th\u00e9orique \u00e0 six facteurs corr\u00e9l\u00e9s (4 facteurs de processus + 2 facteurs de r\u00e9sultats) sur un \u00e9chantillon ind\u00e9pendant. Toutes les saturations factorielles standardis\u00e9es (λ) sont statistiquement significatives (p<\/em> < .001) et sup\u00e9rieures \u00e0 .60. Le mod\u00e8le ne pr\u00e9sente aucun probl\u00e8me d’identification ni de variance r\u00e9siduelle n\u00e9gative (cas de Heywood), confirmant l’\u00e9l\u00e9gance et la parcimonie de la structure finale \u00e0 21 items.<\/p>\n Le questionnaire FIRE est con\u00e7u pour une passation individuelle, papier-crayon ou num\u00e9rique, administr\u00e9e en fin de cycle de formation (id\u00e9alement apr\u00e8s la derni\u00e8re man\u0153uvre pratique, mais imp\u00e9rativement avant<\/em> la tenue des \u00e9preuves certificatives ou examens finaux, afin de pr\u00e9venir tout biais de notation r\u00e9trospectif).<\/p>\n Pour les items 1 \u00e0 22, le format de r\u00e9ponse utilise une \u00e9chelle ordinale d’accord en 7 points compl\u00e9t\u00e9e d’une case d’exclusion :<\/p>\n Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zus\u00e4tzliches Feld bietet die M\u00f6glichkeit anzugeben, dass das jeweilige Item nicht sinnvoll beantwortbar ist.<\/em><\/p>\n Le questionnaire FIRE a \u00e9t\u00e9 finalis\u00e9 et diffus\u00e9 dans sa version de r\u00e9f\u00e9rence par Carina Schulte et Meinald T. Thielsch en 2019<\/strong>. Issu d’un programme de recherche financ\u00e9 par des fonds institutionnels publics \u00e0 l’Institut des sapeurs-pompiers de Rh\u00e9nanie-du-Nord-Westphalie, l’instrument est mis \u00e0 disposition de la communaut\u00e9 acad\u00e9mique, des centres d’entra\u00eenement et des organisations d’intervention d’urgence sous conditions d’usage non commercial :<\/p>\n2. Mots-cl\u00e9s \/ Keywords<\/h2>\n
3. Auteurs \/ Authors<\/h2>\n
\n
4. Objectif \/ Purpose<\/h2>\n
\n
5. Construit psychologique \/ Construct<\/h2>\n
Niveau 1 : Les processus d’apprentissage (Learning Processes)<\/h3>\n
\n
Niveau 2 : Les r\u00e9sultats d’apprentissage (Learning Outcomes)<\/h3>\n
\n
Indicateurs globaux et retour qualitatif (Items 22 \u00e0 25)<\/h3>\n
6. Cadre th\u00e9orique \/ Theoretical Framework<\/h2>\n
Le mod\u00e8le multiniveau de Kirkpatrick<\/h3>\n
\n
Le mod\u00e8le multidimensionnel de Rindermann (2001)<\/h3>\n
\n
La th\u00e9orie sociocognitive et l’apprentissage vicariant<\/h3>\n
7. Validit\u00e9 \/ Validity<\/h2>\n
Validit\u00e9 de contenu (\u00c9tudes I et II)<\/h3>\n
Validit\u00e9 de construit et validit\u00e9 factorielle (\u00c9tude III)<\/h3>\n
\n
Validit\u00e9 convergente, discriminante et de crit\u00e8re<\/h3>\n
8. Fid\u00e9lit\u00e9 \/ Reliability<\/h2>\n
\n
9. Analyse factorielle \/ Factor Analysis<\/h2>\n
Phase exploratoire (AFE)<\/h3>\n
\n
\n
Phase confirmatoire (AFC)<\/h3>\n
10. Instrument de mesure \/ Instrument<\/h2>\n
Caract\u00e9ristiques structurelles<\/h3>\n
\n
\u00c9chelle de cotation et modalit\u00e9 de r\u00e9ponse authentique<\/h3>\n
\n
Algorithme de calcul des scores<\/h3>\n
\n
\n
11. Permissions, Tarifs et Ann\u00e9e du test \/ Permissions & Fee and Test Year<\/h2>\n
\n
12. R\u00e9f\u00e9rences \/ References<\/h2>\n
\n
13. Questions et items du questionnaire (Scale Items)<\/h2>\n