naniar<\/em>) produit une restitution matricielle compl\u00e8te du jeu de donn\u00e9es sous forme de carte thermique bidimensionnelle haute r\u00e9solution. Chaque cellule du jeu de donn\u00e9es y est repr\u00e9sent\u00e9e selon qu’elle contient une valeur valide ou manquante, avec un r\u00e9capitulatif synth\u00e9tique des pourcentages par variable et pour la table enti\u00e8re. Cette cartographie globale permet de d\u00e9tecter en un coup d’\u0153il les grappes d’incompl\u00e9tude, les blocs temporels de d\u00e9faillance d’instrumentation ou l’apparition de profils p\u00e9riodiques d’omission.<\/p>\nAu-del\u00e0 de la repr\u00e9sentation matricielle unitaire, le package VIM<\/strong> (Visualization and Imputation of Missing Values<\/em>) excelle dans la production de diagrammes combinatoires d’incompl\u00e9tude via sa fonction embl\u00e9matique aggr()<\/code>. Cet outil synth\u00e9tise simultan\u00e9ment deux dimensions fondamentales : d’une part, un histogramme vertical affichant le taux de valeurs manquantes pour chaque attribut d\u00e9limit\u00e9 ; d’autre part, un diagramme matriciel combinatoire r\u00e9pertoriant tous les patrons d’absence conjoints observables dans l’\u00e9chantillon. Cette vue combinatoire permet de d\u00e9celer si certaines variables \u00e9chouent syst\u00e9matiquement de mani\u00e8re simultan\u00e9e. Si, par exemple, la variable \u00ab revenu du conjoint \u00bb et \u00ab dipl\u00f4me du conjoint \u00bb sont toujours manquantes de concert, le praticien identifie imm\u00e9diatement un patron d\u00e9terministe conditionn\u00e9 par la situation matrimoniale du sujet, plut\u00f4t qu’une omission al\u00e9atoire ind\u00e9pendante.<\/p>\n2.3 Tests formels de caract\u00e9risation du m\u00e9canisme d’omission<\/h3>\n
Si la visualisation graphique autorise des intuitions f\u00e9condes, la rigueur m\u00e9trologique exige de soumettre les distributions empiriques \u00e0 des tests d’hypoth\u00e8se formels pour tenter de discriminer le m\u00e9canisme g\u00e9n\u00e9rateur de donn\u00e9es manquantes. Dans cette perspective, le test de Little constitue le standard m\u00e9thodologique dominant pour mettre \u00e0 l’\u00e9preuve l’hypoth\u00e8se nulle selon laquelle les donn\u00e9es sont distribu\u00e9es compl\u00e8tement au hasard (MCAR).<\/p>\n
D\u00e9velopp\u00e9 par Roderick Little en 1988, ce test d’homog\u00e9n\u00e9it\u00e9 globale \u00e9value si les moyennes observ\u00e9es pour diff\u00e9rents sous-groupes d\u00e9finis par leurs patrons de donn\u00e9es manquantes s’\u00e9cartent de fa\u00e7on statistiquement significative des moyennes globales estim\u00e9es par l’algorithme Esp\u00e9rance-Maximisation (EM). En R, ce test est accessible \u00e0 travers la fonction mcar_test()<\/code> du package naniar<\/em> (ou via le package BaylorEdPsych<\/em>). La statistique de test d\u00e9riv\u00e9e suit asymptotiquement une loi du Chi-deux dont les degr\u00e9s de libert\u00e9 d\u00e9pendent du nombre de patrons d’incompl\u00e9tude et de param\u00e8tres estim\u00e9s. L’obtention d’une p-valeur sup\u00e9rieure au seuil canonique de 0,05 conduit \u00e0 ne pas rejeter l’hypoth\u00e8se MCAR, conf\u00e9rant ainsi une relative s\u00e9curit\u00e9 statistique \u00e0 l’usage de m\u00e9thodes d’imputation simplifi\u00e9es.<\/p>\nToutefois, une vigilance \u00e9pist\u00e9mologique aigu\u00eb s’impose quant \u00e0 l’interpr\u00e9tation des r\u00e9sultats de ce test formel. D’une part, le test de Little repose sur une hypoth\u00e8se sous-jacente de normalit\u00e9 multivari\u00e9e des distributions continues ; en pr\u00e9sence d’asym\u00e9tries s\u00e9v\u00e8res ou de variables ordinales, sa sensibilit\u00e9 peut \u00eatre fortement biais\u00e9e. D’autre part, comme tout test fond\u00e9 sur la distribution du Chi-deux, il est hautement sensible \u00e0 la puissance de l’\u00e9chantillon : sur de tr\u00e8s grandes cohortes, des d\u00e9viations minimes et d\u00e9nu\u00e9es de toute pertinence pratique conduiront \u00e0 rejeter ind\u00fbment l’hypoth\u00e8se MCAR. Enfin et surtout, le test de Little est intrins\u00e8quement incapable de faire la distinction entre un m\u00e9canisme MAR et un m\u00e9canisme MNAR. Aucun test statistique d’hypoth\u00e8se ne peut math\u00e9matiquement valider qu’un jeu de donn\u00e9es rel\u00e8ve du statut MAR plut\u00f4t que MNAR, car cette distinction repose sur l’ind\u00e9pendance conditionnelle vis-\u00e0-vis d’informations non observ\u00e9es par d\u00e9finition. Le diagnostic ultime doit donc demeurer une synth\u00e8se lucide entre r\u00e9sultats empiriques, analyses bivari\u00e9es comparant r\u00e9pondants et non-r\u00e9pondants (via des tests de Student ou du Chi-deux sur des variables indicatrices de pr\u00e9sence), et connaissances expertes du domaine \u00e9tudi\u00e9.<\/p>\n
3. Imputation univari\u00e9e simple : Remplacement par la moyenne arithm\u00e9tique<\/h2>\n3.1 Syntaxe fondamentale pour l’imputation d’une variable isol\u00e9e<\/h3>\n
L’imputation univari\u00e9e par la moyenne arithm\u00e9tique constitue historiquement la premi\u00e8re r\u00e9ponse heuristique d\u00e9velopp\u00e9e face au probl\u00e8me des donn\u00e9es manquantes. Son impl\u00e9mentation en langage R de base se caract\u00e9rise par une \u00e9conomie conceptuelle et syntaxique remarquable, exploitant l’indexation logique conditionnelle par crochets droits. Pour une variable num\u00e9rique continue donn\u00e9e, l’objectif consiste \u00e0 cibler exclusivement les indices de position h\u00e9bergeant une valeur manquante et \u00e0 leur r\u00e9assigner la constante scalaire repr\u00e9sentant la moyenne empirique calcul\u00e9e sur les seules observations valides.<\/p>\n
Sur le plan programmatique, cette op\u00e9ration s’ex\u00e9cute \u00e0 travers la syntaxe canonique suivante :<\/p>\n
df$score[is.na(df$<\/span>score)] <- mean(df$score, na.rm = TRUE)<\/code><\/p>\nDans cette s\u00e9quence expressive, la clause is.na(df$score)<\/code> g\u00e9n\u00e8re un vecteur bool\u00e9en qui active l’assignation s\u00e9lective uniquement pour les cellules d\u00e9faillantes. Simultan\u00e9ment, l’\u00e9valuation de mean(df$score, na.rm = TRUE)<\/code> d\u00e9rive la valeur d’imputation en neutralisant les NA<\/code> pr\u00e9existants, \u00e9vitant la propagation de l’ind\u00e9termination. Une fois la r\u00e9assignation vectorielle op\u00e9r\u00e9e, la validation imm\u00e9diate s’effectue en s’assurant que anyNA(df$score)<\/code> renvoie d\u00e9sormais FALSE<\/code> et que le nombre d’enregistrements correspond exactement \u00e0 la dimension initiale du vecteur.<\/p>\n3.2 Impacts psychom\u00e9triques et distributionnels de la moyenne<\/h3>\n
Bien que cette proc\u00e9dure jouisse d’une popularit\u00e9 persistante li\u00e9e \u00e0 son imm\u00e9diatet\u00e9 calculatoire, ses r\u00e9percussions sur les propri\u00e9t\u00e9s m\u00e9trologiques et inf\u00e9rentielles de l’\u00e9chantillon sont universellement reconnues comme d\u00e9l\u00e9t\u00e8res par les statisticiens m\u00e9thodologues. En substituant une valeur invariante et d\u00e9terministe \u00e0 l’ensemble des \u00e9l\u00e9ments manquants, l’analyste injecte artificiellement une pointe de Dirac au centre exact de la distribution empirique.<\/p>\n
Le premier d\u00e9sastre distributionnel concerne l’atrophie syst\u00e9matique de la variance \u00e9chantillonnale. En concentrant arbitrairement une proportion substantielle des effectifs sur la moyenne math\u00e9matique, la somme des carr\u00e9s des \u00e9carts \u00e0 la moyenne n’enregistre aucune contribution issue des valeurs imput\u00e9es, alors m\u00eame que le d\u00e9nominateur de la formule de la variance (la taille de l’\u00e9chantillon n – 1<\/em>) augmente pour int\u00e9grer ces cas r\u00e9put\u00e9s compl\u00e9t\u00e9s. La variance observ\u00e9e se trouve donc m\u00e9caniquement contract\u00e9e vers le bas. Par voie de cons\u00e9quence, les erreurs types des estimateurs sont s\u00e9v\u00e8rement sous-estim\u00e9es, induisant des intervalles de confiance artificiellement resserr\u00e9s et gonflant drastiquement le risque d’erreur de type I (rejet intempestif de l’hypoth\u00e8se nulle l\u00e0 o\u00f9 elle est pourtant v\u00e9rifi\u00e9e).<\/p>\nLe second d\u00e9sastre m\u00e9trologique touche \u00e0 la d\u00e9gradation des relations bivari\u00e9es et multivari\u00e9es. L’imputation univari\u00e9e par la moyenne postule implicitement que la valeur manquante d’un individu ne d\u00e9pend d’aucune de ses autres caract\u00e9ristiques document\u00e9es. De ce fait, elle dilue les relations de corr\u00e9lation de Pearson entre la variable imput\u00e9e et l’ensemble des covariables du jeu de donn\u00e9es. Ce ph\u00e9nom\u00e8ne d’att\u00e9nuation tire syst\u00e9matiquement les coefficients de r\u00e9gression vers l’origine, d\u00e9gradant la fid\u00e9lit\u00e9 pr\u00e9dictive des mod\u00e8les et biaisant les param\u00e8tres de trajectoire dans les mod\u00e9lisations en \u00e9quations structurelles.<\/p>\n
3.3 D\u00e9monstration pas \u00e0 pas sur jeu de donn\u00e9es simul\u00e9<\/h3>\n
Afin de quantifier empiriquement l’ampleur de ces distorsions, consid\u00e9rons la simulation rigoureuse d’un \u00e9chantillon gaussien standardis\u00e9 sous R, dans lequel nous introduisons d\u00e9lib\u00e9r\u00e9ment une perte d’information sous le m\u00e9canisme MCAR. Consid\u00e9rons un vecteur initial de mille observations distribu\u00e9es selon une loi normale centr\u00e9e r\u00e9duite, avec une moyenne th\u00e9orique de z\u00e9ro et un \u00e9cart-type de un. Introduisons ensuite un taux d’omission contr\u00f4l\u00e9 de 25 % en s\u00e9lectionnant al\u00e9atoirement deux cent cinquante positions matricielles pour leur assigner la valeur NA<\/code>.<\/p>\nLors de l’inspection descriptive initiale de ce jeu incomplet, le calcul de l’\u00e9cart-type sur les sept cent cinquante observations valides restantes (via sd(valeurs, na.rm = TRUE)<\/code>) fluctue \u00e9troitement autour de la valeur nominale de 1,00, confirmant l’absence de biais distributionnel sous le m\u00e9canisme MCAR. En appliquant ensuite l’imputation par la moyenne globale \u00e0 l’aide de la syntaxe vectorielle standardis\u00e9e, l’\u00e9cart-type recalcul\u00e9 sur les mille unit\u00e9s d\u00e9sormais compl\u00e9t\u00e9es s’effondre de mani\u00e8re spectaculaire pour s’\u00e9tablir aux alentours de 0,86. Cette perte de quatorze pour cent de dispersion statistique illustre de mani\u00e8re \u00e9clatante la falsification structurelle induite par le proc\u00e9d\u00e9. De surcro\u00eet, le kurtosis (coefficient d’aplatissement de Pearson) enregistre une \u00e9l\u00e9vation anormale, traduisant une concentration leptokurtique excessive autour de la valeur centrale qui alt\u00e8re la normalit\u00e9 univari\u00e9e n\u00e9cessaire \u00e0 l’application des tests param\u00e9triques subs\u00e9quents.<\/p>\n4. Imputation par la m\u00e9diane pour distributions asym\u00e9triques<\/h2>\n4.1 Justification th\u00e9orique face aux valeurs extr\u00eames<\/h3>\n
Lorsque les distributions empiriques s’\u00e9cartent du mod\u00e8le th\u00e9orique de la loi normale pour afficher des asym\u00e9tries prononc\u00e9es (skewness<\/em>) ou des queues de distribution \u00e9paisses peupl\u00e9es de valeurs extr\u00eames ou aberrantes, le recours \u00e0 la moyenne arithm\u00e9tique devient scientifiquement ind\u00e9fendable. En tant que moment statistique d’ordre un, la moyenne poss\u00e8de un point de rupture \u00e9gal \u00e0 z\u00e9ro : une unique valeur d\u00e9mesur\u00e9ment \u00e9lev\u00e9e ou basse suffit \u00e0 d\u00e9placer arbitrairement la valeur d’imputation dans une zone totalement d\u00e9connect\u00e9e de la masse de probabilit\u00e9 principale de la variable.<\/p>\nDans ce contexte, la m\u00e9diane, d\u00e9finie comme la statistique d’ordre divisant l’\u00e9chantillon ordonn\u00e9 en deux effectifs rigoureusement \u00e9gaux, offre une robustesse m\u00e9trologique sup\u00e9rieure gr\u00e2ce \u00e0 un point de rupture atteignant 50 %. Elle capture fid\u00e8lement la tendance centrale typique sans se laisser influencer par les valeurs atypiques log\u00e9es dans les queues distributionnelles. Cette propri\u00e9t\u00e9 prend une r\u00e9sonance critique lors du traitement de variables \u00e9conomiques (telles que le patrimoine net ou les d\u00e9penses de sant\u00e9 des m\u00e9nages) ou psychom\u00e9triques (\u00e9chelles ordinales de Likert, temps de latence cognitive). Pour ces m\u00e9triques, imputer par la m\u00e9diane garantit que la valeur de substitution attribu\u00e9e aux cas manquants refl\u00e8te une modalit\u00e9 plausible et repr\u00e9sentative de la r\u00e9alit\u00e9 comportementale observ\u00e9e.<\/p>\n
4.2 Impl\u00e9mentation pratique de l’imputation m\u00e9diane en R base<\/h3>\n
L’op\u00e9rationnalisation de l’imputation m\u00e9diane en R de base s’aligne fid\u00e8lement sur l’architecture conditionnelle de l’imputation par la moyenne, tout en substituant l’appel de fonction \u00e0 median()<\/code>. La directive s’ex\u00e9cute ainsi :<\/p>\ndf$reve\\nu[is.na(df$<\/span>revenu)] <- median(df$revenu, na.rm = TRUE)<\/code><\/p>\nUne pr\u00e9caution technique essentielle concerne le traitement des variables quantitatives discr\u00e8tes ou des scores d’\u00e9chelles de Likert cod\u00e9s sous forme d’entiers. Lorsque l’\u00e9chantillon observ\u00e9 comprend un nombre pair d’\u00e9l\u00e9ments valides, la fonction median()<\/code> de R calcule par d\u00e9faut la demi-somme des deux valeurs centrales, ce qui peut r\u00e9sulter en une valeur d\u00e9cimale interm\u00e9diaire (par exemple 3,5 sur une \u00e9chelle gradu\u00e9e de 1 \u00e0 5). Si l’analyste souhaite imp\u00e9rativement pr\u00e9server l’int\u00e9grit\u00e9 discr\u00e8te de l’attribut, il doit encapsuler l’expression dans une fonction d’arrondi appropri\u00e9e, telle que round(median(df$score, na.rm = TRUE))<\/code>, garantissant que la valeur imput\u00e9e appartienne formellement \u00e0 l’espace d’\u00e9tat observable de l’\u00e9chelle d’\u00e9valuation.<\/p>\n4.3 \u00c9tude comparative : Moyenne vs M\u00e9diane<\/h3>\n
L’arbitrage formel entre l’imputation par la moyenne et l’imputation par la m\u00e9diane repose sur l’\u00e9valuation conjointe de deux crit\u00e8res d’erreur : l’\u00e9cart quadratique moyen (RMSE) et l’\u00e9cart absolu moyen (MAE). Sur le plan th\u00e9orique de l’optimisation math\u00e9matique, la moyenne minimise la somme des carr\u00e9s des erreurs par rapport aux observations r\u00e9elles, tandis que la m\u00e9diane minimise la somme des valeurs absolues des d\u00e9viations. Par cons\u00e9quent, d\u00e8s lors que la fonction de perte privil\u00e9gi\u00e9e par le chercheur vise la r\u00e9silience face aux erreurs substantielles isol\u00e9es, la m\u00e9diane surpasse structurellement la moyenne.<\/p>\n
Sur le plan distributionnel, une analyse compar\u00e9e men\u00e9e sur des donn\u00e9es log-normales (caract\u00e9ristiques des salaires ou des temps de survie) d\u00e9montre que l’imputation par la moyenne distord consid\u00e9rablement le coefficient d’asym\u00e9trie de l’\u00e9chantillon imput\u00e9, car elle place la valeur d’imputation bien au-del\u00e0 de la zone de densit\u00e9 maximale, dans le flanc descendant de la courbe. \u00c0 l’inverse, l’imputation par la m\u00e9diane maintient le pic de densit\u00e9 \u00e0 son emplacement naturel. Il est d\u00e8s lors formellement recommand\u00e9, pour toute analyse univari\u00e9e d\u00e9terministe, d’\u00e9valuer pr\u00e9alablement le coefficient d’asym\u00e9trie de Fisher-Pearson : si la valeur absolue du coefficient exc\u00e8de 1,0, l’imputation m\u00e9diane doit pr\u00e9valoir sur l’imputation par la moyenne afin de limiter les distorsions de repr\u00e9sentativit\u00e9.<\/p>\n
5. Traitement des variables cat\u00e9gorielles : Imputation par le mode<\/h2>\n5.1 Algorithmique du calcul du mode en langage R<\/h3>\n
Lorsque le processus de nettoyage se confronte \u00e0 des variables qualitatives, qu’elles soient nominales (nationalit\u00e9, statut d’emploi) ou ordinales non assimilables \u00e0 des m\u00e9triques continues, les concepts de moyenne et de m\u00e9diane perdent toute signification arithm\u00e9tique. Le param\u00e8tre de tendance centrale ad\u00e9quat devient alors le mode statistique, d\u00e9fini comme la modalit\u00e9 ou le niveau de facteur affichant la fr\u00e9quence empirique d’apparition la plus \u00e9lev\u00e9e dans l’\u00e9chantillon observ\u00e9.<\/p>\n
Curieusement, l’interpr\u00e9teur de base du langage R ne propose pas de fonction int\u00e9gr\u00e9e nomm\u00e9e mode()<\/code> d\u00e9di\u00e9e \u00e0 l’extraction de la fr\u00e9quence modale (la commande native mode(x)<\/code> servant exclusivement \u00e0 interroger le mode de stockage d’un objet en m\u00e9moire interne, tel que numeric<\/em>, character<\/em> ou logical<\/em>). L’analyste doit par cons\u00e9quent impl\u00e9menter son propre algorithme fonctionnel. La construction canonique repose sur l’interaction des fonctions table()<\/code> et which.max()<\/code> :<\/p>\ncalculer_mode <- function(v) { table_v <- table(v); names(table_v)[which.max(table_v)] }<\/code><\/p>\nCette syntaxe compile la distribution de fr\u00e9quences marginales en excluant nativement les NA<\/code>, isole la position de l’effectif maximal gr\u00e2ce \u00e0 which.max()<\/code>, puis extrait le nom textuel associ\u00e9 \u00e0 cet indice. Dans les contextes o\u00f9 l’on g\u00e8re des distributions bimodales ou multimodales parfaites, un algorithme plus sophistiqu\u00e9 est requis afin d’\u00e9viter de privil\u00e9gier syst\u00e9matiquement la premi\u00e8re cat\u00e9gorie rencontr\u00e9e dans l’ordre d’\u00e9num\u00e9ration, par exemple en proc\u00e9dant \u00e0 un tirage au sort al\u00e9atoire \u00e9quiprobable parmi l’ensemble des modalit\u00e9s partageant le rang maximal.<\/p>\n5.2 Application sur facteurs et vecteurs nominaux<\/h3>\n
L’application concr\u00e8te de l’imputation par le mode sur un vecteur de type factor<\/code> requiert une manipulation soigneuse de la structure de ses niveaux d’attribut (levels<\/code>). En environnement R, toute tentative d’assigner une cha\u00eene textuelle absente de la nomenclature pr\u00e9\u00e9tablie des niveaux du facteur g\u00e9n\u00e8re imm\u00e9diatement une valeur manquante suppl\u00e9mentaire assortie d’un avertissement explicite. Heureusement, puisque le mode est par essence extrait des valeurs observ\u00e9es, ce risque est structurellement neutralis\u00e9 d\u00e8s lors que le vecteur cible est correctement format\u00e9.<\/p>\nLa mise en \u0153uvre pratique s’articule comme suit sur un facteur :<\/p>\n
valeur_modale <- names(which.max(table(df$groupe)))<\/code>
\ndf$groupe[is.na(df$<\/span>groupe)] <- valeur_modale<\/code><\/p>\nBien que cette d\u00e9marche restaure une matrice rectangulaire sans lacunes, ses cons\u00e9quences m\u00e9thodologiques sont \u00e9minemment probl\u00e9matiques. En assignant m\u00e9caniquement la cat\u00e9gorie modale \u00e0 tous les profils de non-r\u00e9pondants, on proc\u00e8de \u00e0 un surgonflement artificiel de la pr\u00e9valence marginale de cette classe majoritaire. L’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 qualitative de l’\u00e9chantillon se trouve artificiellement r\u00e9duite, et les tables de contingence bivari\u00e9es (croisant cette variable imput\u00e9e avec d’autres facteurs de stratification) subissent une alt\u00e9ration drastique des statistiques du test du Chi-deux et des rapports de cotes (odds ratios<\/em>), faussant la d\u00e9tection des interactions sociologiques ou biologiques r\u00e9elles.<\/p>\n5.3 Alternatives probabilistes pour les attributs discrets<\/h3>\n
Afin d’\u00e9chapper \u00e0 la distorsion unilat\u00e9rale impos\u00e9e par l’imputation d\u00e9terministe du mode, l’analyste rigoureux peut mobiliser une imputation probabiliste univari\u00e9e fond\u00e9e sur le tirage al\u00e9atoire proportionnel aux fr\u00e9quences marginales observ\u00e9es. Cette technique permet de respecter la distribution multinomiale de la variable d’origine tout en \u00e9vitant d’hypertrophier la classe dominante.<\/p>\n
En R, cette strat\u00e9gie probabiliste s’orchestre avec une grande \u00e9l\u00e9gance \u00e0 l’aide de la fonction g\u00e9n\u00e9rique sample()<\/code> :<\/p>\nindices_manquants <- which(is.na(df$categorie))<\/code>
\nmodalites_valides <- na.omit(df$categorie)<\/code>
\ndf$categorie[indices_manquants] <- sample(modalites_valides, size = length(indices_manquants), replace = TRUE)<\/code><\/p>\nDans ce protocole, le vecteur de substitution est constitu\u00e9 par un r\u00e9\u00e9chantillonnage avec remise tir\u00e9 au sein de la population des observations int\u00e8gres. Par construction math\u00e9matique, chaque niveau de facteur poss\u00e8de une probabilit\u00e9 d’assignation strictement identique \u00e0 sa proportion empirique au sein de l’\u00e9chantillon valide. Cette m\u00e9thode pr\u00e9serve rigoureusement l’entropie informationnelle, maintient la conformit\u00e9 des pourcentages globaux et pr\u00e9vient l’effondrement de la variabilit\u00e9 cat\u00e9gorielle. Sa limite r\u00e9side toutefois, \u00e0 l’instar des imputations univari\u00e9es continues, dans son incapacit\u00e9 \u00e0 capter les liens d’association que cette variable entretient avec les autres descripteurs individuels.<\/p>\n
6. Automatisation it\u00e9rative sur colonnes multiples en R base<\/h2>\n6.1 Impl\u00e9mentation par boucles it\u00e9ratives for<\/h3>\n
D\u00e8s lors que la structure tabulaire analys\u00e9e comprend plusieurs dizaines ou centaines de descripteurs alt\u00e9r\u00e9s par des taux variables de valeurs manquantes, la r\u00e9p\u00e9tition manuelle d’instructions univari\u00e9es devient intenable sur le plan de l’ing\u00e9nierie logicielle et expose le projet \u00e0 de nombreuses erreurs humaines. L’automatisation du balayage des colonnes repr\u00e9sente donc une comp\u00e9tence op\u00e9rationnelle d\u00e9terminante pour le data scientist travaillant dans l’environnement R de base.<\/p>\n
La premi\u00e8re voie d’automatisation repose sur la conception d’une boucle imp\u00e9rative for<\/code> parcourant l’ensemble de l’espace indiciaire des colonnes via seq_len(ncol(df))<\/code>. Un enjeu capital r\u00e9side dans le filtrage d\u00e9fensif pr\u00e9alable du type de chaque colonne : ex\u00e9cuter aveugl\u00e9ment un calcul de moyenne arithm\u00e9tique sur un vecteur de dates ou de cha\u00eenes textuelles d\u00e9clencherait l’arr\u00eat imm\u00e9diat du script avec \u00e9mission d’une erreur d’incompatibilit\u00e9 de type. La boucle doit ainsi int\u00e9grer des gardes d’ex\u00e9cution v\u00e9rifiant simultan\u00e9ment la nature de la variable et la pr\u00e9sence effective de donn\u00e9es manquantes :<\/p>\nfor (j in seq_along(df)) {
\n if (is.numeric(df[[j]]) && anyNA(df[[j]])) {
\n valeur_subst <- mean(df[[j]], na.rm = TRUE)
\n df[[j]][is.na(df[[j]])] <- valeur_subst
\n }
\n}<\/code><\/p>\nSur le plan de l’efficience algorithmique, cette approche it\u00e9rative en R de base pr\u00e9sente une complexit\u00e9 temporelle lin\u00e9aire par rapport au nombre de colonnes et se montre parfaitement performante sur des jeux de donn\u00e9es de taille moyenne (jusqu’\u00e0 plusieurs centaines de milliers d’enregistrements), \u00e0 condition d’utiliser la double indexation par crochets df[[j]]<\/code> qui \u00e9vite les copies structurelles superflues de l’enveloppe du data frame.<\/p>\n6.2 Approches vectoris\u00e9es avec la famille apply<\/h3>\n
Bien que les boucles for<\/code> soient devenues tr\u00e8s efficientes dans les versions r\u00e9centes de R gr\u00e2ce au compilateur d’octocode (byte-code compiler<\/em>), l’idiome fondamental du langage repose sur le paradigme fonctionnel et la vectorisation de haut niveau incarn\u00e9e par la famille des fonctions apply<\/code>. Pour la transformation en masse d’un tableau de donn\u00e9es, lapply()<\/code> constitue l’outil de pr\u00e9dilection, car un data frame est formellement impl\u00e9ment\u00e9 en R sous forme d’une liste cha\u00een\u00e9e de vecteurs de longueurs \u00e9gales.<\/p>\nL’op\u00e9rationnalisation fonctionnelle s’ex\u00e9cute en projetant une fonction anonyme de mutation sur chaque \u00e9l\u00e9ment de la liste :<\/p>\n
df_impute <- as.data.frame(lapply(df, function(col) {
\n if (is.numeric(col)) {
\n col[is.na(col)] <- median(col, na.rm = TRUE)
\n return(col)
\n } else if (is.factor(col) || is.character(col)) {
\n mode_val <- names(which.max(table(col)))
\n col[is.na(col)] <- mode_val
\n return(col)
\n }
\n return(col)
\n}))<\/code><\/p>\nCette approche fonctionnelle offre l’avantage insigne d’isoler les effets de bord au sein de la closure d’\u00e9valuation et de retourner un objet enti\u00e8rement r\u00e9assembl\u00e9 via as.data.frame()<\/code>. Elle permet en outre de combiner au sein d’une unique passe d’ex\u00e9cution des r\u00e8gles d’imputation diff\u00e9renci\u00e9es selon la typologie sous-jacente des vecteurs atomiques rencontr\u00e9s, conf\u00e9rant au script une concision et une lisibilit\u00e9 optimales conformes aux standards de l’ing\u00e9nierie statistique.<\/p>\n6.3 D\u00e9veloppement d’une routine modulaire et r\u00e9utilisable<\/h3>\n
Pour assurer la p\u00e9rennit\u00e9 et la reproductibilit\u00e9 des analyses dans des environnements de production ou de recherche collaborative, la meilleure pratique consiste \u00e0 encapsuler la logique de nettoyage dans une fonction personnalis\u00e9e, param\u00e9trable et hautement d\u00e9fensive. Cette routine doit exposer des arguments permettant \u00e0 l’utilisateur de s\u00e9lectionner la statistique de centrage de son choix (moyenne ou m\u00e9diane), de contr\u00f4ler le comportement face aux valeurs aberrantes et d’\u00e9mettre des rapports d’ex\u00e9cution d\u00e9taill\u00e9s.<\/p>\n
Une fonction industrielle rigoureuse doit int\u00e9grer des m\u00e9canismes d’interception des cas d\u00e9g\u00e9n\u00e9r\u00e9s, notamment :<\/p>\n
\n- L’identification des colonnes totalement compos\u00e9es de valeurs manquantes (
all(is.na(x))<\/code>), pour lesquelles aucun calcul de tendance centrale n’est math\u00e9matiquement r\u00e9alisable. La fonction doit alors refuser d’imputer ces vecteurs et avertir l’analyste par un message explicite (via warning()<\/code>).<\/li>\n- La pr\u00e9servation scrupuleuse des attributs m\u00e9ta-analytiques, des noms de colonnes et des \u00e9tiquettes de facteurs.<\/li>\n
- L’option de retourner un journal d’audit r\u00e9pertoriant la liste pr\u00e9cise des variables modifi\u00e9es, la proportion d’\u00e9l\u00e9ments alt\u00e9r\u00e9s par variable et la valeur scalaire exacte employ\u00e9e pour la substitution.<\/li>\n<\/ul>\n
Ce niveau de modularit\u00e9 logicielle constitue le socle technique indispensable pour transformer des scripts empiriques h\u00e9t\u00e9roclites en composants d’ing\u00e9nierie logicielle p\u00e9rennes et auditables.<\/p>\n
7. Approches modernes d’imputation avec l’\u00e9cosyst\u00e8me Tidyverse<\/h2>\n7.1 Remplacement vectoris\u00e9 avec mutate() et across() de dplyr<\/h3>\n
L’\u00e9mergence de l’\u00e9cosyst\u00e8me Tidyverse<\/a>, structur\u00e9 autour de principes de manipulation fonctionnelle fluide et de syntaxe d\u00e9clarative unifi\u00e9e, a profond\u00e9ment transform\u00e9 les pratiques d’ing\u00e9nierie des donn\u00e9es sous R. Au sein du package fondamental dplyr<\/strong>, la combinaison de la directive de mutation mutate()<\/code> avec le s\u00e9lecteur multifonctionnel across()<\/code> offre une \u00e9l\u00e9gance et une expressivit\u00e9 remarquables pour l’imputation sur des ensembles d’attributs v\u00e9rifiant certaines propri\u00e9t\u00e9s pr\u00e9d\u00e9finies.<\/p>\nEn mobilisant l’op\u00e9rateur de composition moderne (pipe<\/em> natif |><\/code> introduit depuis la version 4.1 de R), le traitement simultan\u00e9 de toutes les colonnes num\u00e9riques s’orchestre avec une grande clart\u00e9 conceptuelle :<\/p>\nlibrary(dplyr)
\nlibrary(tidyr)<\/p>\ndf_impute <- df |>
\n mutate(across(where(is.numeric), ~ replace_na(.x, median(.x, na.rm = TRUE))))<\/code><\/p>\n
Dans ce paradigme de programmation fonctionnelle, le s\u00e9lecteur contextuel where(is.numeric)<\/code> inspecte dynamiquement le sch\u00e9ma de la table pour n’extraire que les colonnes quantitatives. La fonction lambda ~ replace_na(.x, ...)<\/code> issue de tidyr<\/em> se charge ensuite de substituer l’\u00e9valuation de la m\u00e9diane aux seules lacunes identifi\u00e9es par .x<\/code>. En compl\u00e9ment, la fonction polyvalente coalesce()<\/code> peut \u00eatre exploit\u00e9e pour cha\u00eener des remplacements prioritaires : coalesce(valeur_principale, valeur_secondaire, valeur_par_defaut)<\/code> \u00e9value s\u00e9quentiellement ses arguments et retient la premi\u00e8re valeur non manquante disponible pour chaque observation, facilitant la fusion hi\u00e9rarchique de colonnes de mesures concordantes.<\/p>\n7.2 Imputation conditionnelle stratifi\u00e9e par groupe<\/h3>\n
L’un des apports majeurs de la grammaire de donn\u00e9es de dplyr<\/em> r\u00e9side dans la fluidit\u00e9 de la manipulation conditionnelle stratifi\u00e9e gr\u00e2ce \u00e0 l’adjonction de l’op\u00e9rateur group_by()<\/code>. Dans la quasi-totalit\u00e9 des \u00e9tudes empiriques, l’hypoth\u00e8se selon laquelle les individus d’une population partagent une valeur centrale identique ind\u00e9pendamment de leurs covariables majeures est non seulement r\u00e9ductionniste, mais introduit un biais statistique direct lorsque la distribution des param\u00e8tres diff\u00e8re significativement entre sous-populations.<\/p>\n\u00c0 titre d’illustration m\u00e9thodologique, consid\u00e9rons l’imputation de la masse salariale ou du taux de cholest\u00e9rol s\u00e9rique au sein d’une cohorte clinique h\u00e9t\u00e9rog\u00e8ne comprenant divers groupes d’\u00e2ge et de sexe. Imputer un homme de 65 ans par la moyenne g\u00e9n\u00e9rale de l’\u00e9chantillon global (comprenant des femmes de 20 ans) revient \u00e0 injecter une information structurellement biais\u00e9e. Avec dplyr<\/em>, l’imputation contextuelle intra-groupe s’ex\u00e9cute de fa\u00e7on native sans n\u00e9cessiter de boucles de d\u00e9coupage complexes :<\/p>\ndf_stratifie <- df |>
\n group_by(sexe, tranche_age) |>
\n mutate(across(where(is.numeric), ~ replace_na(.x, mean(.x, na.rm = TRUE)))) |>
\n ungroup()<\/code><\/p>\nSous cette construction, le calcul de la moyenne est partitionn\u00e9 de mani\u00e8re totalement ind\u00e9pendante pour chaque combinaison factorielle identifi\u00e9e. L’imputation s’ajuste \u00e0 l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 contextuelle, pr\u00e9servant ainsi les diff\u00e9rentiels inter-groupes essentiels \u00e0 la pertinence des mod\u00e9lisations ult\u00e9rieures. L’appel terminal \u00e0 ungroup()<\/code> dissout l’index de regroupement pour restituer un tibble neutre pr\u00eat pour les phases d’inf\u00e9rence.<\/p>\n7.3 Propagation longitudinale des donn\u00e9es avec tidyr<\/h3>\n
Les recherches longitudinales, les protocoles \u00e0 mesures r\u00e9p\u00e9t\u00e9es et les s\u00e9ries temporelles financi\u00e8res introduisent une dynamique s\u00e9quentielle d’incompl\u00e9tude que les m\u00e9thodes transversales statiques ne peuvent appr\u00e9hender de mani\u00e8re optimale. Dans ces environnements dynamiques, une valeur manquante observ\u00e9e \u00e0 un instant t<\/em> fait souvent suite \u00e0 une mesure int\u00e8gre recueillie \u00e0 l’instant t-1<\/em>, justifiant le recours \u00e0 des heuristiques de propagation s\u00e9quentielle.<\/p>\nLe package tidyr<\/strong> met \u00e0 disposition de l’analyste la fonction fill()<\/code>, sp\u00e9cifiquement con\u00e7ue pour ces architectures temporelles. Deux approches sym\u00e9triques y sont nativement impl\u00e9ment\u00e9es :<\/p>\n\n- La derni\u00e8re observation report\u00e9e (Last Observation Carried Forward<\/em>, ou LOCF<\/strong>) : D\u00e9clench\u00e9e via le param\u00e8tre
.direction = \"down\"<\/code>, cette m\u00e9thode propage la derni\u00e8re valeur valide observ\u00e9e vers le bas chronologique pour combler les absences imm\u00e9diatement cons\u00e9cutives.<\/li>\n- La prochaine observation report\u00e9e r\u00e9troactivement (Next Observation Carried Backward<\/em>, ou NOCB<\/strong>) : Activ\u00e9e via
.direction = \"up\"<\/code>, elle effectue la propagation inverse en projetant la premi\u00e8re valeur future valide vers le pass\u00e9 manquant.<\/li>\n<\/ul>\nIl est imp\u00e9ratif d’\u00e9mettre une mise en garde m\u00e9thodologique s\u00e9v\u00e8re concernant la validit\u00e9 \u00e9pid\u00e9miologique et statistique de la m\u00e9thode LOCF. Bien qu’extr\u00eamement r\u00e9pandue dans les essais cliniques de phase III en raison de sa simplicit\u00e9 op\u00e9rationnelle apparente, l’approche LOCF repose sur l’hypoth\u00e8se ultra-restrictive selon laquelle l’\u00e9tat clinique ou physiologique du patient demeure parfaitement stationnaire entre sa derni\u00e8re mesure valide et sa d\u00e9fection du protocole. Si cette hypoth\u00e8se est viol\u00e9e, la m\u00e9thode LOCF peut introduire un biais massif et impr\u00e9visible dans l’estimation de l’efficacit\u00e9 th\u00e9rapeutique des traitements, en particulier lors d’\u00e9tudes sur des pathologies d\u00e9g\u00e9n\u00e9ratives o\u00f9 l’absence de mesure r\u00e9sulte pr\u00e9cis\u00e9ment de la d\u00e9gradation de l’\u00e9tat de sant\u00e9 du participant. Son utilisation doit d\u00e8s lors \u00eatre r\u00e9serv\u00e9e \u00e0 des s\u00e9ries courtes ou \u00e0 des analyses de sensibilit\u00e9 explicitement confront\u00e9es \u00e0 des mod\u00e8les mixtes longitudinaux ou \u00e0 des \u00e9quations d’estimation g\u00e9n\u00e9ralis\u00e9es (GEE).<\/p>\n
8. Imputation multivari\u00e9e par les k plus proches voisins (k-NN)<\/h2>\n8.1 Principes g\u00e9om\u00e9triques de la m\u00e9thode k-NN<\/h3>\n
Pour d\u00e9passer les tares cong\u00e9nitales de l’imputation univari\u00e9e tout en exploitant la structure de d\u00e9pendance multivari\u00e9e globale des observations, l’algorithme des k plus proches voisins<\/strong> (k-Nearest Neighbors<\/em> ou k-NN<\/strong>) propose un cadre d’imputation fond\u00e9 sur la proximit\u00e9 g\u00e9om\u00e9trique au sein d’un espace multidimensionnel norm\u00e9. Formul\u00e9e pour la premi\u00e8re fois pour les donn\u00e9es manquantes dans les ann\u00e9es 1990, cette m\u00e9thode substitue au remplacement univari\u00e9 une pr\u00e9diction locale conditionn\u00e9e par le profil complet des unit\u00e9s statistiques les plus similaires.<\/p>\nSur le plan topologique, chaque observation constitue un vecteur de coordonn\u00e9es dans un espace m\u00e9trique \u00e0 p<\/em> dimensions. Lorsqu’un individu cible i<\/em> pr\u00e9sente une valeur manquante sur une variable particuli\u00e8re Y<\/em>, l’algorithme k-NN calcule la distance g\u00e9om\u00e9trique s\u00e9parant cet individu de tous les autres sujets j<\/em> pour lesquels la variable Y<\/em> est pleinement document\u00e9e, le calcul de cette distance s’op\u00e9rant exclusivement sur le sous-ensemble de variables auxiliaires X<\/em> int\u00e9gralement partag\u00e9es par les deux individus. Les m\u00e9triques de distance employ\u00e9es d\u00e9pendent \u00e9troitement de la nature des descripteurs :<\/p>\n\n- La distance euclidienne<\/strong> ou la distance de Manhattan<\/strong> pour les variables continues pures.<\/li>\n
- La distance de Gower<\/strong>, m\u00e9trique composite par excellence pour les jeux de donn\u00e9es mixtes, capable de sommer de mani\u00e8re coh\u00e9rente des distances continues standardis\u00e9es, des similarit\u00e9s de Dice ou Jaccard pour les variables binaires, et des distances de concordance de rang pour les variables ordinales.<\/li>\n<\/ul>\n
Une fois les distances \u00e9valu\u00e9es, l’algorithme isole les k<\/em> observations les plus proches (les donneurs) et agr\u00e8ge leurs valeurs sur la variable manquante Y<\/em> pour imputer l’individu receveur. Cette agr\u00e9gation s’effectue usuellement par la moyenne arithm\u00e9tique simple, la m\u00e9diane locale ou par une moyenne pond\u00e9r\u00e9e par l’inverse de la distance g\u00e9om\u00e9trique relative, accordant ainsi un poids d\u00e9cisionnel pr\u00e9pond\u00e9rant aux voisins les plus rigoureusement concordants.<\/p>\n8.2 Impl\u00e9mentation pratique avec le package VIM<\/h3>\n
L’impl\u00e9mentation de r\u00e9f\u00e9rence la plus compl\u00e8te et la plus flexible en R de la m\u00e9thodologie k-NN est h\u00e9berg\u00e9e au sein du package sp\u00e9cialis\u00e9 VIM<\/strong>, \u00e0 travers sa fonction de haut niveau kNN()<\/code>. Cette routine int\u00e8gre nativement la m\u00e9trique de distance de Gower, ce qui lui conf\u00e8re la capacit\u00e9 de traiter des data frames complexes contenant simultan\u00e9ment des variables num\u00e9riques, factorielles ordinales et nominales sans n\u00e9cessiter d’encodage disjonctif pr\u00e9alable manuel.<\/p>\nL’ex\u00e9cution de la m\u00e9thode requiert une attention m\u00e9ticuleuse port\u00e9e au param\u00e9trage des hyperparam\u00e8tres statistiques :<\/p>\n
library(VIM)<\/p>\ndf_impute_knn <- kNN(df,
\n variable = c(\"salaire\", \"score_satisfaction\"),
\n k = 5,
\n numFun = median,
\n catFun = maxCat,
\n imp_var = TRUE)<\/code><\/p>\n
Dans cet extrait, le param\u00e8tre k = 5<\/code> d\u00e9termine la taille du voisinage de donneurs. Le choix de cet hyperparam\u00e8tre proc\u00e8de d’un arbitrage fondamental de la th\u00e9orie de l’apprentissage entre biais et variance : un k<\/em> trop restreint (par exemple k = 1<\/em>) expose l’imputation \u00e0 une instabilit\u00e9 majeure en surajustant sur le bruit de mesure du seul voisin retenu ; inversement, un k<\/em> trop \u00e9lev\u00e9 dilue la sp\u00e9cificit\u00e9 locale et converge progressivement vers l’imputation globale de la moyenne, an\u00e9antissant l’int\u00e9r\u00eat du mod\u00e8le g\u00e9om\u00e9trique. L’argument imp_var = TRUE<\/code> ordonne la cr\u00e9ation automatique de colonnes bool\u00e9ennes d’audit (nomm\u00e9es avec le suffixe _imp<\/em>) indiquant pour chaque cellule si la valeur finale provient d’un relev\u00e9 empirique ou d’une imputation algorithmique.<\/p>\n8.3 \u00c9valuation comparative des r\u00e9sultats de k-NN<\/h3>\n
Le b\u00e9n\u00e9fice premier de la proc\u00e9dure k-NN r\u00e9side dans sa remarquable facult\u00e9 \u00e0 pr\u00e9server les corr\u00e9lations multivari\u00e9es non lin\u00e9aires et les groupements naturels au sein des donn\u00e9es, car les valeurs imput\u00e9es proviennent directement d’individus r\u00e9els partageant des caract\u00e9ristiques convergentes. De plus, elle \u00e9vite l’\u00e9cueil des valeurs impossibles : une variable imput\u00e9e par k-NN ne prendra jamais une valeur situ\u00e9e hors des fronti\u00e8res des valeurs r\u00e9elles observables dans la cohorte des donneurs.<\/p>\n
N\u00e9anmoins, l’algorithme k-NN pr\u00e9sente plusieurs contreparties m\u00e9thodologiques et computationnelles qui en restreignent la port\u00e9e dans certains contextes. D’une part, sa complexit\u00e9 algorithmique s’\u00e9l\u00e8ve \u00e0 O(n\u00b2 \u00d7 p)<\/em>, ce qui engendre un temps d’ex\u00e9cution prohibitif d\u00e8s lors que la base de donn\u00e9es exc\u00e8de plusieurs dizaines de milliers d’enregistrements. D’autre part, la m\u00e9thode souffre du fl\u00e9au de la dimensionnalit\u00e9 (curse of dimensionality<\/em>) : lorsque le nombre de covariables auxiliaires