«On saupoudre, et puis on prie»: ces trous statistiques qui rendent les politiques publiques myopes

Par manque de culture statistique, les gouvernements conçoivent trop souvent des politiques myopes. Pour gagner en finesse, elles doivent surmonter bien des simplismes.

Durant la Seconde Guerre mondiale, le mathématicien Abraham Wald avait suggéré à l’armée américaine de renforcer les zones les moins endommagées des avions rentrant à leur base, et non celles criblées de trous. A priori contre-intuitive, cette analyse rectifiait ce qu’on appelle le «biais des survivants»: pour limiter les pertes, il ne fallait pas observer les dégâts de ces avions rescapés, mais bien les zones où, contrairement aux moins chanceux, ils n’avaient pas été touchés. Capital pour mener des politiques publiques précises, le monde des statistiques et des données est empreint de telles nuances, rarement maîtrisées. Au-delà de l’apparent, il faut nécessairement prêter attention à l’invisible. Ainsi, la lutte contre la pauvreté demeure incomplète si les estimations ne tiennent pas compte des personnes hors du radar des revenus. Les politiques de santé tâtonnent si elles ignorent les habitudes alimentaires de différents publics cibles. Et les pouvoirs publics ne voient qu’une partie des rénovations énergétiques en ne s’intéressant qu’aux seules demandes de permis.

«La statistique publique mobilise principalement trois grandes sources: les données administratives, les enquêtes et, de manière encore exploratoire, les données massives issues du numérique», énumère Frédéric Vesentini, directeur scientifique à l’Institut wallon de l’évaluation, de la prospective et de la statistique (Iweps) et professeur à l’UCLouvain. Mais le chemin est semé d’embûches. Les enquêtes sont rarement représentatives à de fines échelles. Et «les sources administratives n’ont souvent pas été conçues à des fins statistiques», relève Xavier Dehaibe, responsable de la cellule «territoire et population» à l’Institut bruxellois de statistique et d’analyse (Ibsa). Cela pose le problème de l’interopérabilité: non standardisées, des données ne sont ni nécessairement exploitables telles quelles ni conformes avec le résultat visé. «Au-delà de l’absence pure et simple de données, les lacunes statistiques sont de divers ordres, expose l’économiste Philippe Defeyt, directeur de l’Institut pour un développement durable (IDD). Il peut s’agir de données existantes mais non structurées, non communiquées, privatisées, trop tardives…»

Des poules pondeuses au PIB

Elles émanent en outre de priorités variant au fil des décennies. «Historiquement, les Etats ont utilisé les statistiques comme fondements pour collecter l’impôt, lever des armées ou évaluer leurs capacités de production alimentaire ou industrielle», relève Sébastien Brunet, administrateur général et chef statisticien de l’Iweps. «La statistique sert à mesurer ce sur quoi l’Etat entend agir, acquiesce Frédéric Vesentini. D’ailleurs, le mot « statistique » vient de « status », l’Etat. Si vous ouvrez un recueil statistique du XIX^e siècle, ne cherchez pas le produit intérieur brut (PIB). Vous ne le trouverez pas, parce que l’Etat ne se pensait pas encore responsable des grands équilibres macroéconomiques. En revanche, dans un contexte où il y avait encore des famines, les statisticiens dénombraient les vaches laitières, les lapins et les poules pondeuses, ce que vous ne retrouvez plus de manière aussi détaillée. Créer une statistique, c’est donc une manière de faire exister une problématique dans le débat démocratique.»

Statbel, l’office belge de statistique, se voit ainsi confier des missions mouvantes, dont 80% émanent de l’Europe –le solde résultant d’innovations propres ou de demandes du monde académique, de l’Institut interfédéral de statistique (IIS)… «Il y a cinq ans, les nouveaux besoins européens étaient plutôt axés sur la transition climatique, commente Marie Vandresse, la directrice générale de Statbel. A présent, l’urgence porte davantage sur la défense. Nous devons veiller à répondre aux besoins conjoncturels, mais aussi aux défis plus structurels, comme la productivité et le vieillissement.»

Quand une statistique voit le jour, il faut ensuite pouvoir l’interpréter à bon escient et faire le tri. «A une époque où nous sommes submergés d’informations, il devient de plus en plus facile de produire des chiffres et aussi souvent, malheureusement, de leur faire dire n’importe quoi, avertit Amandine Masuy, chercheure senior à l’Iweps. Faire des statistiques, c’est comme lorsqu’on prend le temps de cuisiner, de choisir ses ingrédients, de laver ses légumes, de goûter avant de servir. Quand on voit tous les chiffres diffusés sur les réseaux sociaux, les enquêtes faites sur des échantillons fantaisistes… On serait plutôt au fast-food: des statistiques rapides mais de composition douteuse.»

L’accord de coalition fédérale affirme vouloir «renforcer l’élaboration des politiques fondées sur des données probantes comme un élément essentiel de la bonne gouvernance publique». Dans les faits, toutefois, «l’expérience statistique de certains conseillers ministériels est assez limitée, pour ne pas dire autre chose, constate Philippe Defeyt. Ils construisent alors des consensus politiques à partir de statistiques qu’ils ne comprennent pas.» Il n’est effectivement pas rare qu’un élu s’enorgueillisse d’avoir augmenté le taux d’emploi sous sa législature, alors que la variation est inférieure à l’intervalle de confiance de l’étude, ou basée sur deux sources dotées d’une méthodologie différente. «Peu de gens savent ce qu’est un taux d’emploi, illustre à cet égard Jean Hindriks, professeur d’économie à l’UCLouvain, fondateur de l’Itinera Institute et coauteur d’une récente étude sur le sujet. On peut très bien l’augmenter en réduisant simplement le spectre de la population en âge de travailler.»

Des progrès notables

En matière de statistiques, il existe donc de nombreux trous dans la raquette, mais également bien des récits possibles à partir d’une seule et même maille, selon la manière de la distordre. Les évidentes lacunes ne doivent cependant pas occulter le chemin parcouru, soulignent les experts sollicités. Ils citent unanimement l’exemple des pensions, chacun pouvant désormais connaître ou anticiper le montant qui lui sera versé. Statbel mentionne les développements en matière de revenus, calculés de manière très fine sur la base de données administratives. Jean Hindriks cite pour sa part la Banque-Carrefour de la sécurité sociale, qui reprend toute personne entrant sur le marché du travail: «Des pays étrangers nous envient une telle base de données, centralisant des informations utiles pour une série de services sociaux et comparable à ce que les pays nordiques, souvent à la pointe dans plusieurs domaines, sont capables de faire.»

Plus récemment, Philippe Defeyt relève la publication, par la Banque nationale de Belgique (BNB), des comptes nationaux distributifs (DNA), permettant de mesurer bien mieux les inégalités de revenus et les comportements de consommation des ménages. «C’est à mon sens l’exemple qui a le plus de potentiel pour les années à venir», commente l’économiste. «En ventilant les grands agrégats économiques par types de ménage, selon leur classe de revenu ou leur composition par exemple, nous espérons que ces statistiques permettront d’élaborer des politiques plus équitables, d’identifier les ménages plus vulnérables aux chocs de prix, relate Vanessa Baugnet, cheffe du service Comptes nationaux et régionaux au département «statistique» de la BNB. Il y a toute une panoplie d’autres critères que l’on pourra exploiter dans les prochaines années.»

Malgré ces réels avancements, la marge de progression des politiques publiques est à la mesure des nombreux trous statistiques persistants. «La révolution empiriste s’impose aux élus; la nier revient à verser dans l’obscurantisme, synthétise Jean Hindriks. Il faut mener un combat pour démêler les faits du faux.» Ce qui suppose de pallier de nombreuses lacunes.

1. Des données manquantes

Le nombre d’heures de cours non données dans les écoles francophones, de personnes sans abri, d’habitations en zones inondables, de logements rénovés… Des polluants dans l’eau non détectés, car non recherchés jusqu’il y a peu. La qualité nutritive des sols, l’offre de cours en promotion sociale, les déplacements précis des automobilistes… Faute d’attention, d’accessibilité, de réflexion conceptuelle ou de techniques efficaces, de nombreuses statistiques potentiellement utiles n’existent pas sur la place publique à l’heure actuelle. En leur absence, les politiques publiques sont partiellement aveugles: elles ne savent pas où ni quoi chercher pour remédier à un problème.

Philippe Defeyt cite les inconnues abyssales autour du défi du vieillissement. «On l’a entendu pendant les campagnes électorales communale et régionale, les personnes âgées veulent rester chez elles. Il faut donc plus d’aides familiales. Mais d’autres devront tout de même aller dans une institution. Il manque dès lors aussi des places. Combien exactement, et où? Combien de fois le Safa (NDLR: le Service d’aide aux familles et aux aînés) est-il contraint de refuser une demande? Quand c’est le cas, que fait la personne demandeuse? Les heures des aides familiales sont-elles équitablement distribuées en fonction des besoins? On n’a pas la moitié du quart du début d’une réponse chiffrée. Il y a là un enjeu de lobbying: il est bien plus facile de dire qu’il manque des moyens partout.»

En réalité, il est rare que des données n’existent absolument pas. «Il y a une sous-utilisation des données et même des statistiques déjà disponibles», relève Marie Vandresse. «La question est plutôt de savoir si ces données sont disponibles et exploitables pour en faire des statistiques fiables et récurrentes», ajoute Amandine Mauroy. Il y a quelques mois, Philippe Defeyt a bataillé pour obtenir des statistiques sur les revenus fiscaux par ménage, et non par habitant ou par déclaration, comme habituellement présentées.

En Wallonie, de nombreux dispositifs sont précisément calibrés sur le revenu de référence des ménages. C’est le cas des primes «Habitation», dont le montant octroyé varie selon quatre catégories de revenus. Problème: le gouvernement n’a jamais jugé utile de connaître, en amont, la proportion de ménages potentiellement concernée pour chacune de ces catégories. Avec une telle myopie, il n’est pas surprenant que le gouvernement wallon ait découvert, comme énoncé en février dernier, un «dérapage budgétaire» en la matière. «Depuis des années, et encore aujourd’hui, la Wallonie prend des décisions sans connaître la distribution des revenus fiscaux, critique Philippe Defeyt. Je ne peux m’empêcher de penser que la myopie est parfois volontaire. J’avais averti le ministre du Budget (NDLR: Adrien Dolimont, MR) à l’époque, mais le statu quo arrange tout le monde: lors des négociations, chacun peut demander ce qu’il veut. Le résultat, c’est qu’on a pris des décisions concernant les droits d’enregistrement et de succession, soit des politiques qui coûteront des centaines de millions d’euros, sans avoir les données.»

2. Des données verrouillées

Une autre lacune majeure résulte des difficultés d’accès à certaines données, pourtant utiles pour la collectivité. «En matière de soins de santé, il y a la gigantesque base de données de l’Agence intermutualiste, cite Philippe Defeyt. Elle reprend toutes les informations concernant les dépenses médicales, les hospitalisations, les médicaments, les visites chez le médecin… En mettant en relation les problèmes médicaux avec les comportements de consommation, on pourrait obtenir des pistes incroyables. Or, bien qu’elle relève du secteur non marchand, l’Agence n’accepte de partager certaines données que si on accepte de payer, et seulement si elle a le temps.»

Le Bureau fédéral du Plan (BFP) pointe de son côté l’impossibilité d’accéder aux données de Viapass sur le trafic de marchandises, sur la base d’arguments pratiques et juridiques. Ou encore les procédures complexes de la Banque-Carrefour de la sécurité sociale. «Un Institut comme l’Iweps dispose d’un mandat clair et légitime, encadré par le droit belge et européen, pour accéder aux données administratives à des fins strictement statistiques, ajoute Frédéric Vesentini. Mais dans la pratique, l’accès à ces données est souvent freiné. Les données sont une sorte de capital que les administrations sont parfois peu enclines à partager. Certaines institutions craignent très certainement que leur utilisation amène à remettre en cause leur gestion. On essaie donc de construire la confiance, de donner toutes les garanties sur les traitements statistiques, mais c’est souvent énergivore et vain.»

De son côté, Statbel insiste également sur cette relation de confiance. «Pour mesurer les dépenses ou la mobilité, on peut citer l’importance du secteur bancaire et des télécommunications, illustre Marie Vandresse. Mais il ne suffit pas de faire la demande à une entreprise en nous appuyant sur une loi. Il nous faut expliquer ce que l’on veut faire avec les données et trouver une solution win-win.» Voici quelques années, Statistics Canada avait fait valoir son droit légal d’utiliser, de façon anonymisée, les données de cartes de crédit de la population. Le tollé suscité par cette démarche dans l’opinion publique avait contraint l’agence à faire machine arrière.

Tout est donc une question de posture, d’autant que les organismes invoquent souvent le Règlement général sur la protection des données (RGPD) pour justifier leur refus de les communiquer. L’Iweps constate d’une part des blocages mineurs, de la part de DPO (data protection officers) qui, dans le doute et faute de formation adéquate, préfèrent ne rien transmettre, afin de ne pas enfreindre les règles. «Un deuxième cas est plus problématique, souligne Frédéric Vesentini. C’est lorsque le RGPD est mobilisé comme un prétexte, pour bloquer des échanges de données qui ne sont pas souhaités pour d’autres raisons, institutionnelles ou politiques.» Enfin d’autres blocages persistent pour des motifs purement pratiques. «Les dépenses et les recettes des zones de police et des zones de secours ne sont toujours pas numérisées, et sont de facto indisponibles», note le Bureau du Plan. «Il y a aussi le problème de l’interopérabilité, complète Jean Hindriks. Même s’il y a du progrès, c’est particulièrement vrai en Wallonie. Les bases de données ne sont alors pas conçues pour se parler entre elles.»

3. Des données pas assez fines

Les enquêtes, elles, n’offrent pas nécessairement une granularité suffisante pour tirer des enseignements à l’échelle voulue. Celles sur les forces de travail (EFT), par exemple, ne sont pas ou peu représentatives à l’échelle des provinces et des communes, évoque le BFP. «Les enquêtes européennes ne permettent pas de tout mesurer, confirme Frédéric Vesentini. Les populations plus précaires y sont sous-représentées.» Comme le résume la BNB, «il faut donc combiner la richesse des enquêtes avec le caractère plus exhaustif des données administratives.»

La granularité des données est en effet essentielle pour mener des politiques différenciées. «Quelle est la part de la population qui vit à moins d’un, cinq, dix kilomètres d’un hôpital, d’une gare, d’une école? En fonction des ressources disponibles et des besoins, nous faisons de plus en plus le lien entre la géolocalisation et les statistiques», précise Marie Vandresse. «Se limiter à travailler sur des moyennes, c’est stupide, relate pour sa part Jean Hindriks. Avec les outils informatiques dont on dispose aujourd’hui, il y a moyen de traiter d’énormes bases de données. A tous les étages, les moyens sont désormais limités. Pour mener des politiques générant un effet de levier, il faudra cibler beaucoup plus. Or, on continue trop souvent de faire du spray and pray: on saupoudre, parce qu’on ne sait pas très bien où ni comment agir, puis on prie, en espérant qu’une des graines donnera quelque chose.» A tous les niveaux de pouvoir, le potentiel demeure gigantesque.

4. Des données privatisées et onéreuses

Conscients que les données constituent le pétrole du XXI^e siècle, de nombreux acteurs privés rechignent à les partager aux acteurs institutionnels ou académiques, sauf à payer. L’Association du transport aérien international (Iata) monnaie chèrement l’accès à certains de ses rapports. Il en va de même pour les relevés du groupe Nielsen relatifs aux dépenses dans la grande distribution. «Cela coûte une fortune, constate Jean Hindriks. Or, il est important de comprendre comment les gens réagissent à l’inflation et aux chocs de prix.» Philippe Defeyt pointe aussi les publications de l’Agence internationale de l’énergie (AIE). «L’agence est une filiale, en quelque sorte, de l’OCDE (NDLR: l’Organisation de coopération et de développement économiques), financée par des fonds gouvernementaux, mais elle demande des centaines voire des milliers d’euros pour accéder à certaines données», déplore l’économiste.

«Le secteur privé dispose de données importantes pour l’aide à la décision, et des instituts comme le nôtre, de l’expertise pour produire des statistiques de qualité et anonymisées», note Marie Vandresse. Pour convaincre le privé de sauter le pas, il est parfois possible d’insister sur la valeur sociétale à laquelle une entreprise peut contribuer, sans nécessairement mettre la main au portefeuille. Une chimère dans le cas des géants du numérique? Pas nécessairement, nuance la directrice générale de Statbel: «On a pu négocier, à l’échelon européen, avec des plateformes comme Booking et Airbnb pour produire des statistiques sur les hébergements loués.»

Alors qu’elle prône la «culture de l’évaluation» à tous les étages, la classe politique doit résolument concevoir les statistiques comme un indispensable moteur de mesures ciblées, estiment donc les experts. Une rigueur aux antipodes de simplismes chiffrés, dont le seul but reste souvent de tirer la couverture à soi –ou de l’enlever à d’autres.