La loi de Goodhart

La loi de Goodhart s’exprime de la manière suivante :

Toute régularité statistique observée tend à perdre toute crédibilité dès qu’elle est mise sous tension à des fins de contrôle.

Charles Goodhart

Derrière cette formulation qui peut paraître un peu obscure au premier abord, il se cache un concept beaucoup plus accessible.

En gros, quand on ne peut pas mesurer exactement ce que l’on veut, on a tendance à passer par un indicateur qui est corrélé avec ce que l’on souhaite mesurer. Mais si on se base sur cet indicateur pour réaliser des travaux d’amélioration, on risque de perdre une grande partie de la corrélation initiale.

Exemple : indice de pauvreté

Principe général

Prenons un exemple avec l’indice de pauvreté. La pauvreté est un concept complexe, mais on a tendance à l’évaluer avec un indicateur unique : l’indice de pauvreté. Il s’agit du taux de personnes sous le seuil de pauvreté fixé à 60% du salaire médian. En France en 2023, le seuil de pauvreté est de 1288€ et l’indice de pauvreté est de 15,4% (source : INSEE ).

Pour réduire la pauvreté, la démarche la plus logique consiste à relever les salaires les plus faibles pour les faire passer au-dessus du seuil de pauvreté.

Mise à mal

Mais si on se borne à améliorer l’indice de pauvreté, on peut raisonner différemment. En baissant le salaire median, on baisse le seuil de pauvreté et par conséquent on diminue l’indice de pauvreté. Il suffit donc de faire baisser les salaires intermédiaires. Concrètement, on pourrait mettre en place une taxe sur les salaires entre 1800€ et 2200€ ou alors diminuer le SMIC.

Ainsi le salaire médian passe de 2180€ à 1800€ et le seuil de pauvreté descend à 1080€. Ainsi le taux de pauvreté diminuerait largement (je ne connais pas le chiffre exact). A-t-on résolu le problème de pauvreté ? Pas du tout !

Explication

Avec l’indice de pauvreté, on part du principe légitime que le problème peut se modéliser avec un indicateur simple. La pauvreté est proportionnelle à l’indice de pauvreté. Il s’agit d’une “régularité statistique”. Cette régularité est mise à mal dès lors qu’on l’utilise pour piloter une amélioration ou “à des fins de contrôle”.

Quelques cas d’exemples dans l’écoconception

L’écoconception est une notion complexe puisque les impacts environnementaux sont très variés. A cela s’ajoute la complexité du numérique avec notamment des impacts qui sont souvent très éloignés des usages et un grave manque de transparence des acteurs principaux.

Comme les indicateurs qui nous intéressent réellement sont inaccessibles, cela nous oblige a passer par des indicateurs proxy. Les hyperscales ne communiquent pas sur leur consommation électrique. On passe alors par la charge CPU des machines pour en déduire la consommation électrique de la machine virtuelle. On ne connaît pas la consommation électrique du réseau internet pour notre usage, on passe alors par l’indicateur flux de données qui transitent.

Le Sustainable Webdesign Model

Dans certains cas, on en arrive à des proxys assez extrêmes. Par exemple, dans le Sustainable Web Design Model , on estime que la consommation électrique des centres de données est proportionnelle aux flux de données. Cela peut fonctionner à de larges échelles avec des usages très variés. Mais clairement cet indicateur proxy ne fonctionne pas dans les cas extrêmes :

L’intelligence artificielle générative possède une consommation électrique importante côté serveurs avec un flux de données plutôt modéré.
Le téléchargement de fichiers volumineux va générer un large flux de données tout en ayant un impact modéré sur la consommation des serveurs.

Le Sustainable Webdesign Model ne peut donc pas fonctionner dans ces cas.

En réalité tant qu’on ne s’y intéresse pas en détail, le plus souvent la consommation des centres de données peut être relativement proportionnelle aux flux de données. Mais si on tente de piloter son écoconception avec cet indicateur en tête, on va au-devant d’actions contre-productives.

J’estime que ce genre de pratique est assez récurrent dans le Green IT. La quantification des impacts environnementaux étant complexe, on se fie généralement à des modèles ou des outils qui ont prouvé leur efficacité sans comprendre le fond.

Ecoindex : modéliser l’usage des terminaux

Principe

L’écoindex se contente de trois indicateurs pour évaluer les impacts environnementaux d’une page web. Parmi les trois, nous retrouvons le nombre d’éléments dans le DOM qui est sensé évaluer l’impact sur le navigateur.

Ecoindex justifie l’emploi de ce proxy :

Plus le DOM comporte d’éléments, plus la page est complexe à déchiffrer, et donc à afficher pour le navigateur.

Conséquence

A partir du moment où l’on accepte l’écoindex comme un indicateur clé pour piloter l’écoconception de son site, il devient alors légitime de tenter de limiter le nombre d’élément dans le DOM. Comme la taille du DOM compte pour la moitié de la note de l’écoindex, on en vient à faire de cette indicateur la priorité absolue.

Un proxy critiqué

Cette méthode est critiquée car trop éloignée de ce que l’on souhaite mesurer. Il n’y a pas de corrélation claire entre la consommation électrique du terminal utilisateur et le nombreux d’éléments du DOM.

Alternative

Simplifier les pages d’un site constitue une démarche saine, mais dont les impacts sont clairement sur-estimés par l’écoindex.

Le proxy le plus pertinent pour estimer la consommation électrique du terminal utilisateur est de coupler le type d’appareil utilisé avec la durée passée sur la page. D’ailleurs, on peut également estimer que la taille de la page est un indicateur qui permet de définir la durée pendant laquelle les utilisateurs vont rester sur la page.

Mais même en se basant sur la durée sur la page, on ignore la simplicité et la sobriété de l’interface qui peut permettre de limiter la consommation électrique du terminal.

Pertinence de l’usage de proxy dans l’écoconception

Dans le numérique, on ne peut a priori jamais directement mesurer les impacts environnementaux. On doit donc systématiquement passer par des proxy qui sont plus ou moins proches des impacts.

Par exemple, si on cherche à connaître les émissions de gaz à effets de serre côté usage des data centers, on peut être amené à suivre la consommation d’électricité des serveurs, ce qui veut dire qu’on “oublie” les équipements autres que les serveurs (comme le système de refroidissement) et que l’on considère le mix électrique comme fixe. Dans beaucoup de cas, on doit même se contenter de la charge CPU des serveurs en espérant qu’elle soit bien proportionnelle à la consommation électrique de l’ensemble du système.

Ce faisant on inclut beaucoup de possibilités de transferts d’impacts. Une modification peu tout à fait soulager l’usage CPU d’un serveur mais beaucoup plus solliciter la RAM engendrant autant, voire plus de consommation électrique. La modification pourrait ainsi être vue comme une optimisation alors qu’elle n’a fait que déplacer un problème.

Pour autant, il me parait indispensable de quantifier les impacts environnementaux afin de connaître les principaux axes d’améliorations à opérer. Il me semble également indispensable d’avoir des indicateurs opérationnels, même si ces derniers peuvent introduire des biais.

Ce qui me semble indispensable, c’est d’avoir conscience des limites des indicateurs choisis. De les remettre en question périodiquement et surtout d’avoir une compréhension des leviers qui sont en actions.

Conclusion

Difficile de savoir comment diminuer les impacts environnementaux d’activités numérique sans avoir une claire compréhension chiffrée de leurs origines. La quantification est indispensable, même si elle oblige à faire des hypothèses et souvent à s’appuyer sur des indicateurs qui peuvent être éloignés de ce qui nous intéresse réellement.

Il faut donc périodiquement remettre en question ses pratiques pour vérifier qu’on avance toujours dans la bonne direction.

Crédit photo Jamesfranklingresham , CC BY-SA 3.0