Un chiffre circule, tout le monde le cite, personne ne l'a remonté. Cette page remonte la chaîne des citations jusqu'à son origine, et publie le verdict. Y compris quand le verdict est qu'il n'y a rien au bout.
8 chiffres vérifiés. Chacun porte son lien, sa date de vérification et une ancre que vous pouvez coller dans une conversation. La page grossit, elle n'a pas de calendrier.
Origine identifiée
La source existe, elle est consultable, et elle dit bien ce qu'on lui fait dire.
Discours sur la modernisation du bâtiment, plaidoyers pour le numérique, dossiers d'investissement en préfabrication.
Origine
McKinsey Global Institute, Reinventing Construction: A Route to Higher Productivity, 27 février 2017.
Ce que la source dit réellement
Le rapport mesure une croissance de la productivité du travail dans la construction d'environ 1 % par an sur deux décennies, contre 2,8 % pour l'économie mondiale et 3,6 % pour l'industrie manufacturière. Il ajoute que sur les dix années précédentes, moins d'un quart des entreprises du secteur ont atteint la croissance de productivité de leur propre économie nationale.
À retenir
L'origine est identifiée et la méthode publiée. Notez tout de même ce que le chiffre ne dit pas : mesurer la productivité de la construction est difficile, et le rapport compare des secteurs dont les unités de production n'ont rien de comparable.
Une origine identifiée n’est pas un blanc-seing. Elle permet seulement de discuter la méthode
plutôt que la rumeur.
Débats sur les grands projets d'infrastructure, articles sur les dépassements, arbitrages de financement public.
Origine
Les travaux de Bent Flyvbjerg et de ses coauteurs sur l'inexactitude des prévisions dans les travaux publics, repris et expliqués dans From Nobel Prize to Project Management: Getting Risks Right.
Ce que la source dit réellement
Les chiffres sont précis et documentés : environ 44,7 % de dépassement moyen sur les coûts de construction ferroviaire, 33,8 % sur les ponts et tunnels, 20,4 % sur les routes. Pour les prévisions de fréquentation ferroviaire, l'écart moyen atteint -51,4 %, et 84 % des projets se trompent de plus de vingt points. Ces mesures ont conduit le ministère des transports britannique et le Trésor à adopter la prévision par classe de référence en 2004.
À retenir
Un chiffre dont l'origine est solide, publiée, et qui a produit une décision de politique publique vérifiable. C'est à quoi ressemble une statistique utilisable.
Cet index n’existe pas pour démolir les chiffres. Il existe pour distinguer ceux qui tiennent
de ceux qui ne tiennent pas, et celui-ci tient.
Plans de formation, discours sur l'expertise, justification d'un parcours long. Souvent présenté comme un seuil : avant dix mille heures on n'est pas expert, après on l'est.
Origine
Une étude d'Anders Ericsson et de ses collègues, publiée en 1993, sur des violonistes d'une académie de musique de Berlin. Le chiffre a été popularisé par Malcolm Gladwell en 2008.
Ce que la source dit réellement
Ericsson a lui-même expliqué publiquement que sa recherche avait été simplifiée à l'excès. Dix mille heures était une moyenne dans le meilleur groupe à l'âge de vingt ans, pas un seuil, pas un minimum, et pas un garant. Une réplication ultérieure en double aveugle sur trente-neuf violonistes a même trouvé que le groupe jugé simplement bon avait cumulé davantage d'heures que le groupe jugé meilleur.
À retenir
Ce que l'étude d'origine démontre n'est pas la quantité mais la nature de la pratique : délibérée, corrigée, inconfortable. Compter les heures est précisément la manière de rater son propos.
Un chiffre rond, une durée qui se visualise, un seuil qui rassure. Trois qualités qui n’ont
rien à voir avec la véracité, et qui expliquent la diffusion.
Formations en prise de parole, coaching de dirigeants, préparation aux entretiens. Sert à justifier qu'il faut travailler sa posture plutôt que son propos.
Origine
Deux études d'Albert Mehrabian publiées en 1967 : Inference of attitudes from nonverbal communication in two channels, avec Ferris, et Decoding of inconsistent communications, avec Wiener.
Ce que la source dit réellement
Le protocole était le suivant : 62 femmes regardaient des photographies en noir et blanc de visages tout en écoutant une voix féminine prononcer un seul mot, maybe, puis évaluaient si la locutrice appréciait ou non une tierce personne imaginaire. Un mot isolé, des images fixes, aucun langage corporel. Mehrabian lui-même précise sur son site que ces équations ont été dérivées d'expériences sur la communication de sentiments et d'attitudes, et que si un locuteur ne parle pas de ses sentiments, elles ne s'appliquent pas.
À retenir
Le ratio est réel mais il décrit un cas précis : celui où le message verbal et le message non verbal se contredisent, sur un sujet affectif. Il ne dit rien de la part du contenu dans un exposé technique.
Un auteur qui passe trente ans à corriger l’usage qu’on fait de ses propres chiffres dit
quelque chose de la vitesse à laquelle une nuance se perd.
Toute discussion sur le taux d'échec des projets informatiques finit par citer le CHAOS Report du Standish Group, dont les chiffres de 1994 sont encore repris trente ans plus tard : 16 % de réussite, 53 % en difficulté, 31 % d'échec.
Origine
Standish Group, CHAOS Report, 1994. La critique méthodologique de référence est celle de Jorge Eveleens et Chris Verhoef, publiée dans IEEE Software en janvier 2010.
Ce que la source dit réellement
Eveleens et Verhoef montrent que Standish définit la réussite uniquement par la conformité aux estimations initiales de coût, de délai et de périmètre. Une organisation dont les estimations sont excellentes peut donc afficher 35 % de réussite, tandis qu'une organisation qui gonfle ses budgets en affiche 67 %. Les auteurs documentent précisément ce cas : orientée par les critères de Standish, l'organisation X a dégradé la qualité réelle de ses prévisions tout en améliorant son score.
À retenir
Le chiffre ne mesure pas la réussite des projets, il mesure la prudence des estimateurs. Un taux d'échec bas peut signaler de meilleurs projets, ou simplement des budgets gonflés.
Un indicateur qui récompense la surestimation finit par produire de la surestimation. C’est la
loi de Campbell appliquée à la mesure de l’échec.
Argument standard pour justifier un investissement en tests, en revue de code ou en spécification amont. Souvent accompagné d'un tableau : 1x à la conception, 6,5x au codage, 15x en test, 100x en maintenance, attribué à un « IBM Systems Sciences Institute ».
Origine
Barry Boehm et Victor Basili, IEEE Computer, janvier 2001. Boehm publiait déjà une courbe du coût du changement dans Software Engineering Economics en 1981.
Ce que la source dit réellement
Les auteurs écrivent que corriger après livraison est souvent cent fois plus cher, et ajoutent immédiatement une réserve que presque personne ne cite : pour les petits projets non critiques, le rapport est plutôt de cinq pour un. Le facteur cent ne vaut que pour les grands systèmes. Quant au tableau attribué à l'« IBM Systems Sciences Institute », Laurent Bossavit en a remonté la trace jusqu'à une note de bas de page renvoyant à des supports de formation internes jamais publiés. Aucun jeu de données n'a jamais été produit.
À retenir
Le facteur cent existe dans la littérature, mais il est conditionnel et il a perdu sa condition en route. Sur un projet ordinaire, le rapport défendable est de l'ordre de cinq pour un, ce qui reste un excellent argument.
C’est le cas le plus instructif de cet index : l’origine est réelle, sérieuse, et relue par des
pairs. Ce qui s’est perdu, c’est la phrase suivante.
Première diapositive de presque toute présentation sur la conduite du changement, dans les offres de conseil, dans les formations en management, et régulièrement en ouverture de séminaire de direction.
Ce qu’on trouve en remontant
Aucune. Le chiffre est attribué tantôt à un livre de réingénierie des années 1990, tantôt à un cabinet, tantôt à une étude jamais nommée. Mark Hughes a publié en 2011 une recherche de provenance qui ne trouve aucune étude empirique au bout de la chaîne. La professeure Julie Hodges le qualifie de fable, sans aucune preuve pour le justifier.
À retenir
Quand quelqu'un cite ce chiffre, demandez-lui l'étude. Il n'y en a pas. Cela ne veut pas dire que les transformations réussissent : cela veut dire que personne ne sait dans quelle proportion elles échouent.
Le chiffre a une propriété rare : il est assez élevé pour justifier d’acheter de
l’accompagnement, et assez bas pour ne pas décourager d’essayer. C’est probablement ce qui
explique sa longévité mieux que n’importe quelle donnée.
Justifie les formats courts, les vidéos de moins d'une minute, les articles raccourcis, et à peu près toute recommandation éditoriale des dix dernières années.
Ce qu’on trouve en remontant
Un rapport de Microsoft Canada de 2015. Le rapport ne produit pas ce chiffre : il le cite, en renvoyant à un agrégateur de statistiques nommé Statistic Brain. La BBC a remonté la chaîne : les sources listées par cet agrégateur sont restées introuvables, et ni le National Center for Biotechnology Information ni l'Associated Press, tous deux cités, n'ont pu produire la recherche correspondante.
À retenir
Le chiffre n'a jamais existé, et la comparaison avec le poisson rouge non plus : il n'y a pas de preuve que les poissons aient une mémoire particulièrement courte. Si vous écrivez court, faites-le parce que c'est mieux écrit, pas à cause de ce chiffre.
Une entreprise a cité un agrégateur, l’agrégateur a cité des institutions, les institutions
n’ont rien trouvé. Trois maillons, zéro donnée.