Un biais de publication désigne le fait que les chercheurs (pour leurs CV) et les revues scientifiques (pour leur marketing)1 ont bien plus tendance à publier des expériences ayant obtenu un résultat positif que des expériences ayant obtenu un résultat négatif. Ce biais de publication entraîne un effet tiroir, les résultats négatifs restant « au fond du tiroir ». Cela crée une perception des résultats scientifiques un peu plus « belle » qu’elle ne l’est réellement, et crée parfois ce que l’on appelle des faux positifs.
Même lorsqu’elle ne cherche pas à tout prix le scoop, une revue est dans tous les cas peu encline à publier des résultats non significatifs d’un point de vue statistique 2. Que la revue, malgré une méthodologie irréprochable, ne publie pas les résultats contredisant l’hypothèse initiale (hypothèse qui postule généralement que le traitement testé a un effet) s’appelle le biais de publication 3. Compte tenu des efforts et du temps nécessaire à la publication d’un article par un scientifique, ce dernier peut, devant le biais de publication, s’autocensurer, et préférer laisser ses recherches au fond du tiroir, sans chercher à les publier. C’est ce biais de pré-publication qu’on appelle l’effet tiroir, ou file drawer effect, nom donné par le psychologue Robert Rosenthal en 1979 4
Cet effet, fort peu documenté, tient sa première étude de Brian Martinson et ses collègues, chercheurs à la Health Partners Research Foundation, qui menèrent en juin 2005 une étude pour le journal scientifique Nature. L’équipe de Martinson envoya une enquête anonyme à des milliers de scientifiques financés par les National Institutes of Health : 6% des répondants reconnurent avoir « rejeté des données parce qu’elles contredisaient leur recherche antérieure », et plus de 15 % ont reconnu avoir fait fi d’observations parce qu’ils avaient « la conviction profonde » qu’elles étaient inexactes, ce qui fit conclure aux auteurs :
« Notre approche permet certainement de songer à l’existence d’un biais de non-réponse. Les scientifiques qui s’en sont montrés coupables étaient peut-être susceptibles de répondre moins souvent que les autres à notre enquête, sans doute parce qu’ils craignaient d’être découverts et sanctionnés. Ce fait, combiné avec celui qu’il y a probablement eu sous-déclaration des écarts de conduite parmi les répondants, tend à montrer que nos estimations des comportements délinquants demeurent prudentes »5
L’effet tiroir est particulièrement sensible dans le cadre de la médecine en général et de la rééducation en particulier puisque les professionnels, n’ayant que peu de temps à consacrer à la consultation des données scientifiques, concentrent généralement leurs efforts sur la lecture des revues systématiques ou des méta-analyses de la littérature (c’est-à-dire un article faisant la synthèse du sujet). Le problème réside dans le fait que ces articles se basent sur les données disponibles, donc publiées, donc plutôt orientées dans le sens d’un effet significatif. Rappelons par acquit de conscience que la significativité statistique ne dit absolument rien de la validité méthodologique d’une étude.
Extrait de Pinsault N., Monvoisin R., Tout ce que vous n’avez jamais voulu savoir sur les thérapies manuelles, PUG, 2014
Illustration : dans la Tête au carré sur France Inter du 17 juin 2014, une chroniqueuse revient sur la fameuse étude suisse de Cajochen et al.6 liant causalement pleine lune et sommeil, montrant que non seulement l’étude n’est pas reproduite, mais surtout que plusieurs études non publiées ont montré des résultats négatifs.
On entend bien le pauvre Mathieu Vidard, pas très au point en épistémologie, (voir par exemple ici) y voir « tout et son contraire », alors qu’il s’agit justement d’un biais de publication dans lequel la plupart (pas tous) de ses chroniqueurs tombent, sous prétexte de scoops. La chroniqueuse, qui un an plus tôt avait annoncé le résultat fracassant sans l’ombre d’un doute, ne prend certes pas la peine de s’excuser, mais elle fait tout de même un correctif que bien peu de journalistes concèdent.
RM, NP