La science peut mieux faire ou l’incitation des publications scientifiques


  • FrançaisFrançais

  • Est-ce que la science est parfaite ? Non, est-ce qu’elle peut mieux faire ? Assurément, si elle ne se tirait pas une balle dans le pied en accordant trop de place à certaines pratiques, notamment dans la publication scientifique et les nouvelles hypothèses.


    Est-ce que la science est parfaite ? Non, est-ce qu'elle peut mieux faire ? Assurément, si elle ne se tirait pas une balle dans le pied en accordant trop de place à certaines pratiques, notamment dans la publication scientifique et les nouvelles hypothèses.
    Crédit : IAEA Seibersdorf Historical Images, CC BY-SA

    Il y a des fossés considérables entre les versions idéalisées et celles qui représentent les personnes qui prétendent agir au nom du bien commun. Les gouvernements devraient agir pour leurs citoyens, les journalistes devraient être neutres et proposer une analyse honnête. Et les scientifiques doivent sonder la structure de la réalité avec des méthodes rigoureuses et dotées de l’esprit critique.

    Et comme toujours, on fait ce qu’on ne devrait pas faire. Dans un certain nombre de disciplines scientifiques, les résultats ne peuvent pas être reproduits ou leurs effets sont bien moindres comparé à l’hypothèse de départ. De nombreuses expériences restent reproductibles signifiant que les résultats restent même quand d’autres chercheurs refont l’étude avec les mêmes paramètres, mais ce n’est pas suffisant pour dédouaner la de certaines pratiques.

    Une grande partie de la est d’identifier les relations entre les variables. Par exemple, l’identification de gènes qui favorisent certaines maladies ou comment certains parents influencent le développement émotionnel de leurs enfants. Et à notre grande déception, il n’y a pas de tests qui nous permettent d’extraire les vraies associations de celles qui sont douteuses. Parfois, nous nous trompons même avec des méthodes rigoureuses.

    Et il y a aussi des pratiques qui font que les scientifiques augmentent leurs risques d’erreurs. Des études avec une taille d’échantillon faible, l’extraction des données pour des corrélations et la formation des hypothèses pour qu’elles cadrent avec les résultats font partie des pratiques qui mènent aux fausses découvertes et à un scepticisme grandissant, dans le mauvais sens du terme, envers la science.

    Et ce n’est pas comme si on ne pouvait pas faire mieux. Les scientifiques connaissent la méthode scientifique reproductible depuis des décennies. Malheureusement, ces conseils tombent dans le vide dans la plupart des cas. Pourquoi ? Pourquoi ne peut-on pas améliorer la méthode scientifique ? La réponse est très simple et tient en un seul mot : L’incitation et ce n’est pas forcément l’incitation à laquelle vous croyez.

    Les incitations pour le « bon » comportement

    Dans les années 1970, les psychologues et les économistes ont commencé à pointer le danger de se baser sur des mesures quantitatives pour la prise de décision dans les champs sociaux. Par exemple, quand des écoles publiques se basent sur des mesures quantitatives sur des tests standardisés, alors les enseignants réagissent en apprenant comment faire pour passer les tests au détriment d’enseigner les éléments d’un esprit critique. Et on entre dans un cercle vicieux, car ces tests deviennent une norme pour mesurer comment une école prépare ses étudiants pour le test.

    On peut comparer cette pratique par l’expression : Quand une mesure devient une cible, alors elle cesse d’être une bonne mesure. Et c’est exactement la même chose en science. La est un secteur compétitif. On a plus d’académiciens et de chercheurs certifiés que des chaires universitaires ou d’autres postes prestigieux. Mais même lorsque quelqu’un obtient un poste de recherche, il y a toujours de la compétition tels le renouvellement de son poste, les subventions et le soutien et le placement des étudiants diplômés. Et à cause de cette compétition pour les ressources, les scientifiques doivent être évalués et comparés. Comment pouvez-vous déterminer que quelqu’un est un bon scientifique ?

    L’un des critères est le nombre de papiers publiés dans des revues évaluées par des pairs ainsi que la réputation de ces revues. On a également l’index H qui permet de mesurer les citations d’un papier par d’autres chercheurs. Ce type de mesure permet de comparer une personne directement avec d’autres chercheurs, alors que les champs de recherche peuvent être différents. Malheureusement, cette pratique facilite également l’exploitation.

    Si les scientifiques sont motivés pour publier souvent dans des revues prestigieuses, alors on peut penser qu’ils tentent de jouer avec le système comme les étudiants qui font simplement ce qu’il faut pour passer les examens. Et certains scientifiques sont tentés de jouer le jeu et cela provoque des fraudes scientifiques qui sont parfois majeures en physique, en psychologie sociale et en pharmacologie clinique. Si la fraude malveillante est la principale inquiétude, alors la solution est peut-être simplement une meilleure vigilance. Cependant, je pense que la majorité des scientifiques sont réellement intéressés par l’apprentissage du monde et qu’ils sont honnêtes. Le problème avec les incitations est qu’elles peuvent façonner des normes culturelles sans une intention de la part des individus.

    L’évolution culturelle des pratiques scientifiques

    Est-ce que la science est parfaite ? Non, est-ce qu'elle peut mieux faire ? Assurément, si elle ne se tirait pas une balle dans le pied en accordant trop de place à certaines pratiques, notamment dans la publication scientifique et les nouvelles hypothèses.

    Crédit : IAEA, CC BY-SA

    Dans un papier récent, l’anthropologue Richard McElreath et moi-même avons considéré les incitations en via le prisme de l’évolution culturelle qui est un nouveau champ de recherche qui s’inspire des idées et des modèles de la biologie évolutionnaire, de l’épidémiologie, de la psychologie et des sciences sociales pour comprendre l’organisation et le changement culturel.

    Dans notre analyse, nous avons supposé que les méthodes associées avec un meilleur succès dans les carrières académiques tendent à se propager de manière égale. La propagation des méthodes à succès ne nécessite pas une évaluation consciencieuse dans la manière dont les scientifiques abusent du système.

    On doit se souvenir que les publications dans les revues prestigieuses sont la principale monnaie sur les décisions concernant le recrutement, les promotions et le financement. Les études qui montrent des associations très larges et surprenantes sont plus favorisées pour la publication dans les grandes revues. En revanche, les petites études, ayant des résultats non surprenants ou compliqués, passent souvent à la trappe et elles sont négligées par les grandes revues.

    Mais la plupart des hypothèses sont fausses, car les tests rigoureux sur ces nouvelles hypothèses prennent du temps et de l’effort. Les méthodes qui boostent les faux positifs (l’effet cigogne ou voir des liens où il n’y en a aucun) et la surestimation des effets observés vont permettre des publications sur une base plus régulière. En d’autres termes, quand il y a une incitation sur de nouveaux résultats, alors les méthodes pour les produire, indépendamment du fait qu’elles produisent d’énormes erreurs, sont encouragées implicitement ou même explicitement.

    Au fil du temps, ces pratiques douteuses seront associées au succès et elles tendront à se propager. Et cet argument est valable pour les pratiques de recherche douteuses jusqu’à la manipulation avérée des données. Par exemple, en dépit du fait qu’on l’utilise depuis un siècle, la valeur P, la mesure standard de la signification statistique, est encore largement incomprise.

    L’évolution culturelle de cette douteuse pour s’adapter aux incitations des publications scientifiques ne sous-entend pas un effort volontaire de triche ou de manipulation de la part des scientifiques. Ils seront toujours des chercheurs qui s’engagent à utiliser des méthodes rigoureuses et à respecter l’intégrité scientifique. Mais tant que les incitations institutionnelles récompensent les résultats très positifs ou novateurs, alors la rigueur va baisser et cette douteuse va augmenter.

    La simulation des scientifiques et de leurs incitations

    Il y a de plus en plus de preuves que les incitations de publication impactent négativement la recherche depuis des décennies. La fréquence des mots tels qu’innovant, révolutionnaire ou nouveau dans les extraits des papiers biomédicaux ont augmentée de 2 500 % sur les 40 dernières années. De plus, les chercheurs ne publient même plus les hypothèses qui n’ont plus de résultats positifs, car cela nuirait à leur réputation. Alors que normalement, toutes les recherches doivent être publiées même si l’hypothèse est fausse ou vraie puisqu’elle restera scientifique.

    Est-ce que la science est parfaite ? Non, est-ce qu'elle peut mieux faire ? Assurément, si elle ne se tirait pas une balle dans le pied en accordant trop de place à certaines pratiques, notamment dans la publication scientifique et les nouvelles hypothèses.

    Crédit : IAEA, CC BY-SA

    Nous avons analysé la puissance statistique sur la littérature des sciences comportementales et sociales. La puissance statistique est une mesure quantitative sur la capacité d’identifier une vraie association. Et une manière d’améliorer la puissance statistique est d’augmenter la taille de l’échantillon qui augmentera également le temps pour collecter les données par la même occasion. Au début des années 1990, il y a eu des critiques de plus en plus virulentes que la puissance statistique était trop faibles. Et notre étude montre que cette mesure n’a pas été augmentée malgré les critiques.

    Cette preuve est révélatrice, mais elle n’est pas concluante. Pour démontrer la logique de notre argumentation, nous avons construit un modèle informatique avec une population de laboratoires de recherche qui étudiaient des hypothèses. Seules certaines hypothèses étaient vraies et les laboratoires tentaient de publier leurs résultats.

    Dans notre analyse, nous avons supposé que chaque laboratoire effectuait un niveau d’effort caractéristique. L’augmentation de l’effort baisse le taux de faux positifs et cela augmente également les intervalles entre les résultats. Comme dans la réalité, nous avons supposé que les résultats positifs étaient plus faciles à publier que ceux qui sont négatifs. Tous nos laboratoires simulés étaient parfaitement honnêtes. Ils ne trichaient jamais. Cependant, les laboratoires, qui publiaient plus souvent, incitaient d’autres laboratoires à utiliser leurs méthodes. Dans la réalité, on a la même chose avec des étudiants qui quittent des laboratoires à succès pour lancer leur propre laboratoire et ils vont utiliser les mêmes méthodes. Et ensuite, nous avons suivi l’évolution de cette population. Nos résultats sont terrifiants. Au fil du temps, les efforts ont baissé jusqu’à la valeur minimale et le taux de faux positifs a crevé le plafond. Et la reproductibilité, qui est censée nous protéger contre cette science, ne nous sauvera pas. Par exemple, si la pratique douteuse est d’utiliser une taille d’échantillon très faible, alors les autres chercheurs vont aussi reproduire leurs résultats avec le même échantillon et donc, les faux positifs seront répétés puisque la méthode de base qui est biaisée.

    Réformer le système

    Le point important à comprendre est qu’il ne suffit pas d’imposer des normes éthiques élevées pour garantir que tous les scientifiques comprendront les meilleures pratiques. La culture de la douteuse peut évoluer, car les incitations institutionnelles privilégient des mesures quantitatives simples comme des mesures de succès.

    Il y a des indications que la situation s’améliore. Les revues, les organisations et les universités mettent de plus en plus d’emphase sur la réplication, les données en accès libre et la publication des résultats négatifs sans oublier des évaluations plus globales. Des services comme Twitter ou Youtube permettent de propager l’ et cela permet aux chercheurs comme aux citoyens de scruter les papiers scientifiques avec de plus en plus de rigueur. De plus, tous les chercheurs ne sont pas tentés par les lumières des publications scientifiques. Il y a des chercheurs qui travaillent d’arrache-pied et ils publient très peu. Ils préfèrent parler de leurs recherches directement avec le public. La est capable de s’autocorriger, mais on ne doit jamais sous-estimer les pratiques douteuses en estimant que seule une minorité de scientifiques est coupable. Ce n’est pas la science ou les scientifiques, mais bien tout le système qui pose un problème avec les revues scientifiques qui ont réussi à faire croire qu’elles sont indispensables et incontournables.

    Traduction d’un article de The Conversation par Paul Smaldino, professeur adjoint en sciences de l’information et cognitives à l’université de Californie.

    Note : L’article de The Conversation a été publié le 21 septembre 2016, mais 2 jours auparavant, le rédacteur en chef du site avait publié un article avec des constats similaires sur son site personnel. Évidemment, les termes sont plus fleuris, mais le résumé est que les études scientifiques ne sont plus scientifiques.

     

    N'oubliez pas de voter pour cet article !
    1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (No Ratings Yet)
    Loading...
    mm

    Jacqueline Charpentier

    Ayant fait une formation en chimie, il est normal que je me sois retrouvée dans une entreprise d'emballage. Désormais, je publie sur des médias, des blogs et des magazines pour vulgariser l'actualité scientifique et celle de la santé.

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *