samedi , 24 juin 2017

L’analyse des biais dans les études scientifiques pour identifier des critères précis

Dans toutes les disciplines scientifiques, des études minimales, des études précoces et des études très citées surestiment systématiquement la taille de l’effet selon une recherche de l’université de Stanford.


L’analyse des biais dans les études scientifiques pour identifier des critères précis
Le statut au début de la carrière d’un scientifique, l’isolement des autres chercheurs et l’implication dans la fraude scientifique sont des facteurs de risque pour des résultats incorrects selon l’équipe de recherche. Le papier est publié dans PNAS. Daniele Fanelli, chercheur senior est le principal auteur tandis que John Ioannidis, professeur de médecine et de santé est l’auteur senior.

Tous les travaux scientifiques peuvent être affectés par des biais selon Ioannidis. Mais cette recherche permet de déterminer les biais les plus fréquents, les facteurs qui provoquent ces biais et les disciplines qui sont les plus affectées.

Je pense que c’est un exercice de cartographie selon Ioannidis. Il cartographie les principaux biais sur 22 disciplines scientifiques. Désormais, nous avons une carte pour chaque discipline avec les biais et les facteurs qui sont importants. Pour les sources, les chercheurs ont étudié plus de 3 000 méta-analyses qui comptent plus de 50 000 études scientifiques à travers 22 disciplines scientifiques. Nos résultats montrent des messages rassurants, mais il y a également des problèmes.

Les types de biais

Avant leur analyse, les chercheurs ont posé différentes hypothèses sur les biais qu’ils allaient trouver :

  • Les études montrant des petits effets – Les études qui tirent leurs conclusions sur de petits effets (avec un échantillon minimal), mais qui les généralisent.
  • Le biais de la littérature scientifique – La tendance à rapporter des effets minimaux et inexistants provenant des thèses, des rapports de conférence et des communications personnelles plutôt qu’une littérature évaluée par les pairs.
  • Des effets extrêmes trop précoces – Quand les chercheurs publient des résultats extrêmes ou controversés parce qu’ils sont incroyables.
  • L’effet de déclin – Quand une étude montre des effets extrêmes, mais qui sont réduits avec les réplications des études.
  • Les biais de citation – Plus l’effet rapporté est grand et plus on a tendance à citer l’étude.
  • Les effets « États-Unis » : Quand les chercheurs américains surestiment la taille de l’effet.
  • Les biais de l’industrie : Quand le financement par l’industrie affecte la direction et l’effet observé.

L’équipe a également regardé les facteurs dont on pense qu’ils augmentent le risque de biais tels que la taille et le type de collaboration, le genre des chercheurs et la pression de publier (Publish or Perish). De très loin, le plus gros biais provient des petites études tandis que les autres sources de biais proviennent des petits effets. L’équipe a également découvert que les petites études, mais très cités, surestiment les effets. Les études américaines et les études précoces rapportent souvent des effets extrêmes. Les chercheurs en début de carrière ou ceux qui travaillent avec de petites collaborations ou sur de grandes distances ont tendance à surestimer les effets. Et évidemment, les chercheurs, ayant déjà commis une fraude scientifique, surestiment également les effets.

En revanche, les études par des scientifiques réputés, qui publient fréquemment, n’étaient pas affectées par le biais par rapport à la moyenne. Les recherches par les hommes n’étaient pas non plus affectées par rapport à celles par les femmes. Et les scientifiques, subissant de fortes incitations à publier tels qu’aux États-Unis, n’avaient pas plus de biais que ceux qui vivent dans un pays où la pression est moins forte. Ces résultats confirment que même s’il y a une pression de publication, le processus d’auto-correction et de surveillance constante du processus scientifique permet d’éviter les biais même avec des facteurs à risque.

On peut réduire chaque type de biais avec certains mécanismes. Par exemple, pour les petites études, il est facile d’avoir une signifiance statistique en augmentant la taille de l’échantillon. Mais il y a un problème. Les revues scientifiques publient davantage les effets statistiquement significatifs. De ce fait, les petites études qui proposent des effets statistiquement significatifs seront également publiées puisque c’est l’effet qui sera médiatisé et non le protocole ou l’échantillon.

Ioannidis a déclaré que l’influence des biais évolue avec le temps et cela dépend de chaque chercheur. Nous montrons que certains patterns et facteurs à risque empirent au fil du temps. C’est particulièrement le cas pour les sciences sociales. Si vous regardez la biologie, la médecine, la physique et les sciences sociales, alors ces dernières vont empirer leurs biais au fil du temps.

L’une des découvertes surprenantes des travaux selon Fanelli est que le genre et la quantité des biais varient de manière très irrégulière à travers la littérature scientifique. Même si le biais peut être très élevé dans certaines disciplines, il n’existe pas dans de nombreuses autres. Donc, le biais ne fragilise pas la science dans son ensemble.

Une autre découverte de l’étude est que la quantité de biais reflète le niveau d’attention qu’elle reçoit dans la littérature. Cela signifie, par exemple, que les psychologues et les sociologues, connaissent très bien les biais qui affectent leurs études et qu’ils s’améliorent au fil du temps. Par exemple, on a le Reproducibility Project: Psychology qui a analysé près de 270 études psychologiques provenant de 3 revues.1 On a également le Reproducibility Project: Cancer Biology qui veut reproduire les études les plus citées concernant le cancer qui est toujours en cours.2 Ce dernier projet subit des problèmes de manque de financement, mais ces initiatives ont marqué un nouvel élan dans le monde scientifique pour reproduire des résultats qu’on croyait admis.3

La recherche actuelle mentionne également que les solutions devront être ciblées pour chaque discipline, car certains biais sont vraiment spécifiques. Il n’y a pas de solution miracle qui permet de confirmer ou d’informer toutes les études, car il faut procéder au cas par cas.

Les solutions et les interventions

Ioannidis averti que les données sont purement des observations et non expérimentales. C’est une distinction importante, car l’étude montre une corrélation et non une cause à effet. Ce n’est pas parce que vous menez une petite étude qu’elle va souffrir forcément de biais. Ainsi, vous pouvez avoir un échantillon de 30 personnes si vous étudiez une maladie rare. Les données indiquent que les biais sont plus présents dans les petites études, mais on ne peut pas dire que les petites études provoquent des biais dans les résultats, car cela reviendrait à induire une cause à effet qui est inexistante. Parce que oui, on pourrait dire qu’il faut simplement de grandes études et ce n’est pas une solution, mais une intervention.

Mais les études sur de grands échantillons pourraient être une piste, mais elles doivent s’accompagner avec beaucoup d’auteurs qui se communiquent constamment pour que chacun vérifie les résultats respectifs. Les chercheurs prennent l’exemple des physiciens qui ont pris la décision de se concentrer sur de grandes collaborations dans le monde entier. Les petites études sont négligeables en physique et aujourd’hui, une étude de physique va impliquer des dizaines d’auteurs avec des tonnes de données. Et parfois, cela peut donner un résultat inattendu avec un papier de quelques pages, mais qui possède des milliers d’auteurs, car le projet est vraiment d’une grande ampleur.

Les chercheurs estiment que chaque acteur dans la communauté scientifique doit prendre conscience de ces biais et les réduire autant que possible. On a les agences de financement et de régulation qui peuvent implanter des critères stricts. On a les revues scientifiques qui doivent éviter de se précipiter sur la moindre découverte trop précoce. Il faut que les scientifiques et ceux qui les entourent se rendent compte du problème pour proposer une solution.

Source : PNAS (http://www.pnas.org/cgi/doi/10.1073/pnas.1618569114)

Sources

1.
Estimating the Reproducibility of Psychological Science. osf.io. https://osf.io/ezcuj/wiki/home/.
2.
Reproducibility Project: Cancer Biology. osf.io. https://osf.io/e81xl/wiki/home/.
3.
Baker M, Dolgin E. Cancer reproducibility project releases first results. Nature. 2017;541(7637):269-270. doi: 10.1038/541269a
N'oubliez pas de voter :
1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (No Ratings Yet)
Loading...

Faites un don sur notre page Patreon

Quelle est la fiabilité de cette information ou étude ?


A propos de Jacqueline Charpentier

mm
Ayant fait une formation en chimie, il est normal que je me sois retrouvée dans une entreprise d'emballage. Désormais, je publie sur des médias, des blogs et des magazines pour vulgariser l'actualité scientifique et celle de la santé.

Un commentaire

Répondre

Votre adresse email ne sera pas publiée. Les champs obligatoires sont marqués d'une étoile *

*

Timber by EMSIEN 3 Ltd BG