Une triple approche pour garantir les résultats d’une étude scientifique

Des chercheurs viennent de démontrer que les humains sont arrivés plus tôt en Australie. Et ils ont utilisé une triple approche pour garantir la reproductibilité de leur étude scientifique.


Dans la reproductibilité de la science, la première étape est de ne pas avoir peur de vérifier d'anciennes découvertes - Crédit : Dominic O'Brien. Gundjeihmi Aboriginal Corporation, CC BY-ND
Dans la reproductibilité de la science, la première étape est de ne pas avoir peur de vérifier d'anciennes découvertes - Crédit : Dominic O'Brien. Gundjeihmi Aboriginal Corporation, CC BY-ND

Si vous suivez l’actualité ou médicale, alors vous aurez souvent des informations contradictoires. Le lundi, le café rallonge l’espérance de vie et le mercredi, ce même café peut vous donner un cancer des testicules ou des seins. Dans son émission Last Week Tonight, John Oliver résume parfaitement cette contradiction.1 Après un certain point, on se demande si la est du Bullshit. La réponse est non, mais il y a beaucoup de Bullshit qui masque la science.

Une grande partie du problème est ce qu’on appelle la en science qu’on peut résumer qu’une seconde étude invalide souvent les résultats de l’étude initiale.2 Les scientifiques s’inquiètent de ce problème et les revues scientifiques incitent de plus en plus les chercheurs à faire en sorte que leurs résultats soient reproductibles.3 4  Et des résultats irréproductibles résonnent en dehors de la tour d’ivoire de la science, car de nombreux résultats affectent nos vies quotidiennes.5

Par exemple, la science nous informe sur ce qu’on doit pour rester en bonne santé, comment les médecins doivent nous traiter, comment éduquer nos enfants ou organiser nos communautés. Si les études ne sont pas reproductibles, alors on ne peut pas les accepter comme des conseils ou des solutions. La n’est pas uniquement technique, car elle affecte le rôle de la science moderne dans notre société. Une fois qu’on a identifié la reproductibilité comme un problème, comment le résoudre ? On doit changer l’incitation des chercheurs sur la publication ou le financement. Mais il y a plein de choses que la communauté scientifique peut faire. Il pourrait être surprenant que les archéologues soient sur la ligne de front pour améliorer cette situation.6 Et notre papier dans la revue Nature propose une triple approche pour améliorer la reproductibilité des résultats scientifiques.7

Retourner au point de départ

Crédit : Dominic O'Brien. Gundjeihmi Aboriginal Corporation, CC BY-ND

Crédit : Dominic O’Brien. Gundjeihmi Aboriginal Corporation, CC BY-ND

Dans notre nouvelle étude, nous décrivons des travaux sur un site archéologique dans le nord de l’Australie. Les résultats de nos fouilles et de nos analyses de laboratoire montrent que les humains sont arrivés en Australie il y a 65 000 ans, soit bien plus tôt que les 47 000 ans des estimations précédentes.8 Cette date possède des implications excitantes sur la compréhension de l’évolution humaine.8 Et cette étude a utilisé une triple approche pour que les résultats soient reproductibles. On a le travail sur le terrain, en laboratoire et les analyses de données.

Notre première étape sur la reproductibilité est de choisir l’hypothèse à analyser. Plutôt que de chercher de nouvelles choses, nous avons refait des fouilles sur un site archéologique qui est connu pour avoir des artefacts très anciens.9 Il y avait déjà 2 fouilles sur l’abri en pierre Madjedbebe dans le Territoire du Nord en Australie. Des fouilles en 1989 avaient montré que les humains sont arrivés en Australie il y a 50 000 ans.10 Mais de nombreux archéologues n’avaient pas accepté cette datation et ils ont refusé d’accepter une date plus ancienne que 47 000 ans.

Cette datation était controversée dès la première publication et notre objectif de revisiter le site était de déterminer si cette étude était fiable ou non. Est-ce qu’on peut reproduire cette datation de 50 000 ans et c’était juste le hasard qui n’indiquait pas la vraie période de l’habitation humaine en Australie. Comme de nombreux scientifiques, les archéologues sont moins intéressés par d’anciennes découvertes. Le problème est que cela laisse de nombreuses questions non résolues et il est difficile de construire une fondation solide de la connaissance.

Un double contrôle des tests de laboratoire

La seconde partie de notre stratégie de reproductibilité était de vérifier si nos analyses de laboratoire étaient fiables. Notre équipe a utilisé des méthodes par luminescence pour dater les grains de sable à côté des anciens artefacts.11 Cette méthode est complexe et il n’y a que quelques endroits au monde on possède l’équipement et la compétence nécessaire pour dater ces échantillons.

Nous avons d’abord analysé les échantillons dans notre laboratoire de l’université Wollongong.12 Ensuite, nous avons envoyé des copies d’échantillons en aveugle à un autre laboratoire à l’université d’Adélaide sans dire nos résultats au laboratoire.13 Nous avons comparé les 2 analyses et nous avons trouvé la même datation. Ce genre de vérification est rare en , mais comme ce site était controversé, on voulait que nos datations soient reproductibles.

Ces tâches supplémentaires coutent de l’argent et du temps, mais il est vital de prouver que nos datations donnent les vraies périodes sur les sédiments entourant les artefacts. Cette vérification montre que nos résultats de laboratoire ne sont pas dus au hasard à cause des conditions propres du laboratoire. D’autres archéologues et le public peuvent avoir confiance dans nos résultats à cause de ces tâches supplémentaires. Ce contrôle externe doit devenir une norme dans n’importe quelle étude scientifique avec des résultats controversés.

Ne transformez pas votre ordinateur en boite noire

Crédit : Erin Kohlenberg, CC BY

Crédit : Erin Kohlenberg, CC BY

Après le travail sur le terrain et les analyses de laboratoire, nous avons analysé les données sur nos ordinateurs. Cette étape est similaire aux travaux d’autres scientifiques. Nous avons chargé les données brutes dans nos ordinateurs pour les visualiser et tester les hypothèses avec des méthodes statistiques. Cependant, d’autres chercheurs le font avec des logiciels commerciaux normalisés, mais nous avons développé nos propres scripts avec le langage de programmation R.14

Le fait de pointer et de cliquer ne permet pas d’avoir la trace des décisions importantes pendant l’analyse de données. Les analyses basées sur le clic de souris donnent un résultat final au chercheur, mais il n’a aucune idée des étapes qui lui ont donné ce résultat. C’est donc difficile de remonter les étapes d’une analyse et on doit juste espérer que les suppositions du chercheur étaient correctes.15

En revanche, nos scripts contiennent un enregistrement de nos étapes et décisions de l’analyse. Ils sont comme une recette pour générer nos résultats. D’autres chercheurs, n’utilisant pas de scripts, n’ont pas cette recette et leurs résultats seront difficiles à reproduire. Un autre avantage de nos résultats est qu’on peut le partager avec la communauté scientifique et le public. Nous respectons les normes pour que nos scripts et nos données soient disponibles librement et n’importe qui peut inspecter nos analyses et nos données.16 17

Il est facile de comprendre pourquoi de nombreux chercheurs préfèrent le point et clic plutôt que d’écrire leurs propres scripts. C’est ce qu’on leur apprit quand ils étaient étudiants. Cela prend du temps d’apprendre de nouveaux outils d’analyses et on a la pression de l’enseignement, de demander des subventions, de faire des travaux sur le terrain et d’écrire des études scientifiques. Mais en dépit des défis, on a un mouvement qui délaisse progressivement le point et clic vers des analyses basées sur les scripts personnalisés.

Combattre l’irréproductibilité avec une étape à la fois

Notre récent papier fait partie d’un nouveau mouvement qui émerge dans de nombreuses disciplines pour améliorer la reproductibilité de la science. On a des exemples de papiers avec des méthodes similaires dans l’épidémiologie, l’océanographie ou les neurosciences.18 19 20

Nous espérons que notre exemple va inspirer d’autres chercheurs à faire en sorte que leurs résultats soient reproductibles. Certaines étapes sont difficiles, car il faut apprendre de nouveaux outils sans oublier qu’il faut accepter de publier toutes les données et analyses. Mais ils sont essentiels pour avoir des résultats fiables et maintenir la confiance du public dans la connaissance scientifique.

Traduction d’un article de The Conversation par Ben Marwick, professeur adjoint d’archéologie à l’université de Washington et Zenobia Jacobs, professeure à l’université de Wollongong.

Sources

1.
Scientific Studies: Last Week Tonight with John Oliver (HBO). YouTube. https://www.youtube.com/watch?v=0Rnq1NpHdmw. Published May 8, 2016. Accessed July 20, 2017. [Source]
2.
Reproducibility News, Research and Analysis – The Conversation. The Conversation. https://theconversation.com/us/topics/reproducibility-5484. Accessed July 20, 2017.
3.
Baker M. 1,500 scientists lift the lid on reproducibility. Nature. 2016;533(7604):452-454. doi: 10.1038/533452a
4.
Nosek BA, Alter G, Banks GC, et al. Promoting an open research culture. Science. 2015;348(6242):1422-1425. doi: 10.1126/science.aab2374
5.
Yong E, Gray R, Fortenbury J, et al. Psychology’s Replication Crisis Can’t Be Wished Away. The Atlantic. https://www.theatlantic.com/science/archive/2016/03/psychologys-replication-crisis-cant-be-wished-away/472272/. Published July 19, 2017. Accessed July 20, 2017.
6.
Marwick B. Computational Reproducibility in Archaeological Research: Basic Principles and a Case Study of Their Implementation. J Archaeol Method Theory. 2016;24(2):424-450. doi: 10.1007/s10816-015-9272-9
7.
Clarkson C, Jacobs Z, Marwick B, et al. Human occupation of northern Australia by 65,000 years ago. Nature. 2017;547(7663):306-310. doi: 10.1038/nature22968
8.
Marwick B, Clarkson C, Wallis L, Fullagar R, Jacobs Z. Buried tools and pigments tell a new history of humans in Australia for 65,000 years. The Conversation. http://theconversation.com/buried-tools-and-pigments-tell-a-new-history-of-humans-in-australia-for-65-000-years-81021. Published July 19, 2017. Accessed July 20, 2017.
9.
Clarkson C, Smith M, Marwick B, et al. The archaeology, chronology and stratigraphy of Madjedbebe (Malakunanja II): A site in northern Australia with early occupation. Journal of Human Evolution. 2015;83:46-64. doi: 10.1016/j.jhevol.2015.03.014
10.
Roberts RG, Jones R, Smith MA. Thermoluminescence dating of a 50,000-year-old human occupation site in northern Australia. Nature. 1990;345(6271):153-156. doi: 10.1038/345153a0
11.
What is Thermoluminescence Dating and How Does It Work? ThoughtCo. https://www.thoughtco.com/luminescence-dating-cosmic-method-171538. Accessed July 20, 2017.
12.
Optial Stimulated Luminescence Dating Labor. smah.uow.edu.au. http://smah.uow.edu.au/sees/facilities/UOW002889.html. Accessed July 20, 2017.
13.
Environmental Luminescence Facility | Institute for Photonics and Advanced Sensing. http://adelaide.edu.au. https://www.adelaide.edu.au/ipas/facilities/luminescence/. Accessed July 20, 2017.
14.
Tippmann S. Programming tools: Adventures with R. Nature. 2014;517(7532):109-110. doi: 10.1038/517109a
15.
Marwick B. How computers broke science – and what we can do to fix it. The Conversation. https://theconversation.com/how-computers-broke-science-and-what-we-can-do-to-fix-it-49938. Published November 9, 2015. Accessed July 20, 2017.
16.
Eglen SJ, Marwick B, Halchenko YO, et al. Toward standard practices for sharing computer code and programs in neuroscience. Nat Neurosci. 2017;20(6):770-773. doi: 10.1038/nn.4550
17.
OSF | Madjedbebe Geoarchaeology & Lithics, 2012-2015 Excavations. osf.io. https://osf.io/qwfcz/. Accessed July 20, 2017.
18.
Olival KJ, Hosseini PR, Zambrana-Torrelio C, Ross N, Bogich TL, Daszak P. Host and viral traits predict zoonotic spillover from mammals. Nature. 2017;546(7660):646-650. doi: 10.1038/nature22975
19.
Lowndes JSS, Best BD, Scarborough C, et al. Our path to better science in less time using open data science tools. Nat ecol evol. 2017;1(6):0160. doi: 10.1038/s41559-017-0160
20.
Savier E, Eglen SJ, Bathélémy A, et al. A molecular mechanism for the topographic alignment of convergent neural maps. eLife. 2017;6. doi: 10.7554/elife.20470

N'oubliez pas de voter pour cet article !
1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (1 votes, average: 5,00 out of 5)
Loading...
mm

Jacqueline Charpentier

Ayant fait une formation en chimie, il est normal que je me sois retrouvée dans une entreprise d'emballage. Désormais, je publie sur des médias, des blogs et des magazines pour vulgariser l'actualité scientifique et celle de la santé.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *