Consensus-based guidance for conducting and reporting multi-analyst studies
Balazs Aczel
(1)
,
Barnabas Szaszi
(1)
,
Gustav Nilsonne
(2)
,
Olmo van den Akker
(3)
,
Casper Albers
(4)
,
Marcel Alm van Assen
(3)
,
Jojanneke Bastiaansen
(4)
,
Daniel Benjamin
(5)
,
Udo Boehm
(6)
,
Rotem Botvinik-Nezer
(7)
,
Laura Bringmann
(4)
,
Niko Busch
(8)
,
Emmanuel Caruyer
(9)
,
Andrea Cataldo
(10)
,
Nelson Cowan
(11)
,
Andrew Delios
(12)
,
Noah van Dongen
(6)
,
Chris Donkin
(13)
,
Johnny van Doorn
(6)
,
Ann Dreber
(14)
,
Gilles Dutilh
(15)
,
Gary Egan
(16)
,
Morton Ann Gernsbacher
(17)
,
Rink Hoekstra
(4)
,
Sabine Hoffmann
(18)
,
Felix Holzmeister
(19)
,
Juergen Huber
(19)
,
Magnus Johannesson
(14)
,
Kai Jonas
(20)
,
Alexander Kindel
(21)
,
Michael Kirchler
(19)
,
Yoram Kunkels
(4)
,
D Stephen Lindsay
(22)
,
Jean-Francois Mangin
(23)
,
Dora Matzke
(6)
,
Marcus Munafò
(24)
,
Ben Newell
(13)
,
Brian Nosek
(25)
,
Russell Poldrack
(26)
,
Don van Ravenzwaaij
(4)
,
Jörg Rieskamp
(27)
,
Matthew Salganik
(21)
,
Alexandra Sarafoglou
(6)
,
Tom Schonberg
(28)
,
Martin Schweinsberg
(29)
,
David Shanks
(30)
,
Raphael Silberzahn
(31)
,
Daniel Simons
(32)
,
Barbara Spellman
(25)
,
Samuel St-Jean
(33)
,
Jeffrey Starns
(34)
,
Eric Luis Uhlmann
(35)
,
Jelte Wicherts
(3)
,
Eric-Jan Wagenmakers
(6)
1
ELTE -
Eötvös Loránd University
2 Karolinska Institutet [Stockholm]
3 Tilburg University [Tilburg]
4 University of Groningen [Groningen]
5 USC - University of Southern California
6 UvA - University of Amsterdam [Amsterdam] = Universiteit van Amsterdam
7 Dartmouth College [Hanover]
8 WWU - Westfälische Wilhelms-Universität Münster = University of Münster
9 Empenn - Neuroimagerie: méthodes et applications
10 McLean Hospital [Belmont, Ma.]
11 Mizzou - University of Missouri [Columbia]
12 NUS - National University of Singapore
13 UNSW - University of New South Wales [Sydney]
14 SSE - Stockholm School of Economics
15 University Hospital Basel [Basel]
16 Monash University [Melbourne]
17 University of Wisconsin-Madison
18 LMU - Ludwig Maximilian University [Munich] = Ludwig Maximilians Universität München
19 Leopold Franzens Universität Innsbruck - University of Innsbruck
20 Maastricht University [Maastricht]
21 Princeton University
22 UVIC - University of Victoria [Canada]
23 Université Paris-Saclay
24 University of Bristol [Bristol]
25 University of Virginia
26 Stanford University
27 Unibas - Université de Bâle = University of Basel = Basel Universität
28 TAU - Tel Aviv University
29 ESMT - European School of Management and Technology [Berlin, Germany]
30 UCL - University College of London [London]
31 University of Sussex
32 UIUC - University of Illinois at Urbana-Champaign [Urbana]
33 University of Alberta
34 UMass Amherst - University of Massachusetts [Amherst]
35 INSEAD - Institut européen d'administration des affaires [Singapour, Singapour]
2 Karolinska Institutet [Stockholm]
3 Tilburg University [Tilburg]
4 University of Groningen [Groningen]
5 USC - University of Southern California
6 UvA - University of Amsterdam [Amsterdam] = Universiteit van Amsterdam
7 Dartmouth College [Hanover]
8 WWU - Westfälische Wilhelms-Universität Münster = University of Münster
9 Empenn - Neuroimagerie: méthodes et applications
10 McLean Hospital [Belmont, Ma.]
11 Mizzou - University of Missouri [Columbia]
12 NUS - National University of Singapore
13 UNSW - University of New South Wales [Sydney]
14 SSE - Stockholm School of Economics
15 University Hospital Basel [Basel]
16 Monash University [Melbourne]
17 University of Wisconsin-Madison
18 LMU - Ludwig Maximilian University [Munich] = Ludwig Maximilians Universität München
19 Leopold Franzens Universität Innsbruck - University of Innsbruck
20 Maastricht University [Maastricht]
21 Princeton University
22 UVIC - University of Victoria [Canada]
23 Université Paris-Saclay
24 University of Bristol [Bristol]
25 University of Virginia
26 Stanford University
27 Unibas - Université de Bâle = University of Basel = Basel Universität
28 TAU - Tel Aviv University
29 ESMT - European School of Management and Technology [Berlin, Germany]
30 UCL - University College of London [London]
31 University of Sussex
32 UIUC - University of Illinois at Urbana-Champaign [Urbana]
33 University of Alberta
34 UMass Amherst - University of Massachusetts [Amherst]
35 INSEAD - Institut européen d'administration des affaires [Singapour, Singapour]
Balazs Aczel
- Fonction : Auteur
- PersonId : 792930
- ORCID : 0000-0001-9364-4988
Barnabas Szaszi
- Fonction : Auteur
- PersonId : 792939
- ORCID : 0000-0001-7078-2712
Gustav Nilsonne
- Fonction : Auteur
- PersonId : 794676
- ORCID : 0000-0001-5273-0150
Jojanneke Bastiaansen
- Fonction : Auteur
- PersonId : 814792
- ORCID : 0000-0003-4831-6402
Daniel Benjamin
- Fonction : Auteur
- PersonId : 799920
- ORCID : 0000-0002-2642-5416
Udo Boehm
- Fonction : Auteur
- PersonId : 814793
- ORCID : 0000-0002-8677-0721
Rotem Botvinik-Nezer
- Fonction : Auteur
- PersonId : 802040
- ORCID : 0000-0003-2669-1877
Laura Bringmann
- Fonction : Auteur
- PersonId : 814794
- ORCID : 0000-0002-8091-9935
Niko Busch
- Fonction : Auteur
- PersonId : 814795
- ORCID : 0000-0003-4837-0345
Emmanuel Caruyer
- Fonction : Auteur
- PersonId : 740306
- IdHAL : emmanuel-caruyer
- ORCID : 0000-0002-8547-7726
- IdRef : 237499789
Andrea Cataldo
- Fonction : Auteur
- PersonId : 814796
- ORCID : 0000-0003-2787-224X
Nelson Cowan
- Fonction : Auteur
- PersonId : 779096
- ORCID : 0000-0003-3711-4338
Andrew Delios
- Fonction : Auteur
- PersonId : 764203
- ORCID : 0000-0002-6791-227X
Noah van Dongen
- Fonction : Auteur
- PersonId : 814797
- ORCID : 0000-0003-0387-7388
Johnny van Doorn
- Fonction : Auteur
- PersonId : 814798
- ORCID : 0000-0003-0270-096X
Ann Dreber
- Fonction : Auteur
- PersonId : 814799
- ORCID : 0000-0003-3989-9941
Gary Egan
- Fonction : Auteur
- PersonId : 814800
- ORCID : 0000-0002-3186-4026
Morton Ann Gernsbacher
- Fonction : Auteur
- PersonId : 814801
- ORCID : 0000-0003-0397-3329
- IdRef : 033498725
Rink Hoekstra
- Fonction : Auteur
- PersonId : 814802
- ORCID : 0000-0002-1588-7527
Sabine Hoffmann
- Fonction : Auteur
- PersonId : 799122
- ORCID : 0000-0001-6197-8801
Felix Holzmeister
- Fonction : Auteur
- PersonId : 794667
- ORCID : 0000-0001-9606-0427
Juergen Huber
- Fonction : Auteur
- PersonId : 794668
- ORCID : 0000-0003-0073-0321
Magnus Johannesson
- Fonction : Auteur
- PersonId : 794109
- ORCID : 0000-0001-8759-6393
- IdRef : 056756410
Michael Kirchler
- Fonction : Auteur
- PersonId : 794669
- ORCID : 0000-0002-5416-2545
Jean-Francois Mangin
- Fonction : Auteur
- PersonId : 183406
- IdHAL : jean-francois-mangin
- ORCID : 0000-0002-1612-461X
- IdRef : 126215499
Ben Newell
- Fonction : Auteur
- PersonId : 814803
- ORCID : 0000-0003-1898-205X
Russell Poldrack
- Fonction : Auteur
- PersonId : 783513
- ORCID : 0000-0001-6755-0259
- IdRef : 165846089
Don van Ravenzwaaij
- Fonction : Auteur
- PersonId : 814804
- ORCID : 0000-0002-5030-4091
Jörg Rieskamp
- Fonction : Auteur
- PersonId : 814805
- ORCID : 0000-0003-2632-8015
Martin Schweinsberg
- Fonction : Auteur
- PersonId : 806189
- ORCID : 0000-0003-3529-9463
David Shanks
- Fonction : Auteur
- PersonId : 814806
- ORCID : 0000-0002-4600-6323
- IdRef : 050278002
Samuel St-Jean
- Fonction : Auteur
- PersonId : 768615
- ORCID : 0000-0002-8092-2974
Jelte Wicherts
- Fonction : Auteur
- PersonId : 814807
- ORCID : 0000-0003-2415-2933
Résumé
Any large dataset can be analyzed in a number of ways, and it is possible that the use of different analysis strategies will lead to different results and conclusions. One way to assess whether the results obtained depend on the analysis strategy chosen is to employ multiple analysts and leave each of them free to follow their own approach. Here, we present consensus-based guidance for conducting and reporting such multi-analyst studies, and we discuss how broader adoption of the multi-analyst approach has the potential to strengthen the robustness of results and conclusions obtained from analyses of datasets in basic and applied research.
Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|