The Crowdsourced Replication Initiative participant survey

Item Type:	Dataset
Title:	The Crowdsourced Replication Initiative participant survey
Date:	2021
Creator:	Breznau, Nate ; Rinke, Eike Mark ORCID: 0000-0002-5330-7634 ; Wuttke, Alexander ORCID: 0000-0002-9579-5357
Divisions:	Außerfakultäre Einrichtungen > MZES
Publisher:	Harvard Dataverse

DDC Classification:	300 Social sciences, sociology, anthropology
Abstract:	The Crowdsourced Replication Initiative (CRI) involved 204 researchers who volunteered to engage in a replication of a well-known study on immigration and social policy preferences. In this project, the participants were surveyed four times between August 20th, 2018 and January 20th, 2019. Survey questions with identifying features have been removed to protect participant anonymity and the data are available in the file cri_survey_long_public with labels or *_nolabs, without. The survey included both objective criteria, such as experience with methods and the substantive topic of the replication, and subjective criteria, such as the participants own beliefs about the hypothesis and immigration in general. In addition, they were asked questions about their time commitment, constraints they faced and some other feedback about the process of crowdsourcing. (2019-01-28) As of 2024, we provide data on the participants’ reviews of the other teams’ models. These review scores were initially not directly useable due to some problems with the 4th wave of the participant survey. The participants were given model descriptions that did not always match with the models they should have reflected. However, we have now used these paragraphs to match descriptions. We were able to match roughly 95% of all models. The new data file peer_model_dyad allows users to analyze data that are in participant-model dyad format. These data are linkable to both the participant survey here, and the CRI model specification and results data on Github (https://github.com/nbreznau/CRI). Because of matching and uneven numbers of models per team, there are some participants whose rankings apply to dozens of models and others only a few. The variable descriptions for these data are in the peer_model_dyad_codebook file. We also now provide dyadic data that matches each participant with each model specification produced by their team in df_dyad. These data contain all model specifications and the AME (Average Marginal Effect) produced by that model. (2024-11-11) (English)
External Identifier for Data:	https://doi.org/10.7910/DVN/UUP8CX

URL:	https://madata.bib.uni-mannheim.de/1132/
Access (Controlled):	Only Metadata
License (Controlled):	Creative Commons: CC0 | Universal 1.0 (recommended)
Related Publication(s) in MADOC:	Breznau, Nate und Rinke, Eike Mark und Wuttke, Alexander und Nguyen, Hung H. V. und Adem, Muna und Adriaans, Jule und Alvarez-Benjumea, Amalia und Andersen, Henrik K. und Auer, Daniel und Azevedo, Flavio und Bahnsen, Oke und Balzer, Dave und Bauer, Gerrit und Bauer, Paul C. und Baumann, Markus und Baute, Sharon und Benoit, Verena und Bernauer, Julian und Berning, Carl und Berthold, Anna und Bethke, Felix S. und Biegert, Thomas und Blinzler, Katharina und Blumenberg, Johannes N. und Bobzien, Licia und Bohman, Andrea und Bol, Thijs und Bostic, Arnie und Brzozowska, Zuzanna und Burgdorf, Katharina und Burger, Kaspar und Busch, Kathrin B. und Carlos-Castillo, Juan und Chan, Nathan und Christmann, Pablo und Connelly, Roxanne und Czymara, Christian und Damian, Elena und Ecker, Alejandro und Edelmann, Achim und Eger, Maureen A. und Ellerbrock, Simon und Forke, Anna und Forster, Andrea und Gaasendam, Chris und Gavras, Konstantin und Gayle, Vernon und Gessler, Theresa und Gnambs, Timo und Godefroidt, Amélie und Grömping, Max und Groß, Martin und Gruber, Stefan und Gummer, Tobias und Hadjar, Andreas und Heisig, Jan Paul und Hellmeier, Sebastian und Heyne, Stefanie und Hirsch, Magdalena und Hjerm, Mikael und Hochman, Oshrat und Hövermann, Andreas und Hunger, Sophia und Hunkler, Christian und Huth, Nora und Ignácz, Zsófia S. und Jacobs, Laura und Jacobsen, Jannes und Jaeger, Bastian und Jungkunz, Sebastian und Jungmann, Nils und Kauff, Mathias und Kleinert, Manuel und Klinger, Julia und Kolb, Jan-Philipp und Kołczyńska, Marta und Kuk, John und Kunißen, Katharina und Kurti Sinatra, Dafina und Langenkamp, Alexander und Lersch, Philipp M. und Löbel, Lea-Maria und Lutscher, Philipp und Mader, Matthias und Madia, Joan E. und Malancu, Natalia und Maldonado, Luis und Marahrens, Helge und Martin, Nicole und Martinez, Paul und Mayerl, Jochen und Mayorga, Oscar J. und McManus, Patricia und McWagner, Kyle und Meeusen, Cecil und Meierrieks, Daniel und Mellon, Jonathan und Merhout, Friedolin und Merk, Samuel und Meyer, Daniel und Micheli, Leticia und Mijs, Jonathan und Moya, Cristóbal und Neunhoeffer, Marcel und Nüst, Daniel und Nygård, Olav und Ochsenfeld, Fabian und Otte, Gunnar und Pechenkina, Anna O. und Prosser, Christopher und Raes, Louis und Ralston, Kevin und Ramos, Miguel R. und Roets, Arne und Rogers, Jonathan und Ropers, Guido und Samuel, Robin und Sand, Gregor und Schachter, Ariela und Schaeffer, Merlin und Schieferdecker, David und Schlueter, Elmar und Schmidt, Regine und Schmidt, Katja M. und Schmidt-Catran, Alexander und Schmiedeberg, Claudia und Schneider, Jürgen und Schoonvelde, Martijn und Schulte-Cloos, Julia und Schumann, Sandy und Schunck, Reinhard und Schupp, Jürgen und Seuring, Julian und Silber, Henning und Sleegers, Willem W. A. und Sonntag, Nico und Staudt, Alexander und Steiber, Nadia und Steiner, Nils D. und Sternberg, Sebastian und Stiers, Dieter und Stojmenovska, Dragana und Storz, Nora und Striessnig, Erich und Stroppe, Anne-Kathrin und Teltemann, Janna und Tibajev, Andrey und Tung, Brian und Vagni, Giacomo und Van Assche, Jan und Van der Linden, Meta und Van der Noll, Jolanda und Van Hootegem, Arno und Vogtenhuber, Stefan und Voicu, Bogdan und Wagemans, Fieke und Wehl, Nadja und Werner, Hannah und Wiernik, Brenton M. und Winter, Fabian und Wolf, Christof und Yamada, Yuki und Zhang, Nan und Ziller, Conrad und Zins, Stefan und Żółtak, Tomasz (2022), Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty
External Identifier of Related Publication (e.g. DOI, URN):	https://osf.io/preprints/socarxiv/6j9qb_v1 , https://doi.org/10.1177/0003122413513022

Full text not available from this repository.

Date Deposited:	10 Jul 2026 11:18
Last Modified:	18 Aug 2026 09:21