Dados is one of the most widely-read social sciences journals in Latin America. Created in 1966, it publishes innovative works, originating from academic research, by Brazilian and foreign authors. Edited by IESP-UERJ, it aims to reconcile scientific rigor and academic excellence with an emphasis on public debate based on the analysis of substantive issues of society and politics.
A partir deste ano, a revista DADOS contará com uma editoria especificamente constituída para lidar com as questões de replicabilidade de seus artigos. Desde sua fundação, em 1966, a publicação tem construído seu nome com o compromisso de produzir informações objetivas e válidas sobre o mundo social. Esse compromisso englobou a ruptura com o ensaísmo em prol de uma visão mais sistemática de pesquisa, que determinou a divulgação de manuscritos fortemente amparados em evidências empíricas.
Dando continuidade à tradição de inovação, DADOS vive junto com os demais periódicos brasileiros e internacionais uma revolução no mundo científico, postulada pelo movimento de ciência aberta, que, dentre outras coisas, tem a ver com os processos de disponibilização e replicação de dados. Para acompanhar as recentes mudanças, adotamos uma Editoria de Replicabilidade, assumida agora pelo professor do Instituto de Estudos Sociais e Políticos da Universidade do Estado do Rio de Janeiro (UERJ), o cientista político Bruno Schaefer.
O presente texto está dividido em sete seções e discute a importância da replicabilidade em ciências sociais; o conceito de replicabilidade que utilizamos no processo editorial de DADOS; as diferenças de replicabilidade entre pesquisa quantitativa e qualitativa; as experiências internacionais e nacionais no tema; as questões éticas envolvidas na replicabilidade; e, por fim, os impactos no fluxo de trabalho e na gestão das submissões à revista.
Há quase duas décadas o debate sobre a “crise de replicabilidade” é um espectro que ronda a prática científica, seja nas ciências mais “duras” (química, física, biologia), seja nas ciências sociais (psicologia, economia, ciência política, sociologia, entre outras) (Piper 2020). O artigo de Ioannidis, Why Most Published Research Findings Are False1 , publicado em 2005, postulou que grande parte de estudos randomizados no campo da epidemiologia possuem resultados falsos, dado que não são replicáveis. Esse achado envolveu principalmente a constatação de dois problemas: pesquisas com baixo número de casos analisados e viés de significância estatística. Tratou-se, portanto, da recorrência de levantamentos com poucas evidências empíricas e que “forçaram a barra” para chegar a um p-valor de menos de 5%, critério de confiabilidade. No campo da psicologia, um esforço de replicação de 100 experimentos que pressupunham inferências causais, conseguiu encontrar os mesmos resultados em menos da metade deles. Na Ciência Política, o artigo Transparência e Replicação na Ciência Política Brasileira: Um Primeiro Olhar 2 recentemente publicado na DADOS indicou desempenho ainda pior para a produção brasileira. De um corpus com 197 manuscritos com algum tipo de análise quantitativa, somente 28% dos seus respectivos autores concordaram em compartilhar os dados e os códigos, destes foi possível tentar replicar apenas 14%, com 5% de sucesso. Os problemas mais comuns no processo de replicação envolveram a ausência de alguma rotina computacional (script), problemas com os resultados e problemas com os dados.
Antes de analisarmos o que está por trás dessa “crise de replicabilidade” é importante entender o que o conceito significa. Para Janz (2016), replicação significa o: “Processo pelo qual os achados de um artigo publicado são reanalisados para confirmar, avançar ou desafiar os resultados originais”3 (Tradução livre). Para King (1995), replicabilidade quer dizer: “(…) que existe informação suficiente para compreender, avaliar e desenvolver um trabalho anterior, se uma terceira parte puder replicar os resultados sem qualquer informação adicional do autor”4 (Tradução livre).
Apesar das diferenças entre os autores, um ponto em comum é a ideia de que uma pesquisa replicável é aquela que disponibiliza, de maneira clara, o processo de coleta, tratamento e análise dos dados, de modo que uma terceira parte possa seguir a mesma trilha e encontrar resultados semelhantes, seja analisando o mesmo material empírico (banco de dados, por exemplo), seja aplicando o desenho de pesquisa para outros casos.
Figueiredo Filho, et al (2019)5 postulam sete razões para levarmos a sério a replicabilidade em Ciências Sociais:
O conceito de replicabilidade muitas vezes é utilizado como sinônimo de outras práticas, igualmente importantes: como reprodutibilidade ou transparência, o que pode gerar confusão e ruído. Transparência é um conceito mais amplo, que envolve comunicar de maneira clara e aberta como os procedimentos da pesquisa foram realizados, como se dá o caminho entre a pergunta de pesquisa e os resultados encontrados. Nesse sentido, a ideia de transparência dialoga com o movimento de ciência aberta: “o amplo acesso às fontes de conhecimento envolvidas e produzidas pelas pesquisas tem o intuito de maximizar a razão de ser da ciência enquanto empreendimento cooperativo cultural e social.”7 Ser transparente envolve capacidade de comunicação. Reprodução, ou reprodutibilidade, por sua vez, compreende a disponibilização do passo-a-passo da pesquisa, usualmente scripts ou rotinas computacionais que possibilitam a reprodução do trabalho. Um trabalho reprodutível é aquele em que a reanálise dos mesmos dados usando os mesmos métodos produziria os mesmos resultados.
Uma pesquisa só pode ser replicável se for transparente, bem como uma pesquisa é reprodutível se for replicável. O conceito envolve a necessidade de clareza no processo de produção do conhecimento, que pode ou não ser reprodutível a partir de rotinas computacionais. Em outras palavras, toda pesquisa replicável é transparente, mas não necessariamente reprodutível stricto sensu, pois pode utilizar métodos de coleta e análise de dados que não são diretamente reprodutíveis (etnografia e outros métodos qualitativos), ou não se utilizam de rotinas computacionais (scripts). O conceito de replicabilidade também é mais amplo e subjaz à ideia de que um mesmo desenho de pesquisa pode ser utilizado para outro material empírico.
Boa parte da “crise de replicabilidade” envolve justamente a falha em replicar experimentos em outros contextos. Por exemplo, a realização de um experimento com alunos de graduação que encontram resultados positivos para a hipótese de que pessoas tendem a obedecer às autoridades cegamente (experimento de Milgram), deve ser replicável em outro contexto (outros alunos e outra universidade).
Em DADOS, adotamos como conceito de replicabilidade a ideia de que as pesquisas devem ser claras e transparentes quanto ao passo-a-passo metodológico (caminho entre problema e respostas), disponibilizar todos os dados necessários para que os mesmos resultados sejam encontrados e, quando possível, partilhar rotinas computacionais que facilitem a reprodução dos achados.
O debate sobre replicabilidade e reprodutibilidade é bastante rico e não pretendemos dar conta dele todo aqui. O ponto que gostaríamos de ressaltar é que muitas vezes, em ciências sociais, podemos tratar de problemas que não são diretamente replicáveis. O debate entre pesquisa qualitativa e quantitativa dá corpo a esta questão. Em meados da década de 90, King, Kehone & Verba (doravante KKV) publicaram um livro seminal sobre metodologia em ciências sociais, o Design Social Inquiry: scientific inference in qualitative research.8 O argumento defendido pelos autores é que o objetivo das ciências sociais seria construir inferências válidas, descritivas ou explicativas, sendo que pesquisas qualitativas e quantitativas teriam esta mesma lógica. A essência da ciência seria o método, não os assuntos tratados.
Neste sentido, os adeptos da abordagem qualitativa deveriam se atentar para o uso de estratégias metodológicas, já utilizadas pelos quantitativistas (em especial importadas da estatística), que fossem capazes de construir inferências válidas. Entre a descrição de um fenômeno e a busca por uma ou várias causas, a pesquisa deveria se concentrar na busca de causalidade(s). Para os autores, inferência se refere, portanto, ao processo no qual utilizamos informações conhecidas (e disponíveis) para aprender sobre informações não conhecidas (e indisponíveis).
As críticas à proposta de KKV vieram de diversas frentes. Brady & Collier (2004), por exemplo, em Rethinking Social Inquiry: Diverse Tools, Shared Standards9 atacam a noção de KKV de que a estrutura da abordagem quantitativa seria a única possibilidade de se alcançar inferências válidas ou um padrão de cientificidade. Para Haverland e Yanow (2012), entre outros, seria também necessário traçar uma diferenciação entre métodos e metodologia. Conforme esses últimos autores, a confusão entre os termos tende a ocorrer inúmeras vezes, o que afeta a construção de pesquisas e a análise dos resultados. Enquanto método se refere às ferramentas e técnicas utilizadas em um trabalho, metodologia se refere a um nível mais abrangente, que diz respeito às construções ontológicas e epistemológicas que balizam a adoção de um método ou outro. Precisamente neste ponto é que se tornaria necessário diferenciar a construção de conhecimento proposta por abordagens quantitativas ou qualitativas. Enquanto para os pesquisadores orientados por um desenho quantitativo a principal questão seria “explicar” determinado fenômeno, grosso modo, o efeito de X¹ e X² sobre Y; pesquisadores orientados por um desenho qualitativo de pesquisa tendem a se concentrar na interpretação e no sentido de determinados resultados.
Em A Tale of Two Cultures: qualitative and quantitative research in social sciences,10 Goertz & Mahoney (2012) propõem uma possível integração entre as pesquisas qualitativas e quantitativas. Para os autores, é necessário considerar que essas abordagens partem de posições epistemológicas distintas. A pesquisa quantitativa parte de uma epistemologia objetivista (para não colocar o termo positivismo, utilizado erroneamente na maior parte das vezes), enquanto a pesquisa qualitativa parte de uma epistemologia construtivista ou interpretativista. Essa diferença seria, inclusive, matemática, tendo em vista que os primeiros se baseariam na estatística e na probabilidade, enquanto os segundos na lógica e na teoria dos conjuntos. No interior dessas próprias abordagens, ou “culturas”, haveria ainda divisões: pesquisas quantitativas interessadas na realização de inferências causais ou descritivas (o avanço da computação e machine learning, entre outros); e “qualitativistas” focadas na interpretação e produção de sentidos (com Q maiúsculo) ou que estejam trabalhando com métodos qualitativos orientados por epistemologia objetivista, como QCA, process tracing, entre outros.
As distinções supramencionadas interessam aqui na medida em que se relacionam ao debate sobre replicabilidade. Estudos quantitativos usualmente são mais replicáveis, porque – de preferência – utilizam bancos de dados estruturados, rotinas computacionais e métodos de análise que podem ser reproduzidos, assim como ampliados. Pesquisas qualitativas que utilizam métodos como QCA ou process tracing seguem padrões semelhantes. Agora, outras técnicas e métodos são por natureza não reproduzíveis. Como refazer uma etnografia? Voltar no tempo e observar, com os mesmos olhos, o mesmo fenômeno? Desta forma, em DADOS adotamos como padrão em pesquisa quali realizadas a partir de epistemologia interpretativista, a ideia de que autores e autoras devem ser o mais transparentes possível na descrição de seus métodos, sendo desejável que, junto aos papers, encaminhem anexos metodológicos que possam ser publicados: vídeos, transcrições e gravações de entrevistas, diários de campo, entre outros.
A disponibilização desses materiais oriundos de pesquisas qualitativas cumpre outras duas funções adicionais. Primeiro, ela garante que informações complementares fiquem disponíveis para além dos limites, cada vez mais exíguos, de um artigo acadêmico. Segundo, ela ajuda a preservar os dados oriundos das pesquisas quali que frequentemente se perdem encerrados em arquivos pessoais ou restritos. Por tudo isso, DADOS recomenda vivamente a disponibilização de evidências oriundas de pesquisas qualitativas (transcrições de entrevistas, vídeos, gravações, codificações utilizadas para análise de conteúdo, diários de campo, entre outras).
Apesar da “crise de replicabilidade” ter chamado a atenção de cientistas no mundo todo, políticas editoriais que, de fato, incentivem maior transparência, replicação e reprodutibilidade são minoria nas ciências sociais. No período recente, tem ocorrido um progresso nos esforços de disponibilização de dados e na aderência de periódicos ao movimento de ciência aberta. Na ciência política e na sociologia, áreas principais de atuação de DADOS, é possível identificar um avanço marcante das revistas com maior fator de impacto, caracterizado pela instituição de políticas de replicabilidade em casos como a Political Analysis, a American Political Science Review, a American Journal of Political Science e a Sociological Methods & Research. A British Journal of Political Science, por exemplo, passou a demandar que os autores depositem seus dados, o livro de códigos, a rotina computacional e as tabelas, gráficos e figuras que geraram as análises.
No contexto nacional, a Brazilian Political Science Review foi pioneira na disponibilização dos dados de artigos no repositório Dataverse e, mais recentemente, aderiu a um processo de curadoria de dados: os mesmos são reproduzidos por editores/as da revista e, uma vez encontrados os mesmos resultados, o artigo é publicado.
Em sentido mais amplo, iniciativas como a Rede Brasileira de Reprodutibilidade (RBR) , buscam congregar diferentes organizações e áreas do conhecimento: “(…) para promover ciência rigorosa, confiável e transparente no Brasil”.11 A criação de um repositório de dados brasileiro, o Lattes Data, também demonstra um passo importante.
A busca por replicabilidade atende a questões éticas importantes, que vão desde o controle de más práticas científicas até a disponibilização de informações valiosas para a sociedade que, muitas vezes, as financia com recursos públicos. Mas a depender da natureza do dado, a replicabilidade pode suscitar problemas éticos, que quase sempre têm a ver com o risco de identificação direta ou indireta dos indivíduos ou organizações que são foco de uma pesquisa.
A identificação direta acontece quando elementos da identidade de um indivíduo ou organização são explicitamente incluídos nas bases de dados enviadas para replicação. Nem sempre isso é um problema, ao contrário. Figuras públicas como políticos e servidores públicos têm muitos dos seus dados pessoais publicizados justamente para que haja um maior controle civil de suas atividades. Porém, o mesmo não se aplica a todas as pessoas. Há sujeitos cuja exposição é sensível, como menores de idade ou pessoas em conflito com a lei. Em tais casos, as bases de dados ou evidências costumam ser desidentificadas, seja pela supressão seja pela modificação das variáveis de identificação (nome, CPF, endereço etc.).
A identificação indireta, por seu turno, pode acontecer quando dados já desidentificados permitem, ainda assim, o conhecimento detalhado dos casos. Isso pode ocorrer em bases que reúnem muitas informações sobre casos específicos. Mesmo não sabendo nenhuma informação pessoal de um dado caso, eu posso localizá-lo no mundo porque a base disponibilizada contém muitas informações indiretas (raça, gênero, região, instrução, idade etc,). Embora mais difíceis de avaliar, esses casos devem ser julgados em conjunto por autores(as) e editores(as), de modo a garantir a maior replicabilidade sem expor as populações estudadas a qualquer risco.
Ponderados os aspectos conceituais e conjunturais, nesta seção descrevemos como funcionará a Editoria de Replicabilidade em DADOS. É importante começar salientando que a criação de tal função dialoga com iniciativas recentes de modernização da revista, que aderiu ao movimento de ciência aberta, passando a receber submissões de preprints e a exigir o envio de bases de dados para incentivar a transparência nas avaliações das pesquisas. Ademais, também temos aprimorado as ações de divulgação científica e instituído políticas de promoção da diversidade e da equidade de gênero e raça entre pareceristas e autores.
Em linhas gerais, a revista já possui, em suas normas de submissão, orientações para que pesquisadores enviem seus materiais de pesquisa detalhados, suas rotinas computacionais e outras informações no momento de submissão do manuscrito para avaliação. Isto facilita o trabalho de verificação preliminar da editoria e de pareceristas que, no entanto, não possuem as mesmas responsabilidades de um editor de replicabilidade. DADOS dispõe de uma página no portal Dataverse, que passará a publicar somente aquilo que, após aprovação no desk review e na avaliação por pares, for autorizado pelo editor de replicabilidade.
A principal mudança, portanto, é que agora a revista passa a ter uma editoria específica para curadoria das evidências científicas apresentadas nos manuscritos. Isto significa que, mesmo se aceitos, os artigos só serão publicados quando seu material de análise for constatado como reproduzível pelo editor de replicabilidade. O processo da submissão até a publicação será o seguinte:
A ação visa garantir maior segurança e rigor nos achados que divulgamos, contribuir de maneira mais ampla com o processo de construção de conhecimento em ciências sociais, bem como alinhar as práticas editoriais da DADOS aos padrões de replicabilidade nacionais e internacionais de ponta. Seguindo, deste modo, o paradigma de uma ciência aberta. Em meio à rápida transformação nos instrumentos de trabalho e de comunicação científica com o advento de variados recursos de inteligência artificial, a promoção da transparência se faz cada vez mais necessária e benéfica para as trocas entre a comunidade acadêmica e o público em geral, podendo ainda ser uma ferramenta que potencializa a confiança na ciência.
1. IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLOS Medicine [online]. 2005, vol. 2, no. 8, e124. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
2. AVELINO, G., DESPOSATO, S. and MARDEGAN, I. Transparency and Replication in Brazilian Political Science: A First Look. Dados rev. ciênc. sociais [online]. 2021, vol. 64, no. 3, e20190304 [viewed 20 October 2023]. https://doi.org/10.1590/dados.2021.64.3.242. Available from: https://www.scielo.br/j/dados/a/4pMrxZVYv4pXypfGrRr55Nx/
3. JANZ, N. Bringing the Gold Standard into the Classroom: Replication in University Teaching. International Studies Perspectives [online]. 2016, vol. 17, no. 4, pp. 392–407 [viewed 20 October 2023]. https://doi.org/10.1111/insp.12104. Available from: https://academic.oup.com/isp/article-abstract/17/4/392/2528285?redirectedFrom=fulltext
4. KING, G. Replication, Replication. PS: Political Science & Politics [online]. 1995, vol. 28, no. 3, pp. 444-452 [viewed 20 October 2023]. https://doi.org/10.2307/420301. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357
5. FIGUEIREDO FILHO, D. et al. Seven Reasons Why: A User’s Guide to Transparency and Reproducibility. Bras. Political Sci. Rev. [online]. 2019, vol. 13, no. 2 [viewed 20 October 2023]. https://doi.org/10.1590/1981-3821201900020001. Available from: https://www.scielo.br/j/bpsr/a/sytyL4L63976XCHfK3d7Qjh/
6. CHRISTENSEN, G. et al. A Study of the Impact of Data Sharing on Article Citations Using Journal Policies as a Natural Experiment. PLoS One [online]. 2019, vol. 1, no. 12, e0225883 [viewed 20 October 2023]. https://doi.org/10.1371%2Fjournal.pone.0225883. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0225883
7. PACKER, A.L. and SANTOS, S. Ciência aberta e o novo modus operandi de comunicar pesquisa – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 20 October 2023]. Available from: https://blog.scielo.org/blog/2019/08/01/ciencia-aberta-e-o-novo-modus-operandi-de-comunicar-pesquisa-parte-i/
8. KING, G., KEOHANE, R.O. and VERBA, S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 2021.
9. COLLIER, D. and BRADY, H.E. Rethinking Social Inquiry: Diverse Tools, Shared Standards. Lanham: Rowman & Littlefield Publishers, 2004.
10. GOERTZ, G. and MAHONEY, J. A tale of two cultures: Qualitative and quantitative research in the social sciences. Princeton: Princeton University Press, 2012.
11. Rede Brasileira De Reprodutibilidade – Site Institucional: https://www.reprodutibilidade.org
AVELINO, G., DESPOSATO, S. and MARDEGAN, I. Transparency and Replication in Brazilian Political Science: A First Look. Dados rev. ciênc. sociais [online]. 2021, vol. 64, no. 3, e20190304 [viewed 20 October 2023]. https://doi.org/10.1590/dados.2021.64.3.242. Available from: https://www.scielo.br/j/dados/a/4pMrxZVYv4pXypfGrRr55Nx/
CHRISTENSEN, G. et al. A Study of the Impact of Data Sharing on Article Citations Using Journal Policies as a Natural Experiment. PLoS One [online]. 2019, vol. 1, no. 12, e0225883 [viewed 20 October 2023]. https://doi.org/10.1371%2Fjournal.pone.0225883. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0225883
DINIZ, D. Ética na pesquisa em ciências humanas: novos desafios. Ciência & Saúde Coletiva [online]. 2008, vol.13, no. 2, pp. 417–26 [viewed 20 October 2023]. https://doi.org/10.1590/S1413-81232008000200017. Available from: https://www.scielo.br/j/csc/a/QDNVw9nGF7X7b8Kf4LNvRVs/
FIGUEIREDO FILHO, D. et al. Seven Reasons Why: A User’s Guide to Transparency and Reproducibility. Bras. Political Sci. Rev. [online]. 2019, vol. 13, no. 2 [viewed 20 October 2023]. https://doi.org/10.1590/1981-3821201900020001. Available from: https://www.scielo.br/j/bpsr/a/sytyL4L63976XCHfK3d7Qjh/
GHERGHINA, S. and ALEXIA, K. Data Availability in Political Science Journals. European Political Science [online], vol. 12, no. 3, pp. 333–49 [viewed 20 October 2023]. https://doi.org/10.1057/eps.2013.8. Available from: https://link.springer.com/article/10.1057/eps.2013.8
GOERTZ, G. and MAHONEY, J. A tale of two cultures: Qualitative and quantitative research in the social sciences. Princeton: Princeton University Press, 2012.
IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLOS Medicine [online]. 2005, vol. 2, no. 8, e124. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
JANZ, N. Bringing the Gold Standard into the Classroom: Replication in University Teaching. International Studies Perspectives [online]. 2016, vol. 17, no. 4, pp. 392–407 [viewed 20 October 2023]. https://doi.org/10.1111/insp.12104. Available from: https://academic.oup.com/isp/article-abstract/17/4/392/2528285?redirectedFrom=fulltext
KIDDER, L.H. and FINE, M. Qualitative and Quantitative Methods: When Stories Converge. New Directions for Program Evaluation [online]. 1987, vol. 35, pp. 57–75 [viewed 20 October 2023]. https://doi.org/10.1002/ev.1459. Available from: https://onlinelibrary.wiley.com/doi/10.1002/ev.1459
KING, G., KEOHANE, R.O. and VERBA, S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 2021.
KING, G. Replication, Replication. PS: Political Science & Politics [online]. 1995, vol. 28, no. 3, pp. 444-452 [viewed 20 October 2023]. https://doi.org/10.2307/420301. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357
MAKEL, M.C., et al. Replication is relevant to qualitative research. Educational Research and Evaluation [online]. 2022, vol. 27, vol. 1, pp. 215–19 [viewed 20 October 2023]. https://doi.org/10.1080/13803611.2021.2022310. Available from: https://www.tandfonline.com/doi/full/10.1080/13803611.2021.2022310
OPEN SCIENCE COLLABORATION. Estimating the reproducibility of psychological science. Science [online]. 2015, vol. 349, no. 6251, aac4716 [viewed 20 October 2023]. https://doi.org/10.1126/science.aac4716. Available from: https://www.science.org/doi/10.1126/science.aac4716
PACKER, A.L. and SANTOS, S. Ciência aberta e o novo modus operandi de comunicar pesquisa – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 20 October 2023]. Available from: https://blog.scielo.org/blog/2019/08/01/ciencia-aberta-e-o-novo-modus-operandi-de-comunicar-pesquisa-parte-i/
PIPER, K. Science Has Been in a ‘Replication Crisis’ for a Decade. Have We Learned Anything? [online]. Vox. 2020 [viewed 20 October 2023]. Available from: https://www.vox.com/future-perfect/21504366/science-replication-crisis-peer-review-statistics.
POWNALL, M. Is Replication Possible for Qualitative Research? [online]. PsyArXiv. 2022 [viewed 20 October 2023]. https://doi.org/10.31234/osf.io/dwxeg. Available from: https://osf.io/preprints/psyarxiv/dwxeg/
SPINAK, E. Reprodução e replicação na pesquisa científica – parte 1 [online]. SciELO em Perspectiva. 2023 [viewed 20 October 2023]. Available from: https://blog.scielo.org/blog/2023/05/19/reproducao-e-replicacao-na-pesquisa-cientifica-parte-1/
Instituto de Estudos Sociais e Políticos da Universidade do Estado do Rio de Janeiro (UERJ), https://iesp.uerj.br/
Lattes Data (CNPq): https://lattesdata.cnpq.br/
Rede Brasileira De Reprodutibilidade – Site Institucional: https://www.reprodutibilidade.org
Revista DADOS – Dataverse: https://dataverse.harvard.edu/dataverse/revistadados
Revista DADOS: https://www.scielo.br/j/dados/
Português do Brasil
Español