Reproducibility is a defining feature of science, but the extent to which it characterizes current research is unknown. We conducted replications of 100 experimental and correlational studies published in three psychology journals using high-powered designs and original materials when available. Replication effects were half the magnitude of original effects, representing a substantial decline. Ninety-seven percent of original studies had statistically significant results. Thirty-six percent of replications had statistically significant results; 47% of original effect sizes were in the 95% confidence interval of the replication effect size; 39% of effects were subjectively rated to have replicated the original result; and if no bias in original results is assumed, combining original and replication results left 68% with statistically significant effects. Correlational tests suggest that replication success was better predicted by the strength of original evidence than by characteristics of the original and replication teams.

Intuitive-automatic processes are crucial for making judgements and decisions. The fascinating complexity of these processes has attracted many decision researchers, prompting them to start investigating intuition empirically and to develop numerous models. Dual-process models assume a clear distinction between intuitive and deliberate processes but provide no further differentiation within both categories. We go beyond these models and argue that intuition is not a homogeneous concept, but a label used for different cognitive mechanisms. We suggest that these mechanisms have to be distinguished to allow for fruitful investigations of intuition. Specifically, we argue that researchers should concentrate on investigating the processes underlying intuition before making strong claims about its performance. We summarise current models for intuition and propose a categorisation according to the underlying cognitive processes: (a) associative intuition based on simple learning–retrieval processes, (b) matching intuition based on comparisons with prototypes/exemplars, (c) accumulative intuition based on automatic evidence accumulation, and (d) constructive intuition based on construction of mental representations. We discuss how this differentiation might help to clarify the relationship between affect and intuition and we derive a very general hypothesis as to when intuition will lead to good decisions and when it will go astray.

Abstract Many everyday decisions have to be made under risk and can be interpreted as choices between gambles with different outcomes that are realized with specific probabilities. The underlying cognitive processes were investigated by testing six sets of hypotheses concerning choices, decision times, and information search derived from cumulative prospect theory, decision field theory, priority heuristic and parallel constraint satisfaction models. Our participants completed 40 decision tasks of two gambles with two non‐negative outcomes each. Information search was recorded using eye‐tracking technology. Results for choices, decision time, the amount of information searched for, fixation durations, the direction of the information search, and the distribution of fixations conflict with the prediction of the non‐compensatory priority heuristic and indicate that individuals use compensatory strategies. Choice proportions are well in line with the predictions of cumulative prospect theory. Process measures indicate that individuals thereby do not rely on deliberate calculations of weighted sums. Information integration processes seem to be better explained by models that partially rely on automatic processes such as decision field theory or parallel constraint satisfaction models. Copyright © 2010 John Wiley & Sons, Ltd.

ORIGINAL RESEARCH article Front. Psychol., 01 October 2012Sec. Cognitive Science Volume 3 - 2012 | https://doi.org/10.3389/fpsyg.2012.00335

Concerning the dispositional determinants of prosocial behavior and cooperation, work based on the classic 5 personality factors, and especially Agreeableness, has turned out somewhat inconsistent. A clearer picture has emerged from consideration of the HEXACO model of personality--though supported entirely by hypothetical behavior as criterion, so far. Thus, in 2 studies and a reanalysis, we investigated "actual behavior" in the form of individually and socially consequential distribution decisions. As expected, HEXACO Honesty-Humility consistently predicted prosocial behavior, including a theory-consistent pattern on the facet level. Importantly, this pattern might explain why five-factor Agreeableness has only sometimes been found to account for prosocial behavior. Indeed, further results indicate that five-factor Agreeableness comprises some aspects that are predictive of prosocial behavior--aspects well covered by HEXACO Honesty-Humility--but also others that play no role for this criterion. As such, the links between five-factor Agreeableness and prosocial behavior are well-covered by HEXACO Honesty-Humility, but not vice versa. Taken together, these findings hint that especially HEXACO Honesty-Humility (and certain aspects of five-factor Agreeableness) account for prosocial behavior--thus explaining previous inconsistencies and providing a more nuanced understanding of the links between basic personality and prosocial or cooperative behavior.

In an anonymous 4-person economic game, participants contributed more money to a common project (i.e., cooperated) when required to decide quickly than when forced to delay their decision (Rand, Greene & Nowak, 2012), a pattern consistent with the social heuristics hypothesis proposed by Rand and colleagues. The results of studies using time pressure have been mixed, with some replication attempts observing similar patterns (e.g., Rand et al., 2014) and others observing null effects (e.g., Tinghög et al., 2013; Verkoeijen & Bouwmeester, 2014). This Registered Replication Report (RRR) assessed the size and variability of the effect of time pressure on cooperative decisions by combining 21 separate, preregistered replications of the critical conditions from Study 7 of the original article (Rand et al., 2012). The primary planned analysis used data from all participants who were randomly assigned to conditions and who met the protocol inclusion criteria (an intent-to-treat approach that included the 65.9% of participants in the time-pressure condition and 7.5% in the forced-delay condition who did not adhere to the time constraints), and we observed a difference in contributions of -0.37 percentage points compared with an 8.6 percentage point difference calculated from the original data. Analyzing the data as the original article did, including data only for participants who complied with the time constraints, the RRR observed a 10.37 percentage point difference in contributions compared with a 15.31 percentage point difference in the original study. In combination, the results of the intent-to-treat analysis and the compliant-only analysis are consistent with the presence of selection biases and the absence of a causal effect of time pressure on cooperation.

Abstract: In 2020, the Division of Social Psychology of the German Psychological Society (DGPs) published 11 methodological recommendations for improving the quality, replicability, and transparency of social psychological research. We evaluate these recommendations in a quantitative and qualitative survey conducted with members of the division ( N = 54). Most – but not all – recommendations are well-known and understood by these members of the division. For 73% of the recommendations, researchers indicated that they tend to apply them in their research. Perceived behavioral control was the strongest predictor of adherence and was generally high (82%). In the open comments, challenges and suggestions for improvement were expressed. Overall, the implementation of the recommendations progresses and respective norms emerge, but substantial challenges remain to be solved requiring collective efforts.

In the wake of the COVID-19 pandemic, many journals swiftly changed their editorial policies and peer-review processes to accelerate the provision of knowledge about COVID-related issues to a wide audience. These changes may have favoured speed at the cost of accuracy and methodological rigour. In this study, we compare 100 COVID-related articles published in four major psychological journals between 2020 and 2022 with 100 non-COVID articles from the same journal issues and 100 pre-COVID articles published between 2017 and 2019. Articles were coded with regard to design features, sampling and recruitment features, and openness and transparency practices. Even though COVID research was, by and large, more ‘observational’ in nature and less experimentally controlled than non- or pre-COVID research, we found that COVID-related studies were more likely to use ‘stronger’ (i.e. more longitudinal and fewer cross-sectional) designs, larger samples, justify their sample sizes based on a priori power analysis, pre-register their hypotheses and analysis plans and make their data, materials and code openly available. Thus, COVID-related psychological research does not appear to be less rigorous in these regards than non-COVID research.

Like all other branches of science, psychology is constantly faced with the task of establishing some level of preliminary consensus over term use, methods, and findings, while at the same time leaving open the door to challenging and revising that consensus when necessary. Suboptimal solutions in this regard are likely to lead to inefficient use of resources, and to impede the cumulative acquisition of knowledge. The current culture and incentive structure in academia does not encourage systematic consensus work enough, and there are no clear guidelines as to how this crucial kind of work is to be engaged with. We present a tentative roadmap intended to facilitate systematic consensus building processes (CBPs). It contains a long and diverse list of issues that researchers undertaking consensus work may want to consider before and during a CBP. In discussing these issues, we point to potential complications and offer recommendations on how to avoid them. This mostly concerns questions of communication, transparency, fairness, integrity and legitimacy. We assume that dealing with these topics explicitly and from the get-go will substantially increase the likelihood of a CBP to be successful.