The veracity of substantive research claims hinges on the way experimental data are collected and analyzed. In this article, we discuss an uncomfortable fact that threatens the core of psychology's academic enterprise: almost without exception, psychologists do not commit themselves to a method of data analysis before they see the actual data. It then becomes tempting to fine tune the analysis to the data in order to obtain a desired result-a procedure that invalidates the interpretation of the common statistical tests. The extent of the fine tuning varies widely across experiments and experimenters but is almost impossible for reviewers and readers to gauge. To remedy the situation, we propose that researchers preregister their studies and indicate in advance the analyses they intend to conduct. Only these analyses deserve the label "confirmatory," and only for these analyses are the common statistical tests valid. Other analyses can be carried out but these should be labeled "exploratory." We illustrate our proposal with a confirmatory replication attempt of a study on extrasensory perception.

In psychological measurement, two interpretations of measurement systems have been developed: the reflective interpretation, in which the measured attribute is conceptualized as the common cause of the observables, and the formative interpretation, in which the measured attribute is seen as the common effect of the observables. We advocate a third interpretation, in which attributes are conceptualized as systems of causally coupled (observable) variables. In such a view, a construct like ’depression’ is not seen as a latent variable that underlies symptoms like ’lack of sleep’ or ’fatigue’, and neither as a composite constructed out of these symptoms, but as a system of causal relations between the symptoms themselves (e.g., lack of sleep → fatigue, etc.). We discuss methodological strategies to investigate such systems as well as theoretical consequences that bear on the question in which sense such a construct could be interpreted as real.

HYPOTHESIS AND THEORY article Front. Psychol., 12 August 2013Sec. Quantitative Psychology and Measurement https://doi.org/10.3389/fpsyg.2013.00513

Abstract Developing academic skills and cognitive abilities is critical for children's development. In this article, we review evidence from recent research on the bidirectional relations between academic achievement and cognitive abilities. Our findings suggest that (a) reading/mathematics and cognitive abilities (i.e., working memory, reasoning, and executive function) predict each other in development, (b) direct academic instruction positively affects the development of reasoning, and (c) such bidirectional relations between cognitive abilities and academic achievement seem weaker among children with disadvantages (e.g., those with special needs or low socioeconomic status). Together, these findings are in line with the theory of mutualism and the transactional model. They suggest that sustained and high‐quality schooling and education directly foster children's academic and cognitive development, and may indirectly affect academic and cognitive development by triggering cognitive‐academic bidirectionality. Developing academic skills and cognitive abilities is critical for children's development. In this article, we review evidence from recent research on the bidirectional relations between academic achievement and cognitive abilities. Our findings suggest that (a) reading/mathematics and cognitive abilities (i.e., working memory, reasoning, and executive function) predict each other in development, (b) direct academic instruction positively affects the development of reasoning, and (c) such bidirectional relations between cognitive abilities and academic achievement seem weaker among children with disadvantages (e.g., those with special needs or low socioeconomic status). Together, these findings are in line with the theory of mutualism and the transactional model. They suggest that sustained and high‐quality schooling and education directly foster children's academic and cognitive development, and may indirectly affect academic and cognitive development by triggering cognitive‐academic bidirectionality.

This article aims to improve theory formation in psychology by developing a practical methodology for constructing explanatory theories: theory construction methodology (TCM). TCM is a sequence of five steps. First, the theorist identifies a domain of empirical phenomena that becomes the target of explanation. Second, the theorist constructs a prototheory, a set of theoretical principles that putatively explain these phenomena. Third, the prototheory is used to construct a formal model, a set of model equations that encode explanatory principles. Fourth, the theorist investigates the explanatory adequacy of the model by formalizing its empirical phenomena and assessing whether it indeed reproduces these phenomena. Fifth, the theorist studies the overall adequacy of the theory by evaluating whether the identified phenomena are indeed reproduced faithfully and whether the explanatory principles are sufficiently parsimonious and substantively plausible. We explain TCM with an example taken from research on intelligence (the mutualism model of intelligence), in which key elements of the method have been successfully implemented. We discuss the place of TCM in the larger scheme of scientific research and propose an outline for a university curriculum that can systematically educate psychologists in the process of theory formation.

ABSTRACT There has been considerable recent progress in measuring conscious level using neural complexity measures. For instance, such measures can reliably distinguish healthy awake from asleep subjects and vegetative state patients. However, this line of research has never explored the dynamics of conscious level during normal wakefulness. Being able to capture meaningful differences in conscious level during wakefulness may provide a vital new insight into the nature of consciousness, by demonstrating what biological, behavioural and cognitive factors relate to such differences. Here we take advantage of a large MEG and fMRI dataset of healthy adults, to examine within-subject conscious level fluctuations during resting state and tasks, by using a range of complexity measures. We first establish the validity of this approach in both neuroimaging domains by relating neural complexity measures to pre-existing techniques for capturing transitions of consciousness from full wakefulness into drowsiness and the earliest stages of sleep, finding decreased complexity as participants become increasingly drowsy. We further demonstrate that neural complexity measures in both MEG and fMRI change both within and between tasks, and relate to performance on an executive task, with higher complexity associated with better performance and faster reaction times. This approach provides a powerful new route to further explore the cognitive and neural underpinnings of consciousness.

Abstract Background Poor sleep is associated with multiple age-related neurodegenerative and neuropsychiatric conditions. The hippocampus plays a special role in sleep and sleep-dependent cognition, and accelerated hippocampal atrophy is typically seen with higher age. Hence, it is critical to establish how the relationship between sleep and hippocampal volume loss unfolds across the adult lifespan. Methods Self-reported sleep measures and MRI-derived hippocampal volumes were obtained from 3105 cognitively normal participants (18-90 years) from major European brain studies in the Lifebrain consortium. Hippocampal volume change was estimated from 5116 MRIs from 1299 participants, covering up to 11 years. Cross-sectional analyses were repeated in a sample of 21390 participants from the UK Biobank. Results The relationship between self-reported sleep and age differed across sleep items. Sleep duration, efficiency, problems, and use of medication worsened monotonously with age, whereas subjective sleep quality, sleep latency, and daytime tiredness improved. Women reported worse sleep in general than men, but the relationship to age was similar. No cross-sectional sleep – hippocampal volume relationships was found. However, worse sleep quality, efficiency, problems, and daytime tiredness were related to greater hippocampal volume loss over time, with high scorers showing on average 0.22% greater annual loss than low scorers. Simulations showed that longitudinal effects were too small to be detected as age-interactions in cross-sectional analyses. Conclusions Worse self-reported sleep is associated with higher rates of hippocampal decline across the adult lifespan. This suggests that sleep is relevant to understand individual differences in hippocampal atrophy, but limited effect sizes call for cautious interpretation.

Abstract Brain age is a widely used index for quantifying individuals’ brain health as deviation from a normative brain aging trajectory. Higher than expected brain age is thought partially to reflect above-average rate of brain aging. We explicitly tested this assumption in two large datasets and found no association between cross-sectional brain age and steeper brain decline measured longitudinally. Rather, brain age in adulthood was associated with early-life influences indexed by birth weight and polygenic scores. The results call for nuanced interpretations of cross-sectional indices of the aging brain and question their validity as markers of ongoing within-person changes of the aging brain. Longitudinal imaging data should be preferred whenever the goal is to understand individual change trajectories of brain and cognition in aging.

Abstract The thickness and surface area of cortex are genetically distinct aspects of brain structure, and may be affected differently by age. However, their potential to differentially predict age and cognitive abilities has been largely overlooked, likely because they are typically aggregated into the commonly used measure of volume . In a large sample of healthy adults (N=647, aged 18-88), we investigated the brain-age and brain-cognition relationships of thickness, surface area, and volume, plus five additional morphological shape metrics. Cortical thickness was the metric most strongly associated with age cross-sectionally, as well as exhibiting the steepest longitudinal change over time (subsample N=261, aged 25-84). In contrast, surface area was the best single predictor of age-residualized cognitive abilities (fluid intelligence), and changes in surface area were most strongly associated with cognitive change over time. These findings were replicated in an independent dataset (N=1345, aged 18-93). Our results suggest that cortical thickness and surface area make complementary contributions the age-brain-cognition triangle, and highlight the importance of considering these volumetric components separately.