Data analysis workflows in many scientific domains have become increasingly complex and flexible. Here we assess the effect of this flexibility on the results of functional magnetic resonance imaging by asking 70 independent teams to analyse the same dataset, testing the same 9 ex-ante hypotheses1. The flexibility of analytical approaches is exemplified by the fact that no two teams chose identical workflows to analyse the data. This flexibility resulted in sizeable variation in the results of hypothesis tests, even for teams whose statistical maps were highly correlated at intermediate stages of the analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Notably, a meta-analytical approach that aggregated information across teams yielded a significant consensus in activated regions. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset2–5. Our findings show that analytical flexibility can have substantial effects on scientific conclusions, and identify factors that may be related to variability in the analysis of functional magnetic resonance imaging. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for performing and reporting multiple analyses of the same data. Potential approaches that could be used to mitigate issues related to analytical variability are discussed. The results obtained by seventy different teams analysing the same functional magnetic resonance imaging dataset show substantial variation, highlighting the influence of analytical choices and the importance of sharing workflows publicly and performing multiple analyses.

Summary

 Resting state functional MRI (fMRI) has enabled description of group-level functional brain organization at multiple spatial scales. However, cross-subject averaging may obscure patterns of brain organization specific to each individual. Here, we characterized the brain organization of a single individual repeatedly measured over more than a year. We report a reproducible and internally valid subject-specific areal-level parcellation that corresponds with subject-specific task activations. Highly convergent correlation network estimates can be derived from this parcellation if sufficient data are collected—considerably more than typically acquired. Notably, within-subject correlation variability across sessions exhibited a heterogeneous distribution across the cortex concentrated in visual and somato-motor regions, distinct from the pattern of intersubject variability. Further, although the individual's systems-level organization is broadly similar to the group, it demonstrates distinct topological features. These results provide a foundation for studies of individual differences in cortical organization and function, especially for special or rare individuals. 

Video Abstract

Use of multivoxel pattern analysis (MVPA) to predict the cognitive state of a subject during task performance has become a popular focus of fMRI studies. The input to these analyses consists of activation patterns corresponding to different tasks or stimulus types. These activation patterns are fairly straightforward to calculate for blocked trials or slow event-related designs, but for rapid event-related designs the evoked BOLD signal for adjacent trials will overlap in time, complicating the identification of signal unique to specific trials. Rapid event-related designs are often preferred because they allow for more stimuli to be presented and subjects tend to be more focused on the task, and thus it would be beneficial to be able to use these types of designs in MVPA analyses. The present work compares 8 different models for estimating trial-by-trial activation patterns for a range of rapid event-related designs varying by interstimulus interval and signal-to-noise ratio. The most effective approach obtains each trial's estimate through a general linear model including a regressor for that trial as well as another regressor for all other trials. Through the analysis of both simulated and real data we have found that this model shows some improvement over the standard approaches for obtaining activation patterns. The resulting trial-by-trial estimates are more representative of the true activation magnitudes, leading to a boost in classification accuracy in fast event-related designs with higher signal-to-noise. This provides the potential for fMRI studies that allow simultaneous optimization of both univariate and MVPA approaches.

Idiopathic interstitial pneumonias are a diverse group of lung diseases with varied prognoses. We hypothesized that changes in physiologic and radiographic parameters would predict survival. We retrospectively examined 80 patients with usual interstitial pneumonia and 29 patients with nonspecific interstitial pneumonia. Baseline characteristics were examined together with 6-month change in forced vital capacity, diffusing capacity for carbon monoxide, and ground glass infiltrate and fibrosis on high resolution computed tomography. Patients with usual interstitial pneumonia were more likely to have a statistically significant or marginally significant decline in lung volume, diffusing capacity for carbon monoxide, and an increase in ground glass infiltrates (p ⩽ 0.08) compared with patients with nonspecific interstitial pneumonia. For patients with usual interstitial pneumonia, change in forced vital capacity was the best physiologic predictor of mortality (p = 0.05). In a multivariate Cox proportional hazards model controlling for histopathologic diagnosis, gender, smoking history, baseline forced vital capacity, and 6-month change in forced vital capacity, a decrease in forced vital capacity remained an independent risk factor for mortality (decrease > 10%; hazard ratio 2.47; 95% confidence interval 1.29, 4.73; p = 0.006). We conclude that a 6-month change in forced vital capacity gives additional prognostic information to baseline features for patients with idiopathic interstitial pneumonia.

Abstract Psychiatric disorders are characterized by major fluctuations in psychological function over the course of weeks and months, but the dynamic characteristics of brain function over this timescale in healthy individuals are unknown. Here, as a proof of concept to address this question, we present the MyConnectome project. An intensive phenome-wide assessment of a single human was performed over a period of 18 months, including functional and structural brain connectivity using magnetic resonance imaging, psychological function and physical health, gene expression and metabolomics. A reproducible analysis workflow is provided, along with open access to the data and an online browser for results. We demonstrate dynamic changes in brain connectivity over the timescales of days to months, and relations between brain connectivity, gene expression and metabolites. This resource can serve as a testbed to study the joint dynamics of human brain and metabolic function over time, an approach that is critical for the development of precision medicine strategies for brain disorders.

While methamphetamine addiction has been associated with both impulsivity and striatal dopamine D(2)/D(3) receptor deficits, human studies have not directly linked the latter two entities. We therefore compared methamphetamine-dependent and healthy control subjects using the Barratt Impulsiveness Scale (version 11, BIS-11) and positron emission tomography with [(18)F]fallypride to measure striatal dopamine D(2)/D(3) receptor availability. The methamphetamine-dependent subjects reported recent use of the drug 3.3 g per week, and a history of using methamphetamine, on average, for 12.5 years. They had higher scores than healthy control subjects on all BIS-11 impulsiveness subscales (p < 0.001). Volume-of-interest analysis found lower striatal D(2)/D(3) receptor availability in methamphetamine-dependent than in healthy control subjects (p < 0.01) and a negative relationship between impulsiveness and striatal D(2)/D(3) receptor availability in the caudate nucleus and nucleus accumbens that reached statistical significance in methamphetamine-dependent subjects. Combining data from both groups, voxelwise analysis indicated that impulsiveness was related to D(2)/D(3) receptor availability in left caudate nucleus and right lateral putamen/claustrum (p < 0.05, determined by threshold-free cluster enhancement). In separate group analyses, correlations involving the head and body of the caudate and the putamen of methamphetamine-dependent subjects and the lateral putamen/claustrum of control subjects were observed at a weaker threshold (p < 0.12 corrected). The findings suggest that low striatal D(2)/D(3) receptor availability may mediate impulsive temperament and thereby influence addiction.

Abstract The episodic memory system enables accurate retrieval while maintaining flexibility by representing both specific episodes and generalizations across events. Although theories suggest that the hippocampus (HPC) is dedicated to represent specific episodes while the medial prefrontal cortex (MPFC) generalizes, other accounts posit that HPC can also integrate related memories. Here we use high-resolution functional magnetic resonance imaging in humans to examine how representations of memory elements change to either differentiate or generalize across related events. We show that while posterior HPC and anterior MPFC maintain distinct memories for individual events, anterior HPC and posterior MPFC integrate across memories. Integration is particularly likely for established memories versus those encoded simultaneously, highlighting the greater impact of prior knowledge on new encoding. We also show dissociable coding signatures in ventrolateral PFC, a region previously implicated in interference resolution. These data highlight how memory elements are represented to simultaneously promote generalization across memories and protect from interference.

One, Two, Three, Remember Me When a stimulus (such as a word or a face) is presented for the second, third, or fourth time, do the neural representations differ? And, if they do, are multiply represented stimuli remembered better? These questions and related ones have fascinated psychologists for decades, but only recently has it become feasible to begin tackling them using neuroimaging. Xue et al. (p. 97 , published online 9 September) provide evidence that the greater the similarity in the patterns of neural activity during encoding of the item, the greater the likelihood that the item will be remembered.

Rationale: Limited data on sex differences in advanced COPD are available.Objectives: To compare male and female emphysema patients with severe disease.Methods: One thousand fifty-three patients (38.8% female) evaluated for lung volume reduction surgery as part of the National Emphysema Treatment Trial were analyzed.Measurements and Main Results: Detailed clinical, physiological, and radiological assessment, including quantitation of emphysema severity and distribution from helical chest computed tomography, was completed. In a subgroup (n = 101), airway size and thickness was determined by histological analyses of resected tissue. Women were younger and exhibited a lower body mass index (BMI), shorter smoking history, less severe airflow obstruction, lower Dlco and arterial Po2, higher arterial Pco2, shorter six-minute walk distance, and lower maximal wattage during oxygen-supplemented cycle ergometry. For a given FEV1% predicted, age, number of pack-years, and proportion of emphysema, women experienced greater dyspnea, higher modified BODE, more depression, lower SF-36 mental component score, and lower quality of well-being. Overall emphysema was less severe in women, with the difference from men most evident in the outer peel of the lung. Females had thicker small airway walls relative to luminal perimeters.Conclusions: In patients with severe COPD, women, relative to men, exhibit anatomically smaller airway lumens with disproportionately thicker airway walls, and emphysema that is less extensive and characterized by smaller hole size and less peripheral involvement.

This data descriptor outlines a shared neuroimaging dataset from the UCLA Consortium for Neuropsychiatric Phenomics, which focused on understanding the dimensional structure of memory and cognitive control (response inhibition) functions in both healthy individuals (130 subjects) and individuals with neuropsychiatric disorders including schizophrenia (50 subjects), bipolar disorder (49 subjects), and attention deficit/hyperactivity disorder (43 subjects). The dataset includes an extensive set of task-based fMRI assessments, resting fMRI, structural MRI, and high angular resolution diffusion MRI. The dataset is shared through the OpenfMRI project, and is formatted according to the Brain Imaging Data Structure (BIDS) standard.