Data analysis workflows in many scientific domains have become increasingly complex and flexible. Here we assess the effect of this flexibility on the results of functional magnetic resonance imaging by asking 70 independent teams to analyse the same dataset, testing the same 9 ex-ante hypotheses1. The flexibility of analytical approaches is exemplified by the fact that no two teams chose identical workflows to analyse the data. This flexibility resulted in sizeable variation in the results of hypothesis tests, even for teams whose statistical maps were highly correlated at intermediate stages of the analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Notably, a meta-analytical approach that aggregated information across teams yielded a significant consensus in activated regions. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset2–5. Our findings show that analytical flexibility can have substantial effects on scientific conclusions, and identify factors that may be related to variability in the analysis of functional magnetic resonance imaging. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for performing and reporting multiple analyses of the same data. Potential approaches that could be used to mitigate issues related to analytical variability are discussed. The results obtained by seventy different teams analysing the same functional magnetic resonance imaging dataset show substantial variation, highlighting the influence of analytical choices and the importance of sharing workflows publicly and performing multiple analyses.

The regional distribution of white matter (WM) abnormalities in schizophrenia remains poorly understood, and reported disease effects on the brain vary widely between studies. In an effort to identify commonalities across studies, we perform what we believe is the first ever large-scale coordinated study of WM microstructural differences in schizophrenia. Our analysis consisted of 2359 healthy controls and 1963 schizophrenia patients from 29 independent international studies; we harmonized the processing and statistical analyses of diffusion tensor imaging (DTI) data across sites and meta-analyzed effects across studies. Significant reductions in fractional anisotropy (FA) in schizophrenia patients were widespread, and detected in 20 of 25 regions of interest within a WM skeleton representing all major WM fasciculi. Effect sizes varied by region, peaking at (d=0.42) for the entire WM skeleton, driven more by peripheral areas as opposed to the core WM where regions of interest were defined. The anterior corona radiata (d=0.40) and corpus callosum (d=0.39), specifically its body (d=0.39) and genu (d=0.37), showed greatest effects. Significant decreases, to lesser degrees, were observed in almost all regions analyzed. Larger effect sizes were observed for FA than diffusivity measures; significantly higher mean and radial diffusivity was observed for schizophrenia patients compared with controls. No significant effects of age at onset of schizophrenia or medication dosage were detected. As the largest coordinated analysis of WM differences in a psychiatric disorder to date, the present study provides a robust profile of widespread WM abnormalities in schizophrenia patients worldwide. Interactive three-dimensional visualization of the results is available at www.enigma-viewer.org .

Abstract Hemispheric asymmetry is a cardinal feature of human brain organization. Altered brain asymmetry has also been linked to some cognitive and neuropsychiatric disorders. Here the ENIGMA consortium presents the largest ever analysis of cerebral cortical asymmetry and its variability across individuals. Cortical thickness and surface area were assessed in MRI scans of 17,141 healthy individuals from 99 datasets worldwide. Results revealed widespread asymmetries at both hemispheric and regional levels, with a generally thicker cortex but smaller surface area in the left hemisphere relative to the right. Regionally, asymmetries of cortical thickness and/or surface area were found in the inferior frontal gyrus, transverse temporal gyrus, parahippocampal gyrus, and entorhinal cortex. These regions are involved in lateralized functions, including language and visuospatial processing. In addition to population-level asymmetries, variability in brain asymmetry was related to sex, age, and brain size (indexed by intracranial volume). Interestingly, we did not find significant associations between asymmetries and handedness. Finally, with two independent pedigree datasets ( N = 1,443 and 1,113, respectively), we found several asymmetries showing modest but highly reliable heritability. The structural asymmetries identified, and their variabilities and heritability provide a reference resource for future studies on the genetic basis of brain asymmetry and altered laterality in cognitive, neurological, and psychiatric disorders. Significance Statement Left-right asymmetry is a key feature of the human brain's structure and function. It remains unclear which cortical regions are asymmetrical on average in the population, and how biological factors such as age, sex and genetic variation affect these asymmetries. Here we describe by far the largest ever study of cerebral cortical brain asymmetry, based on data from 17,141 participants. We found a global anterior-posterior 'torque' pattern in cortical thickness, together with various regional asymmetries at the population level, which have not been previously described, as well as effects of age, sex, and heritability estimates. From these data, we have created an on-line resource that will serve future studies of human brain anatomy in health and disease.

Abstract Age has a major effect on brain volume. However, the normative studies available are constrained by small sample sizes, restricted age coverage and significant methodological variability. These limitations introduce inconsistencies and may obscure or distort the lifespan trajectories of brain morphometry. In response, we capitalised on the resources of the Enhancing Neuroimaging Genetics through Meta-Analysis (ENIGMA) Consortium to examine the age-related morphometric trajectories of the ventricles, the basal ganglia (caudate, putamen, pallidum, and nucleus accumbens), the thalamus, hippocampus and amygdala using magnetic resonance imaging data obtained from 18,605 individuals aged 3-90 years. All subcortical structure volumes were at their maximum early in life; the volume of the basal ganglia showed a gradual monotonic decline thereafter while the volumes of the thalamus, amygdala and the hippocampus remained largely stable (with some degree of decline in thalamus) until the sixth decade of life followed by a steep decline thereafter. The lateral ventricles showed a trajectory of continuous enlargement throughout the lifespan. Significant age-related increase in inter-individual variability was found for the hippocampus and amygdala and the lateral ventricles. These results were robust to potential confounders and could be used to derive risk predictions for the early identification of diverse clinical phenotypes.

The choice of preprocessing pipeline introduces variability in neuroimaging analyses that affects the reproducibility of scientific findings. Features derived from structural and functional MR imaging data are sensitive to the algorithmic or parametric differences of preprocessing tasks, such as image normalization, registration, and segmentation to name a few. Therefore it is critical to understand and potentially mitigate the cumulative biases of pipelines in order to distinguish biological effects from methodological variance. Here we use an open structural MR imaging dataset (ABIDE), supplemented with the Human Connectome Project (HCP), to highlight the impact of pipeline selection on cortical thickness measures. Specifically, we investigate the effect of 1) software tool (e.g. ANTs, CIVET, FreeSurfer), 2) cortical parcellation (DKT, Destrieux, Glasser), and 3) quality control procedure (manual, automatic). We divide our statistical analyses by 1) method type, i.e. task-free (unsupervised) versus task-driven (supervised), and 2) inference objective, i.e. neurobiological group differences versus individual prediction. Results show that software, parcellation, and quality control significantly impact task-driven neurobiological inference. Additionally, software selection strongly impacts neurobiological and individual task-free analyses, and quality control alters the performance for the individual-centric prediction tasks. This comparative performance evaluation partially explains the source of inconsistencies in neuroimaging findings. Furthermore, it underscores the need for more rigorous scientific workflows and accessible informatics resources to replicate and compare preprocessing pipelines to address the compounding problem of reproducibility in the age of large-scale, data-driven computational neuroscience.

Abstract As very large studies of complex neuroimaging phenotypes become more common, human quality assessment of MRI-derived data remains one of the last major bottlenecks. Few attempts have so far been made to address this issue with machine learning. In this work, we optimize predictive models of quality for meshes representing deep brain structure shapes. We use standard vertex-wise and global shape features computed homologously across 19 cohorts and over 7500 human-rated subjects, training kernelized Support Vector Machine and Gradient Boosted Decision Trees classifiers to detect meshes of failing quality. Our models generalize across datasets and diseases, reducing human workload by 30-70%, or equivalently hundreds of human rater hours for datasets of comparable size, with recall rates approaching inter-rater reliability.

Several brain disorders exhibit sex differences in onset, presentation, and prevalence. Increased understanding of the neurobiology of sex-based differences in variability across the lifespan can provide insight into both disease vulnerability and resilience. In n=3,069 participants, from 8-95 years of age, we first analyzed the variance ratio in females versus males of cortical surface area and global and subcortical volumes for discrete brain regions, and found widespread greater variability in males. In contrast, variance in cortical thickness was similar for males and females. These findings were supported by multivariate analysis accounting for structural covariance, and present and stable across the lifespan. We then examined variability among brain regions by sex. We found significant age-by-sex interactions across neuroimaging metrics, whereby in very early life males had reduced among-region variability compared to females, while in very late life this was reversed. Overall, our findings of greater regional variability but less among-region variability in males in early life may aid our understanding of sex-based risk for neurodevelopmental disorders. In contrast, our findings in late life may provide a potential sex-based risk mechanism for dementia.

Human neuroimaging during cognitive tasks has provided unique and important insights into the neurobiology of cognition. However, the vast majority of research relies upon group aggregate or average statistical maps of activity, which do not fully capture the rich variability which exists across individuals. To better characterize individual variability, hierarchical clustering was performed separately on six fMRI tasks in 822 participants from the Human Connectome Project. Across all tasks, clusters ranged from a predominantly deactivating pattern towards a more activating pattern of brain activity, with differences in out-of-scanner cognitive test scores between clusters. Cluster stability was assessed via bootstrapping approach. Cluster probability did not indicate distinct/clear clustering. However, when participants were plotted in a dimensionally reduced similarity space derived from bootstrapping, variability in brain activity among participants was best represented multidimensionally. A positive to negative axis of activity was the strongest driver of individual differences.

Abstract Functional impairments contribute to poor quality of life in schizophrenia spectrum disorders (SSD). We sought to (Objective I ) define the main functional phenotypes in SSD, then (Objective II ) identify key biopsychosocial correlates, emphasizing interpretable data-driven methods. Objective I was tested on independent samples: Dataset I ( N = 282) and Dataset II ( N = 317), with SSD participants who underwent assessment of multiple functioning areas. Participants were clustered based on functioning. Objective II was evaluated in Dataset I by identifying key features for classifying functional phenotype clusters from among 65 sociodemographic, psychological, clinical, cognitive, and brain volume measures. Findings were replicated across latent discriminant analyses (LDA) and one-vs.-rest binomial regularized regressions to identify key predictors. We identified three clusters of participants in each dataset, demonstrating replicable functional phenotypes: Cluster 1 —poor functioning across domains; Cluster 2 —impaired Role Functioning , but partially preserved Independent and Social Functioning ; Cluster 3 —good functioning across domains. Key correlates were Avolition, anhedonia, left hippocampal volume , and measures of emotional intelligence and subjective social experience. Avolition appeared more closely tied to role functioning , and anhedonia to independent and social functioning . Thus, we found three replicable functional phenotypes with evidence that recovery may not be uniform across domains. Avolition and anhedonia were both critical but played different roles for different functional domains. It may be important to identify critical functional areas for individual patients and target interventions accordingly.

Data analysis workflows in many scientific domains have become increasingly complex and flexible. To assess the impact of this flexibility on functional magnetic resonance imaging (fMRI) results, the same dataset was independently analyzed by 70 teams, testing nine ex-ante hypotheses. The flexibility of analytic approaches is exemplified by the fact that no two teams chose identical workflows to analyze the data. This flexibility resulted in sizeable variation in hypothesis test results, even for teams whose statistical maps were highly correlated at intermediate stages of their analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Importantly, meta-analytic approaches that aggregated information across teams yielded significant consensus in activated regions across teams. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset. Our findings show that analytic flexibility can have substantial effects on scientific conclusions, and demonstrate factors related to variability in fMRI. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for multiple analyses of the same data. Potential approaches to mitigate issues related to analytical variability are discussed.