Data analysis workflows in many scientific domains have become increasingly complex and flexible. Here we assess the effect of this flexibility on the results of functional magnetic resonance imaging by asking 70 independent teams to analyse the same dataset, testing the same 9 ex-ante hypotheses1. The flexibility of analytical approaches is exemplified by the fact that no two teams chose identical workflows to analyse the data. This flexibility resulted in sizeable variation in the results of hypothesis tests, even for teams whose statistical maps were highly correlated at intermediate stages of the analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Notably, a meta-analytical approach that aggregated information across teams yielded a significant consensus in activated regions. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset2–5. Our findings show that analytical flexibility can have substantial effects on scientific conclusions, and identify factors that may be related to variability in the analysis of functional magnetic resonance imaging. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for performing and reporting multiple analyses of the same data. Potential approaches that could be used to mitigate issues related to analytical variability are discussed. The results obtained by seventy different teams analysing the same functional magnetic resonance imaging dataset show substantial variation, highlighting the influence of analytical choices and the importance of sharing workflows publicly and performing multiple analyses.

Abstract White matter bundle segmentation using diffusion MRI fiber tractography has become the method of choice to identify white matter fiber pathways in vivo in human brains. However, like other analyses of complex data, there is considerable variability in segmentation protocols and techniques. This can result in different reconstructions of the same intended white matter pathways, which directly affects tractography results, quantification, and interpretation. In this study, we aim to evaluate and quantify the variability that arises from different protocols for bundle segmentation. Through an open call to users of fiber tractography, including anatomists, clinicians, and algorithm developers, 42 independent teams were given processed sets of human whole-brain streamlines and asked to segment 14 white matter fascicles on six subjects. In total, we received 57 different bundle segmentation protocols, which enabled detailed volume-based and streamline-based analyses of agreement and disagreement among protocols for each fiber pathway. Results show that even when given the exact same sets of underlying streamlines, the variability across protocols for bundle segmentation is greater than all other sources of variability in the virtual dissection process, including variability within protocols and variability across subjects. In order to foster the use of tractography bundle dissection in routine clinical settings, and as a fundamental analytical tool, future endeavors must aim to resolve and reduce this heterogeneity. Although external validation is needed to verify the anatomical accuracy of bundle dissections, reducing heterogeneity is a step towards reproducible research and may be achieved through the use of standard nomenclature and definitions of white matter bundles and well-chosen constraints and decisions in the dissection process.

Several brain disorders exhibit sex differences in onset, presentation, and prevalence. Increased understanding of the neurobiology of sex-based differences in variability across the lifespan can provide insight into both disease vulnerability and resilience. In n=3,069 participants, from 8-95 years of age, we first analyzed the variance ratio in females versus males of cortical surface area and global and subcortical volumes for discrete brain regions, and found widespread greater variability in males. In contrast, variance in cortical thickness was similar for males and females. These findings were supported by multivariate analysis accounting for structural covariance, and present and stable across the lifespan. We then examined variability among brain regions by sex. We found significant age-by-sex interactions across neuroimaging metrics, whereby in very early life males had reduced among-region variability compared to females, while in very late life this was reversed. Overall, our findings of greater regional variability but less among-region variability in males in early life may aid our understanding of sex-based risk for neurodevelopmental disorders. In contrast, our findings in late life may provide a potential sex-based risk mechanism for dementia.

Data analysis workflows in many scientific domains have become increasingly complex and flexible. To assess the impact of this flexibility on functional magnetic resonance imaging (fMRI) results, the same dataset was independently analyzed by 70 teams, testing nine ex-ante hypotheses. The flexibility of analytic approaches is exemplified by the fact that no two teams chose identical workflows to analyze the data. This flexibility resulted in sizeable variation in hypothesis test results, even for teams whose statistical maps were highly correlated at intermediate stages of their analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Importantly, meta-analytic approaches that aggregated information across teams yielded significant consensus in activated regions across teams. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset. Our findings show that analytic flexibility can have substantial effects on scientific conclusions, and demonstrate factors related to variability in fMRI. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for multiple analyses of the same data. Potential approaches to mitigate issues related to analytical variability are discussed.

ABSTRACT Background Externalizing and internalizing behaviors are common and contribute to impairment in children with neurodevelopmental disorders (NDDs). Associations between externalizing or internalizing behaviors and cortico-amygdalar connectivity have been found in children with and without clinically significant internalizing/externalizing behaviors. This study examined whether such associations are present across children with different NDDs. Methods Multi-modal neuroimaging and behavioral data from the Province of Ontario Neurodevelopmental Disorders (POND) Network were used. POND participants aged 6-18 years with a primary diagnosis of autism spectrum disorder (ASD), attention-deficit/hyperactivity disorder (ADHD) or obsessive-compulsive disorder (OCD), as well as typically developing children (TDC) with T1-weighted, resting-state fMRI or diffusion weighted imaging and parent-report Child Behavioral Checklist (CBCL) data available, were analyzed (n range=157-346). Associations between externalizing or internalizing behavior and cortico-amygdalar structural and functional connectivity indices were examined using linear regressions, controlling for age, gender, and image-modality specific covariates. Behavior-by-diagnosis interaction effects were also examined. Results No significant linear associations (or diagnosis-by-behavior interaction effects) were found between CBCL-measured externalizing or internalizing behaviors and any of the connectivity indices examined. Post-hoc bootstrapping analyses indicated stability and reliability of these null results. Conclusions The current study provides evidence in favour of the absence of a shared linear relationship between internalizing or externalizing behaviors and cortico-amygdalar connectivity properties across a transdiagnostic sample of children with various NDDs and TDC. Detecting shared brain-behavior relationships in children with NDDs may benefit from the use of different methodological approaches, including incorporation of multi-dimensional behavioral data (i.e. behavioral assessments, neurocognitive tasks, task-based fMRI) or clustering approaches to delineate whether subgroups of individuals with different brain-behavior profiles are present within heterogeneous cross-disorder samples.