Abstract Magnetic resonance imaging (MRI) has transformed our understanding of the human brain through well-replicated mapping of abilities to specific structures (for example, lesion studies) and functions 1–3 (for example, task functional MRI (fMRI)). Mental health research and care have yet to realize similar advances from MRI. A primary challenge has been replicating associations between inter-individual differences in brain structure or function and complex cognitive or mental health phenotypes (brain-wide association studies (BWAS)). Such BWAS have typically relied on sample sizes appropriate for classical brain mapping 4 (the median neuroimaging study sample size is about 25), but potentially too small for capturing reproducible brain–behavioural phenotype associations 5,6 . Here we used three of the largest neuroimaging datasets currently available—with a total sample size of around 50,000 individuals—to quantify BWAS effect sizes and reproducibility as a function of sample size. BWAS associations were smaller than previously thought, resulting in statistically underpowered studies, inflated effect sizes and replication failures at typical sample sizes. As sample sizes grew into the thousands, replication rates began to improve and effect size inflation decreased. More robust BWAS effects were detected for functional MRI (versus structural), cognitive tests (versus mental health questionnaires) and multivariate methods (versus univariate). Smaller than expected brain–phenotype associations and variability across population subsamples can explain widespread BWAS replication failures. In contrast to non-BWAS approaches with larger effects (for example, lesions, interventions and within-person), BWAS reproducibility requires samples with thousands of individuals.

Abstract The Adolescent Brain Cognitive Development Study (ABCD), a 10 year longitudinal neuroimaging study of the largest population based and demographically distributed cohort of 9-10 year olds (N=11,877), was designed to overcome reproducibility limitations of prior child mental health studies. Besides the fantastic wealth of research opportunities, the extremely large size of the ABCD data set also creates enormous data storage, processing, and analysis challenges for researchers. To ensure data privacy and safety, researchers are not currently able to share neuroimaging data derivatives through the central repository at the National Data Archive (NDA). However, sharing derived data amongst researchers laterally can powerfully accelerate scientific progress, to ensure the maximum public benefit is derived from the ABCD study. To simultaneously promote collaboration and data safety, we developed the ABCD-BIDS Community Collection (ABCC), which includes both curated processed data and software utilities for further analyses. The ABCC also enables researchers to upload their own custom-processed versions of ABCD data and derivatives for sharing with the research community. This NeuroResource is meant to serve as the companion guide for the ABCC. In section we describe the ABCC. Section II highlights ABCC utilities that help researchers access, share, and analyze ABCD data, while section III provides two exemplar reproducibility analyses using ABCC utilities. We hope that adoption of the ABCC’s data-safe, open-science framework will boost access and reproducibility, thus facilitating progress in child and adolescent mental health research.

SUMMARY The brain is organized into a broad set of functional neural networks. These networks and their various characteristics have been described and scrutinized through in vivo resting state functional magnetic resonance imaging (rs-fMRI). While the basic properties of networks are generally similar between healthy individuals, there is vast variability in the precise topography across the population. These individual differences are often lost in population studies due to population averaging which assumes topographical uniformity. We leveraged precision brain mapping methods to establish a new open-source, method-flexible set of precision functional network atlases: the Masonic Institute for the Developing Brain (MIDB) Precision Brain Atlas. Using participants from the Adolescent Brain Cognitive Development (ABCD) study, single subject precision network maps were generated with two supervised network-matching procedures (template matching and non-negative matrix factorization), an overlapping template matching method for identifying integration zones, as well as an unsupervised community detection algorithm (Infomap). From these individualized maps we also generated probabilistic network maps and integration zones for two demographically-matched groups of n∼3000 each. We demonstrate high reproducibility between groups (Pearson’s r >0.999) and between methods (r=0.96), revealing both regions of high invariance and high variability. Compared to using parcellations based on groups averages, the MIDB Precision Brain Atlas allowed us to derive a set of brain regions that are largely invariant in network topography across populations, which provides more reproducible statistical maps of executive function in brain-wide associations. We also explore an example use case for probabilistic maps, highlighting their potential for use in targeted neuromodulation. The MIDB Precision Brain Atlas is expandable to alternative datasets and methods and is provided open-source with an online web interface to encourage the scientific community to experiment with probabilistic atlases and individual-specific topographies to more precisely relate network phenomenon to functional organization of the human brain.

Abstract Between-participant differences in head motion introduce systematic bias to resting state fMRI brain-wide association studies (BWAS) that is not completely removed by denoising algorithms. Researchers who study traits, or phenotypes associated with in-scanner head motion (e.g. psychiatric disorders) need to know if trait-functional connectivity (FC) effects are biased by residual motion artifact in order to avoid reporting false positive results. We devised an adaptable method, Split Half Analysis of Motion Associated Networks (SHAMAN), to assign a motion impact score to specific trait-FC effects. The SHAMAN approach distinguishes between motion artifact causing overestimation or underestimation of trait-FC effects. SHAMAN was > 95% specific at sample sizes of n = 100 and above. SHAMAN was powered to detect motion overestimation scores 80% of the time at sample sizes of n = 5,000 but could detect motion underestimation scores only 50% of the time at n = 5000, making it most useful for researchers seeking to avoid overestimating trait-FC effects in large BWAS. We computed motion impact scores for trait-FC effect with 45 demographic, biophysical, cognitive, and personality traits from n = 7,270 participants in the Adolescent Brain Cognitive Development (ABCD) Study. After standard denoising with ABCD-BIDS and without motion censoring, 42% (19/45) of traits had significant (p < 0.05) motion overestimation scores and 38% (17/45) of traits had significant motion underestimation scores. Censoring at framewise displacement (FD) < 0.2 mm reduced the proportion of traits with significant motion overestimation scores from 42% to 2% (1/45) but did not decrease the number of traits with significant motion underestimation scores.

Abstract Magnetic resonance imaging (MRI) continues to drive many important neuroscientific advances. However, progress in uncovering reproducible associations between individual differences in brain structure/function and behavioral phenotypes (e.g., cognition, mental health) may have been undermined by typical neuroimaging sample sizes (median N=25) 1,2 . Leveraging the Adolescent Brain Cognitive Development (ABCD) Study 3 (N=11,878), we estimated the effect sizes and reproducibility of these brain-wide associations studies (BWAS) as a function of sample size. The very largest, replicable brain-wide associations for univariate and multivariate methods were r=0.14 and r=0.34, respectively. In smaller samples, typical for brain-wide association studies (BWAS), irreproducible, inflated effect sizes were ubiquitous, no matter the method (univariate, multivariate). Until sample sizes started to approach consortium-levels, BWAS were underpowered and statistical errors assured. Multiple factors contribute to replication failures 4–6 ; here, we show that the pairing of small brain-behavioral phenotype effect sizes with sampling variability is a key element in wide-spread BWAS replication failure. Brain-behavioral phenotype associations stabilize and become more reproducible with sample sizes of N⪆2,000. While investigator-initiated brain-behavior research continues to generate hypotheses and propel innovation, large consortia are needed to usher in a new era of reproducible human brain-wide association studies.