Abstract We created resources to facilitate research on the role of human brain microstructure in the development of mental health disorders, based on openly-available diffusion MRI (dMRI) data from the Healthy Brain Network (HBN) study. First, we curated the HBN dMRI data (N=2747) into the Brain Imaging Data Structure and preprocessed it according to best-practices, including denoising and correcting for motion effects, susceptibility-related distortions, and eddy currents. Preprocessed, analysis-ready data was made openly available. Data quality plays a key role in the analysis of dMRI, and we provide automated quality control (QC) scores for every scan, as part of the data release. To scale QC to this large dataset, we trained a neural network through the combination of a small data subset scored by experts and a larger set scored by community scientists. The network performs QC highly concordant with that of experts on a held out set (ROC-AUC = 0.947). A further analysis of the neural network demonstrates that it relies on image features with relevance to QC. Altogether, this work both delivers a resource for transdiagnostic research in brain connectivity and pediatric mental health and serves as a novel tool for automated QC of large datasets.

ABSTRACT The collection of eye gaze information during functional magnetic resonance imaging (fMRI) is important for monitoring variations in attention and task compliance, particularly for naturalistic viewing paradigms (e.g., movies). However, the complexity and setup requirements of current in-scanner eye-tracking solutions can preclude many researchers from accessing such information. Predictive eye estimation regression (PEER) is a previously developed support vector regression-based method for retrospectively estimating eye gaze from the fMRI signal in the eye’s orbit using a 1.5-minute calibration scan. Here, we provide confirmatory validation of the PEER method’s ability to infer eye gaze on a TR-by-TR basis during movie viewing, using simultaneously acquired eye tracking data in five individuals (median angular deviation < 2°). Then, we examine variations in the predictive validity of PEER models across individuals in a subset of data (n=448) from the Child Mind Institute Healthy Brain Network Biobank, identifying head motion as a primary determinant. Finally, we accurately classify which of two movies is being watched based on the predicted eye gaze patterns (area under the curve = .90 ± .02) and map the neural correlates of eye movements derived from PEER. PEER is a freely available and easy-to-use tool for determining eye fixations during naturalistic viewing.

Background: Although typically measured during the resting state, a growing literature is illustrating the ability to map intrinsic connectivity in task and naturalistic viewing fMRI paradigms. These paradigms are drawing excitement due to their greater tolerability in clinical and developing populations and because they enable a wider range of analyses (e.g. inter-subject correlations). To be clinically useful, the test-retest reliability of connectivity measured during these paradigms needs to be established. This resource provides data for evaluating test-retest reliability for full-brain connectivity patterns detected during each of four scan conditions that differ with respect to level of engagement (rest, abstract animations, movie clips, flanker task). Data is provided for thirteen participants, each scanned in twelve sessions with 10 minutes for each scan of the four conditions. Diffusion kurtosis imaging data was also obtained at each session. Findings: Technical validation and demonstrative reliability analyses found that variation in intrinsic functional connectivity across sessions was greater than that attributable to scan condition. Between-condition reliability was generally high, particularly for the frontoparietal and default networks. Between-session reliabilities obtained separately for the different scan conditions were comparable, though notably lower than between-condition reliabilities. Conclusions: The described resource provides a test-bed for quantifying the reliability of connectivity indices across conditions and time. The resource can be used to compare and optimize different frameworks for measuring connectivity and data collection parameters such as scan length. Additionally, investigators can explore the unique perspectives of the brain's functional architecture offered by each of the scan conditions.

Neural development is generally marked by an increase in the efficiency and diversity of neural processes. In a large sample (N = 114) of children and adults with ages ranging from 5 - 44 years, we investigated the neural responses to naturalistic video stimuli. Videos from both real-life classroom settings and Hollywood feature films were used to probe different aspects of attention and engagement. For all stimuli, older ages were marked by more variable neural responses. Variability was assessed by the inter-subject correlation of evoked electroencephalographic (EEG) responses. Young males also had more variable responses than young females. These results were replicated in an independent cohort (N = 303). When interpreted in the context of neural maturation, we conclude that neural function becomes more variable with maturity, at least in during the passive viewing of real-world stimuli.

Abstract When fields lack consensus standards and ground truths for their analytic methods, reproducibility can be more of an ideal than a reality. Such has been the case for functional neuroimaging, where there exists a sprawling space of tools for constructing processing pipelines and drawing interpretations. We provide a critical evaluation of the impact of differences across five independently developed minimal preprocessing pipelines for functional MRI. We show that even when handling identical data, inter-pipeline agreement was only moderate. Critically, this highlights a dependence of downstream analyses on the chosen processing pipeline, and sheds light on a potentially driving factor in prior reports of limited reproducibility across studies. Using a densely sampled test-retest dataset, we show that limitations imposed by inter-pipeline agreement mainly become appreciable when the reliability of the underlying data is high, which is increasingly the case as the field progresses into an era of unprecedented data quality and abundance. We highlight the importance of comparing analytic configurations, as both widely discussed (e.g., global signal regression) and commonly overlooked (e.g., MNI template version) decisions were found to lead to marked variation. We provide recommendations for incorporating tool-based variability in functional neuroimaging analyses and a supporting infrastructure.

New large neuroimaging studies, such as the Adolescent Brain Cognitive Development study (ABCD) and Human Connectome Project (HCP) Development studies are adopting a new T1-weighted imaging sequence with prospective motion correction (PMC) in favor of the more traditional 3-Dimensional Magnetization-Prepared Rapid Gradient-Echo Imaging (MPRAGE) sequence. In this study, we used a developmental dataset (ages 5-21, N=348) from the Healthy Brain Network Initiative and directly compared the MPRAGE and MPRAGE with PMC (MPRAGE+PMC) sequences to determine if the morphometric measurements obtained from both protocols are equivalent or if there is an advantage to use one. The sequences were also compared through quality control measurements. Inter- and intra-sequence reliability were assessed with another set of participants (N=71) that performed two MPRAGE and two MPRAGE+PMC sequences within the same imaging session, with one MPRAGE (MPRAGE1) and MPRAGE+PMC (MPRAGE+PMC1) pair at the beginning of the session and another pair (MPRAGE2 and MPRAGE+PMC2) at the end of the session. With morphometric measurements such as volume and cortical thickness, Intraclass correlation coefficients (ICC) scores showed that intra-sequence reliability is the highest with the MPRAGE+PMC sequences and lowest with the MPRAGE sequences. Regarding inter-sequence reliability, ICC scores were higher for the MPRAGE1-MPRAGE+PMC1 pair at the beginning of the session than the MPRAGE1-MPRAGE2 pair, possibly due to the higher motion artifacts in the MPRAGE2 run. Results also indicate that the MPRAGE+PMC sequence is robust, but not foolproof, to high head motion. For quality control metrics, the traditional MPRAGE presented better results than MPRAGE+PMC in 5 of the 7 measurements. In conclusion, morphometric measurements evaluated here showed high inter-sequence reliability between the MPRAGE and MPRAGE+PMC sequences, especially in images with low head motion. Researchers conducting studies with highly kinetic populations are highly recommended to use the MPRAGE+PMC sequence, due to its robustness to head motion and higher reliability scores. However, due to potential higher quality control measures, neuroimaging researchers with low head motion participants can still consider using the MPRAGE sequence, however, can also choose to use the MPRAGE+PMC sequence to increase the reliability of the data.Highlights

Multilayer network models have been proposed as an effective means to capture the dynamic configuration of distributed neural circuits and quantitatively describe how communities vary over time. However, test-retest reliabilities for multilayer network measures are yet to be fully quantified. Here, we systematically evaluated the impact of code implementation, network parameter selections, scan duration, and task condition on test-retest reliability of key multilayer network measures (i.e., flexibility, integration, recruitment). We found that each of these factors impacted reliability, although to differing degrees. The choice of parameters is a longstanding difficulty of multilayer modularity-maximization algorithms. As suggested by prior work, we found that optimal parameter selection was a key determinant of reliability. Though, due to changes in implementation of the multilayer community detection algorithm, our findings revealed a more complex story than previously appreciated, as the parameter landscape of reliability was found to be dependent on the implementation of the software. Consistent with findings from the static functional connectivity literature, scan duration was found to be a much stronger determinant of reliability than scan condition. We found that both passive (i.e., resting state, Inscapes, and movie) and active (i.e., flanker) tasks can be highly reliable when the parameters are optimized and the scan duration is sufficient, although reliability in the movie watching condition was significantly higher than in the other three tasks. Accordingly, the minimal data requirement for achieving reliable measures for the movie watching condition was 20 min, which is less than the 30 min needed for the other three tasks. Collectively, our results quantified test-retest reliability for multilayer network measures and support the utility of movie fMRI as a reliable context in which to investigation time-invariant network dynamics. Our practice of using test-retest reliability to optimize free parameters of multilayer modularity-maximization algorithms has the potential to enhance our ability to use these measures for the study of individual differences in cognitive traits.

Abstract Brain extraction (a.k.a. skull stripping) is a fundamental step in the neuroimaging pipeline as it can affect the accuracy of downstream preprocess such as image registration, tissue classification, etc. Most brain extraction tools have been designed for and applied to human data and are often challenged by non-human primates (NHP) data. Amongst recent attempts to improve performance on NHP data, deep learning models appear to outperform the traditional tools. However, given the minimal sample size of most NHP studies and notable variations in data quality, the deep learning models are very rarely applied to multi-site samples in NHP imaging. To overcome this challenge, we used a transfer-learning framework that leverages a large human imaging dataset to pretrain a convolutional neural network (i.e. U-Net Model), and then transferred this to NHP data using a small NHP training sample. The resulting transfer-learning model converged faster and achieved more accurate performance than a similar U-Net Model trained exclusively on NHP samples. We improved the generalizability of the model by upgrading the transfer-learned model using additional training datasets from multiple research sites in the Primate Data-Exchange (PRIME-DE) consortium. Our final model outperformed brain extraction routines from popular MRI packages (AFNI, FSL, and FreeSurfer) across a heterogeneous sample from multiple sites in the PRIME-DE with less computational cost (20s~10min). We also demonstrated the transfer-learning process enables the macaque model to be updated for use with scans from chimpanzees, marmosets, and other mammals (e.g. pig). Our model, code, and the skull-stripped mask repository of 136 macaque monkeys are publicly available for unrestricted use by the neuroimaging community at https://github.com/HumanBrainED/NHP-BrainExtraction .

Non-human primate neuroimaging is a rapidly growing area of research that promises to transform and scale translational and cross-species comparative neuroscience. Unfortunately, the technological and methodological advances of the past two decades have outpaced the accrual of data, which is particularly challenging given the relatively few centers that have the necessary facilities and capabilities. The PRIMate Data Exchange (PRIME-DE) addresses this challenge by aggregating independently acquired non-human primate magnetic resonance imaging (MRI) datasets and openly sharing them via the International Neuroimaging Data-sharing Initiative (INDI). Here, we present the rationale, design and procedures for the PRIME-DE consortium, as well as the initial release, consisting of 13 independent data collections aggregated across 11 sites (total = 98 macaque monkeys). We also outline the unique pitfalls and challenges that should be considered in the analysis of the non-human primate MRI datasets, including providing automated quality assessment of the contributed datasets.