Summary Paragraph Biomarkers of behavior and psychiatric illness for cognitive and clinical neuroscience remain out of reach 1–4 . Suboptimal reliability of biological measurements, such as functional magnetic resonance imaging (fMRI), is increasingly cited as a primary culprit for discouragingly large sample size requirements and poor reproducibility of brain-based biomarker discovery 1,5–7 . In response, steps are being taken towards optimizing MRI reliability and increasing sample sizes 8–11 , though this will not be enough. Optimizing biological measurement reliability and increasing sample sizes are necessary but insufficient steps for biomarker discovery; this focus has overlooked the ‘other side of the equation’ - the reliability of clinical and cognitive assessments - which are often suboptimal or unassessed. Through a combination of simulation analysis and empirical studies using neuroimaging data, we demonstrate that the joint reliability of both biological and clinical/cognitive phenotypic measurements must be optimized in order to ensure biomarkers are reproducible and accurate. Even with best-case scenario high reliability neuroimaging measurements and large sample sizes, we show that suboptimal reliability of phenotypic data (i.e., clinical diagnosis, behavioral and cognitive measurements) will continue to impede meaningful biomarker discovery for the field. Improving reliability through development of novel assessments of phenotypic variation is needed, but it is not the sole solution. We emphasize the potential to improve the reliability of established phenotypic methods through aggregation across multiple raters and/or measurements 12–15 , which is becoming increasingly feasible with recent innovations in data acquisition (e.g., web- and smart-phone-based administration, ecological momentary assessment, burst sampling, wearable devices, multimodal recordings) 16–20 . We demonstrate that such aggregation can achieve better biomarker discovery for a fraction of the cost engendered by large-scale samples. Although the current study has been motivated by ongoing developments in neuroimaging, the prioritization of reliable phenotyping will revolutionize neurobiological and clinical endeavors that are focused on brain and behavior.

Abstract Understanding how higher order cognitive function emerges from the underlying brain structure depends on quantifying how the behaviour of discrete regions are integrated within the broader cortical landscape. Recent work has established that this macroscale brain organization and function can be quantified in a compact manner through the use of multivariate machine learning approaches that identify manifolds often described as cortical gradients. By quantifying topographic principles of macroscale organization, cortical gradients lend an analytical framework to study structural and functional brain organization across species, throughout development and aging, and its perturbations in disease. More generally, its macroscale perspective on brain organization offers novel possibilities to investigate the complex relationships between brain structure, function, and cognition in a quantified manner. Here, we present a compact workflow and open-access toolbox that allows for (i) the identification of gradients (from structural or functional imaging data), (ii) their alignment (across subjects or modalities), and (iii) their visualization (in embedding or cortical space). Our toolbox also allows for controlled association studies between gradients with other brain-level features, adjusted with respect to several null models that account for spatial autocorrelation. The toolbox is implemented in both Python and Matlab, programming languages widely used by the neuroimaging and network neuroscience communities. Several use-case examples and validation experiments demonstrate the usage and consistency of our tools for the analysis of functional and microstructural gradients across different spatial scales.

ABSTRACT Diffusion-weighted magnetic resonance imaging (dMRI) has become the primary method for non-invasively studying the organization of white matter in the human brain. While many dMRI acquisition sequences have been developed, they all sample q-space in order to characterize water diffusion. Numerous software platforms have been developed for processing dMRI data, but most work on only a subset of sampling schemes or implement only parts of the processing workflow. Reproducible research and comparisons across dMRI methods are hindered by incompatible software, diverse file formats, and inconsistent naming conventions. Here we introduce QSIPrep, an integrative software platform for the processing of diffusion images that is compatible with nearly all dMRI sampling schemes. Drawing upon a diverse set of software suites to capitalize upon their complementary strengths, QSIPrep automatically applies best practices for dMRI preprocessing, including denoising, distortion correction, head motion correction, coregistration, and spatial normalization. Throughout, QSIPrep provides both visual and quantitative measures of data quality as well as “glass-box” methods reporting. Taken together, these features facilitate easy implementation of best practices for processing of diffusion images while simultaneously ensuring reproducibility.

A bstract Both macroscale connectome miswiring and microcircuit anomalies have been suggested to play a role in the pathophysiology of autism. However, an overarching framework that consolidates these macro and microscale perspectives of the condition is lacking. Here, we combined connectome-wide manifold learning and biophysical simulation models to understand associations between global network perturbations and microcircuit dysfunctions in autism. Our analysis established that autism showed significant differences in structural connectome organization relative to neurotypical controls, with strong effects in low-level somatosensory regions and moderate effects in high-level association cortices. Computational models revealed that the degree of macroscale anomalies was related to atypical increases of subcortical inputs into cortical microcircuits, especially in sensory and motor areas. Transcriptomic decoding and developmental gene enrichment analyses provided biological context and pointed to genes expressed in cortical and thalamic areas during childhood and adolescence. Supervised machine learning showed the macroscale perturbations predicted socio-cognitive symptoms and repetitive behaviors. Our analyses provide convergent support that atypical subcortico-cortical interactions may contribute to both microcircuit and macroscale connectome anomalies in autism.

Abstract Replicability, the ability to replicate scientific findings, is a prerequisite for scientific discovery and clinical utility. Troublingly, we are in the midst of a replicability crisis. A key to replicability is that multiple measurements of the same item (e.g., experimental sample or clinical participant) under fixed experimental constraints are relatively similar to one another. Thus, statistics that quantify the relative contributions of accidental deviations—such as measurement error—as compared to systematic deviations—such as individual differences—are critical. We demonstrate that existing replicability statistics, such as intra-class correlation coefficient and fingerprinting, fail to adequately differentiate between accidental and systematic deviations in very simple settings. We therefore propose a novel statistic, discriminability , which quantifies the degree to which an individual’s samples are relatively similar to one another, without restricting the data to be univariate, Gaussian, or even Euclidean. Using this statistic, we introduce the possibility of optimizing experimental design via increasing discriminability and prove that optimizing discriminability improves performance bounds in subsequent inference tasks. In extensive simulated and real datasets (focusing on brain imaging and demonstrating on genomics), only optimizing data discriminability improves performance on all subsequent inference tasks for each dataset. We therefore suggest that designing experiments and analyses to optimize discriminability may be a crucial step in solving the replicability crisis, and more generally, mitigating accidental measurement error. Author Summary In recent decades, the size and complexity of data has grown exponentially. Unfortunately, the increased scale of modern datasets brings many new challenges. At present, we are in the midst of a replicability crisis, in which scientific discoveries fail to replicate to new datasets. Difficulties in the measurement procedure and measurement processing pipelines coupled with the influx of complex high-resolution measurements, we believe, are at the core of the replicability crisis. If measurements themselves are not replicable, what hope can we have that we will be able to use the measurements for replicable scientific findings? We introduce the “discriminability” statistic, which quantifies how discriminable measurements are from one another, without limitations on the structure of the underlying measurements. We prove that discriminable strategies tend to be strategies which provide better accuracy on downstream scientific questions. We demonstrate the utility of discriminability over competing approaches in this context on two disparate datasets from both neuroimaging and genomics. Together, we believe these results suggest the value of designing experimental protocols and analysis procedures which optimize the discriminability.

SUMMARY The brain is organized into networks at multiple resolutions, or scales, yet studies of functional network development typically focus on a single scale. Here, we derived personalized functional networks across 29 scales in a large sample of youths (n=693, ages 8-23 years) to identify multi-scale patterns of network re-organization related to neurocognitive development. We found that developmental shifts in inter-network coupling systematically adhered to and strengthened a functional hierarchy of cortical organization. Furthermore, we observed that scale-dependent effects were present in lower-order, unimodal networks, but not higher-order, transmodal networks. Finally, we found that network maturation had clear behavioral relevance: the development of coupling in unimodal and transmodal networks dissociably mediated the emergence of executive function. These results delineate maturation of multi-scale brain networks, which varies according to a functional hierarchy and impacts cognitive development.

ABSTRACT Arterial spin labeled (ASL) magnetic resonance imaging (MRI) is the primary method for non-invasively measuring regional brain perfusion in humans. We introduce ASLPrep, a suite of software pipelines that ensure the reproducible and generalizable processing of ASL MRI data.

Abstract Previous research has indicated that health and well-being are impacted on by both the way we think, and the things we do. In the laboratory, studies suggest that specific task contexts affect this process because the people we are with, the places we are in, and the activities we perform may influence our thought patterns. In our study participants completed multi-dimensional experience-sampling surveys eight times per day for 5 days to generate thought data across a variety of dimensions in daily life. Principal component analysis was used to decompose the experience sampling data, and linear mixed modelling related these patterns to the activity in daily life in which they emerged. Our study replicated the influence of socializing on patterns of ongoing thought observed in our prior study and established that this is part of a broader set of relationship that links our current activities to how our thoughts are organised in daily life. We also found that factors such as time of day and the physical location are associated with reported patterns of thought, factors that are important for future studies to explore. Our study suggests that sampling thinking in the real world may be able to provide a set of comprehensive thinking-activity mappings that will be useful to researchers and health care professionals interested in health and well-being.

ABSTRACT Background Nonhuman primate models (NHP) are commonly used to advance our understanding of brain function and organization. However, to date, they have offered few insights into individual differences among NHPs. In large part, this is due to the logistical challenges of NHP research, which limit most studies to five subjects or fewer. Methods We leveraged the availability of a large-scale open NHP imaging resource to provide an initial examination of individual differences in the functional organization of the nonhuman primate brain. Specifically, we selected one awake fMRI dataset (Newcastle: n = 10) and two anesthetized fMRI data sets (Oxford: n = 19; UC-Davis: n = 19) to examine individual differences in functional connectivity characteristics across the cortex, as well as potential state dependencies. Results We noted significant individual variations of functional connectivity across the macaque cortex. Similar to the findings in human, during the awake state, the primary sensory and motor cortices showed lower variability than the high-order association regions. This variability pattern was significantly correlated with T1w/T2w map, the degree of long-distance connectivity, but not short-distance connectivity. However, the inter-individual variability under anesthesia exhibited a very distinct pattern, with lower variability in medial frontal cortex, precuneus and somatomotor regions and higher variability in the lateral ventral frontal and insular cortices. Conclusions This work has implications for our understanding of the evolutionary origins of individual variation in the human brain, as well as methodological implications that must be considered in any pursuit to study individual variation in NHP models.

ABSTRACT The Brain Imaging Data Structure (BIDS) is a specification accompanied by a software ecosystem that was designed to create reproducible and automated workflows for processing neuroimaging data. BIDS Apps flexibly build workflows based on the metadata detected in a dataset. However, even BIDS valid metadata can include incorrect values or omissions that result in inconsistent processing across sessions. Additionally, in large-scale, heterogeneous neuroimaging datasets, hidden variability in metadata is difficult to detect and classify. To address these challenges, we created a Python-based software package titled “Curation of BIDS” (CuBIDS), which provides an intuitive workflow that helps users validate and manage the curation of their neuroimaging datasets. CuBIDS includes a robust implementation of BIDS validation that scales to large samples and incorporates DataLad––a version control software package for data––to ensure reproducibility and provenance tracking throughout the entire curation process. CuBIDS provides tools to help users perform quality control on their images’ metadata and identify unique combinations of imaging parameters. Users can then execute BIDS Apps on a subset of participants that represent the full range of acquisition parameters that are present, accelerating pipeline testing on large datasets. HIGHLIGHTS CuBIDS is a workflow and software package for curating BIDS data. CuBIDS summarizes the heterogeneity in a BIDS dataset. CuBIDS prepares BIDS data for successful preprocessing pipeline runs. CuBIDS helps users perform metadata-based quality control.