Data analysis workflows in many scientific domains have become increasingly complex and flexible. Here we assess the effect of this flexibility on the results of functional magnetic resonance imaging by asking 70 independent teams to analyse the same dataset, testing the same 9 ex-ante hypotheses1. The flexibility of analytical approaches is exemplified by the fact that no two teams chose identical workflows to analyse the data. This flexibility resulted in sizeable variation in the results of hypothesis tests, even for teams whose statistical maps were highly correlated at intermediate stages of the analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Notably, a meta-analytical approach that aggregated information across teams yielded a significant consensus in activated regions. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset2–5. Our findings show that analytical flexibility can have substantial effects on scientific conclusions, and identify factors that may be related to variability in the analysis of functional magnetic resonance imaging. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for performing and reporting multiple analyses of the same data. Potential approaches that could be used to mitigate issues related to analytical variability are discussed. The results obtained by seventy different teams analysing the same functional magnetic resonance imaging dataset show substantial variation, highlighting the influence of analytical choices and the importance of sharing workflows publicly and performing multiple analyses.

Abstract The blood oxygenation level-dependent (BOLD) contrast mechanism allows the noninvasive monitoring of changes in deoxyhemoglobin content. As such, it is commonly used in functional magnetic resonance imaging (fMRI) to study brain activity since levels of deoxyhemoglobin are indirectly related to local neuronal activity through neurovascular coupling mechanisms. However, the BOLD signal is severely affected by physiological processes as well as motion. Due to this, several noise correction techniques have been developed to correct for the associated confounds. The present study focuses on cardiac pulsatility fMRI confounds, aiming to refine model-based techniques that utilize the photoplethysmograph (PPG) signal. Specifically, we propose a new technique based on convolution filtering, termed cardiac pulsatility model (CPM) and compare its performance with the cardiac-related RETROICOR (Card-RETROICOR), which is a technique commonly used to model fMRI fluctuations due to cardiac pulsatility. Further, we investigate whether variations in the amplitude of the PPG pulses (PPG-Amp) covary with variations in amplitude of pulse-related fMRI fluctuations, as well as with the systemic low frequency oscillations (SLFOs) component of the fMRI global signal (GS – defined as the mean signal across all gray matter voxels). Capitalizing on 3T fMRI data from the Human Connectome Project, CPM was found to explain a significantly larger fraction of the fMRI signal variance compared to Card-RETROICOR, particularly for subjects with larger heart rate variability during the scan. The amplitude of the fMRI pulse-related fluctuations did not covary with PPG-Amp; however, PPG-Amp explained significant variance in the GS that was not attributed to variations in heart rate or breathing patterns. Our results suggest that the proposed approach can model high-frequency fluctuations due to pulsation as well as low-frequency physiological fluctuations more accurately compared to model-based techniques commonly employed in fMRI studies.

Cerebral blood flow (CBF) is reduced in cognitively impaired (CI) Alzheimer's disease (AD) patients. We checked the sensitivity of time-encoded arterial spin labeling (te-ASL) in measuring CBF alterations in individuals with positive AD biomarkers and associations with relevant biomarkers in cognitively unimpaired (CU) individuals.

Abstract Over the last few years, an increasing body of evidence points to the hemodynamic response function as an important confound of resting-state functional connectivity. Several studies in the literature proposed using blind deconvolution of resting-state fMRI data to retrieve the HRF, which can be subsequently used for hemodynamic deblurring. A basic hypothesis in these studies is that relevant information of the resting-state brain dynamics is condensed in discrete events resulting in large amplitude peaks in the BOLD signal. In this work, we showed that important information of resting-state activity, in addition to the larger amplitude peaks, is also concentrated in lower amplitude peaks. Moreover, due to the strong effect of physiological noise and head motion on the BOLD signal, which in many cases may not be completely removed after preprocessing, the neurophysiological origin of the large amplitude BOLD signal peaks is questionable. Hence, focusing on the large amplitude BOLD signal peaks may yield biased HRF estimates. To define discrete events of neuronal origins, we proposed using simultaneous EEG-fMRI along with convolutional sparse coding analysis. Our results suggested that events detected in the EEG are able to describe the slow oscillations of the BOLD signal and to obtain consistent HRF shapes across subjects under both task-based and resting-state conditions.

It is well established that confounding factors related to head motion and physiological processes (e.g. cardiac and breathing activity) should be taken into consideration when analyzing and interpreting results in fMRI studies. However, even though recent studies aimed to evaluate the performance of different preprocessing pipelines there is still no consensus on the optimal strategy. This may be partly because the quality control (QC) metrics used to evaluate differences in performance across pipelines often yielded contradictory results. Importantly, noise correction techniques based on physiological recordings or expansions of tissue-based techniques such as aCompCor have not received enough attention. Here, to address the aforementioned issues, we evaluate the performance of a large range of pipelines by using previously proposed and novel quality control (QC) metrics. Specifically, we examine the effect of three commonly used practices: 1) Removal of nuisance regressors from fMRI data, 2) discarding motion-contaminated volumes (i.e., scrubbing) before regression, and 3) low-pass filtering the data and the nuisance regressors before their removal. To this end, we propose a framework that summarizes the scores from eight QC metrics to a reduced set of two QC metrics that reflect the signal-to-noise ratio (SNR) and the reduction in motion artifacts and biases in the preprocessed fMRI data. Using resting-state fMRI data from the Human Connectome Project, we show that the best data quality, is achieved when the global signal (GS) and about 17% of principal components from white matter (WM) are removed from the data. In addition, while scrubbing does not yield any further improvement, low-pass filtering at 0.20 Hz leads to a small improvement.

Data analysis workflows in many scientific domains have become increasingly complex and flexible. To assess the impact of this flexibility on functional magnetic resonance imaging (fMRI) results, the same dataset was independently analyzed by 70 teams, testing nine ex-ante hypotheses. The flexibility of analytic approaches is exemplified by the fact that no two teams chose identical workflows to analyze the data. This flexibility resulted in sizeable variation in hypothesis test results, even for teams whose statistical maps were highly correlated at intermediate stages of their analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Importantly, meta-analytic approaches that aggregated information across teams yielded significant consensus in activated regions across teams. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset. Our findings show that analytic flexibility can have substantial effects on scientific conclusions, and demonstrate factors related to variability in fMRI. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for multiple analyses of the same data. Potential approaches to mitigate issues related to analytical variability are discussed.

Abstract Sudden unexpected death in epilepsy (SUDEP) is the leading cause of premature mortality among people with epilepsy. Evidence from witnessed and monitored SUDEP cases indicate seizure-induced cardiovascular and respiratory failures; yet, the underlying mechanisms remain obscure. SUDEP occurs often during the night and early morning hours, suggesting that sleep or circadian rhythm-induced changes in physiology contribute to the fatal event. Resting-state fMRI studies have found altered functional connectivity between brain structures involved in cardiorespiratory regulation in later SUDEP cases and in individuals at high-risk of SUDEP. However, those connectivity findings have not been related to changes in cardiovascular or respiratory patterns. Here, we compared fMRI patterns of brain connectivity associated with regular and irregular cardiorespiratory rhythms in SUDEP cases with those of living epilepsy patients of varying SUDEP risk, and healthy controls. We analysed resting-state fMRI data from 98 patients with epilepsy (9 who subsequently succumbed to SUDEP, 43 categorized as low SUDEP risk (no tonic-clonic seizures (TCS) in the year preceding the fMRI scan), and 46 as high SUDEP risk (>3 TCS in the year preceding the scan)) and 25 healthy controls. The global signal amplitude (GSA), defined as the moving standard deviation of the fMRI global signal, was used to identify periods with regular (‘low state’) and irregular (‘high state’) cardiorespiratory rhythms. Correlation maps were derived from seeds in twelve regions with a key role in autonomic or respiratory regulation, for the low and high states. Following principal component analysis, component weights were compared between the groups. We found widespread alterations in connectivity of precuneus/posterior cingulate cortex in epilepsy compared to controls, in the low state (regular cardiorespiratory activity). In the low state, and to a lesser degree in the high state, reduced anterior insula connectivity (mainly with anterior and posterior cingulate cortex) in epilepsy appeared, relative to healthy controls. For SUDEP cases, the insula connectivity differences were inversely related to the interval between the fMRI scan and death. The findings suggest that anterior insula connectivity measures may provide a biomarker of SUDEP risk. The neural correlates of autonomic brain structures associated with different cardiorespiratory rhythms may shed light on the mechanisms underlying terminal apnea observed in SUDEP.

A bstract Functional brain connectivity measures extracted from resting-state functional magnetic resonance imaging (fMRI) scans have generated wide interest as potential noninvasive biomarkers. In this context, performing global signal regression (GSR) as a preprocessing step remains controversial. Specifically, while it has been shown that a considerable fraction of global signal variations is associated with physiological and motion sources, GSR may also result in removing neural activity. Here, we address this question by examining the fundamental sources of resting global signal fluctuations using simultaneous electroencephalography (EEG)-fMRI data combined with cardiac and breathing recordings. Our results suggest that systemic physiological fluctuations account for a significantly larger fraction of global signal variability compared to electrophysiological fluctuations. Furthermore, we show that GSR reduces artifactual connectivity due to heart rate and breathing fluctuations, but preserves connectivity patterns associated with electrophysiological activity within the alpha and beta frequency ranges. Overall, these results provide evidence that the neural component of resting-state fMRI-based connectivity is preserved after the global signal is regressed out.

Abstract In this work, we investigated the regional characteristics of the dynamic interactions between oscillatory sources of ongoing neural activity obtained using electrophysiological recordings and the corresponding changes in the BOLD signal using simultaneous EEG-fMRI measurements acquired during a motor task, as well as under resting conditions. We casted this problem within a system-theoretic framework, where we initially performed distributed EEG source space reconstruction and subsequently employed block-structured linear and non-linear models to predict the BOLD signal from the instantaneous power in narrow frequency bands of the source local field potential (LFP) spectrum (<100 Hz). Our results suggest that the dynamics of the BOLD signal can be sufficiently described as the convolution between a linear combination of the power profile within individual frequency bands with a hemodynamic response function (HRF). During the motor task, BOLD signal variance was mainly explained by the EEG oscillations in the beta band. On the other hand, during resting-state all frequency bands of EEG exhibited significant contributions to BOLD signal variance. Moreover, the contribution of each band was found to be region specific. Our results also revealed considerable variability of the HRF across different brain regions. Specifically, sensory-motor cortices exhibited positive HRF shapes, whereas parietal and occipital cortices exhibited negative HRF shapes under both experimental conditions.

Functional magnetic resonance imaging (fMRI) is a valuable neuroimaging tool for studying brain function and functional connectivity between brain regions. However, the blood oxygen level dependent (BOLD) signal used to generate the fMRI images can be influenced by various physiological factors, such as cardiac and respiratory activity. These physiological effects, in turn, influence the resulting functional connectivity patterns, making physiological noise correction a crucial step in the preprocessing of fMRI data. When concurrent physiological recordings are available, researchers often generate nuisance regressors to account for the effect of heart rate and respiratory variations by convolving physiological response functions (PRF) with the corresponding physiological signals. However, it has been suggested that the PRF characteristics may vary across subjects and different regions of the brain, as well as across scans of the same subject. To investigate the dependence of PRFs on these factors, we examine the performance of several different PRF models, in terms of BOLD variance explained, using resting-state fMRI data from the Human Connectome Project (N=100). We examined both one-input (heart rate or respiration) and two-input (heart rate and respiration) PRF models and show that allowing PRF curves to vary across subjects and brain regions generally improves PRF model performance. For one-input models, the improvement in model performance gained by allowing spatial variability was most prominent for respiration, particularly for a subset of the subjects (about a third) examined. Allowing for subject-specific or regional variability in the cardiac response function resulted in a significant model performance improvement only when using a two-input PRF model. Overall, our results highlight the importance of considering spatial and subject-specific variability in PRFs when analyzing fMRI data, particularly regarding respiratory-related fluctuations.