Integration of information from multiple senses is fundamental to perception and cognition, but when and where this is accomplished in the brain is not well understood. This study examined the timing and topography of cortical auditory–visual interactions using high-density event-related potentials (ERPs) during a simple reaction-time (RT) task. Visual and auditory stimuli were presented alone and simultaneously. ERPs elicited by the auditory and visual stimuli when presented alone were summed (‘sum’ ERP) and compared to the ERP elicited when they were presented simultaneously (‘simultaneous’ ERP). Divergence between the ‘simultaneous’ and ‘sum’ ERP indicated auditory–visual (AV) neural response interactions. There was a surprisingly early right parieto-occipital AV interaction, consistent with the finding of an earlier study [J. Cogn. Neurosci. 11 (1999) 473]. The timing of onset of this effect (46 ms) was essentially simultaneous with the onset of visual cortical processing, as indexed by the onset of the visual C1 component, which is thought to represent the earliest cortical visual evoked potential. The coincident timing of the early AV interaction and C1 strongly suggests that AV interactions can affect early visual sensory processing. Additional AV interactions were found within the time course of sensory processing (up to 200 ms post stimulus onset). In total, this system of AV effects over the scalp was suggestive of both activity unique to multisensory processing, and the modulation of ‘unisensory’ activity. RTs to the stimuli when presented simultaneously were significantly faster than when they were presented alone. This RT facilitation could not be accounted for by probability summation, as evidenced by violation of the ‘race’ model, providing compelling evidence that auditory–visual neural interactions give rise to this RT effect.

This paper describes methods to analyze the brain's electric fields recorded with multichannel Electroencephalogram (EEG) and demonstrates their implementation in the software CARTOOL. It focuses on the analysis of the spatial properties of these fields and on quantitative assessment of changes of field topographies across time, experimental conditions, or populations. Topographic analyses are advantageous because they are reference independents and thus render statistically unambiguous results. Neurophysiologically, differences in topography directly indicate changes in the configuration of the active neuronal sources in the brain. We describe global measures of field strength and field similarities, temporal segmentation based on topographic variations, topographic analysis in the frequency domain, topographic statistical analysis, and source imaging based on distributed inverse solutions. All analysis methods are implemented in a freely available academic software package called CARTOOL. Besides providing these analysis tools, CARTOOL is particularly designed to visualize the data and the analysis results using 3-dimensional display routines that allow rapid manipulation and animation of 3D images. CARTOOL therefore is a helpful tool for researchers as well as for clinicians to interpret multichannel EEG and evoked potentials in a global, comprehensive, and unambiguous way.

Complex networks have become the main paradigm for modelling the dynamics of interacting systems. However, networks are intrinsically limited to describing pairwise interactions, whereas real-world systems are often characterized by higher-order interactions involving groups of three or more units. Higher-order structures, such as hypergraphs and simplicial complexes, are therefore a better tool to map the real organization of many social, biological and man-made systems. Here, we highlight recent evidence of collective behaviours induced by higher-order interactions, and we outline three key challenges for the physics of higher-order systems. Network representations of complex systems are limited to pairwise interactions, but real-world systems often involve higher-order interactions. This Perspective looks at the new physics emerging from attempts to characterize these interactions.

Using high-field (3 Tesla) functional magnetic resonance imaging (fMRI), we demonstrate that auditory and somatosensory inputs converge in a subregion of human auditory cortex along the superior temporal gyrus. Further, simultaneous stimulation in both sensory modalities resulted in activity exceeding that predicted by summing the responses to the unisensory inputs, thereby showing multisensory integration in this convergence region. Recently, intracranial recordings in macaque monkeys have shown similar auditory-somatosensory convergence in a subregion of auditory cortex directly caudomedial to primary auditory cortex (area CM). The multisensory region identified in the present investigation may be the human homologue of CM. Our finding of auditory-somatosensory convergence in early auditory cortices contributes to mounting evidence for multisensory integration early in the cortical processing hierarchy, in brain regions that were previously assumed to be unisensory.

We investigated the time-course and scalp topography of multisensory interactions between simultaneous auditory and somatosensory stimulation in humans. Event-related potentials (ERPs) were recorded from 64 scalp electrodes while subjects were presented with auditory-alone stimulation (1000-Hz tones), somatosensory-alone stimulation (median nerve electrical pulses), and simultaneous auditory–somatosensory (AS) combined stimulation. Interaction effects were assessed by comparing the responses to combined stimulation with the algebraic sum of responses to the constituent auditory and somatosensory stimuli when they were presented alone. Spatiotemporal analysis of ERPs and scalp current density (SCD) topographies revealed AS interaction over the central/postcentral scalp which onset at approximately 50 ms post-stimulus presentation. Both the topography and timing of these interactions are consistent with multisensory integration early in the cortical processing hierarchy, in brain regions traditionally held to be unisensory.

Multisensory interactions are observed in species from single-cell organisms to humans. Important early work was primarily carried out in the cat superior colliculus and a set of critical parameters for their occurrence were defined. Primary among these were temporal synchrony and spatial alignment of bisensory inputs. Here, we assessed whether spatial alignment was also a critical parameter for the temporally earliest multisensory interactions that are observed in lower-level sensory cortices of the human. While multisensory interactions in humans have been shown behaviorally for spatially disparate stimuli (e.g. the ventriloquist effect), it is not clear if such effects are due to early sensory level integration or later perceptual level processing. In the present study, we used psychophysical and electrophysiological indices to show that auditory–somatosensory interactions in humans occur via the same early sensory mechanism both when stimuli are in and out of spatial register. Subjects more rapidly detected multisensory than unisensory events. At just 50 ms post-stimulus, neural responses to the multisensory ‘whole’ were greater than the summed responses from the constituent unisensory ‘parts’. For all spatial configurations, this effect followed from a modulation of the strength of brain responses, rather than the activation of regions specifically responsive to multisensory pairs. Using the local auto-regressive average source estimation, we localized the initial auditory–somatosensory interactions to auditory association areas contralateral to the side of somatosensory stimulation. Thus, multisensory interactions can occur across wide peripersonal spatial separations remarkably early in sensory processing and in cortical regions traditionally considered unisensory.

In schizophrenia patients, glutathione dysregulation at the gene, protein and functional levels, leads to N-methyl-D-aspartate (NMDA) receptor hypofunction. These patients also exhibit deficits in auditory sensory processing that manifests as impaired mismatch negativity (MMN), which is an auditory evoked potential (AEP) component related to NMDA receptor function. N-acetyl-cysteine (NAC), a glutathione precursor, was administered to patients to determine whether increased levels of brain glutathione would improve MMN and by extension NMDA function. A randomized, double-blind, cross-over protocol was conducted, entailing the administration of NAC (2g/day) for 60 days and then placebo for another 60 days (or vice versa). 128-channel AEPs were recorded during a frequency oddball discrimination task at protocol onset, at the point of cross-over, and at the end of the study. At the onset of the protocol, the MMN of patients was significantly impaired compared to sex- and age- matched healthy controls (p=0.003), without any evidence of concomitant P300 component deficits. Treatment with NAC significantly improved MMN generation compared with placebo (p=0.025) without any measurable effects on the P300 component. MMN improvement was observed in the absence of robust changes in assessments of clinical severity, though the latter was observed in a larger and more prolonged clinical study. This pattern suggests that MMN enhancement may precede changes to indices of clinical severity, highlighting the possible utility AEPs as a biomarker of treatment efficacy. The improvement of this functional marker may indicate an important pathway towards new therapeutic strategies that target glutathione dysregulation in schizophrenia.

Abstract Research on attentional control has largely focused on single senses and the importance of behavioural goals in controlling attention. However, everyday situations are multisensory and contain regularities, both likely influencing attention. We investigated how visual attentional capture is simultaneously impacted by top-down goals, the multisensory nature of stimuli, and the contextual factors of stimuli’s semantic relationship and temporal predictability. Participants performed a multisensory version of the Folk et al. (1992) spatial cueing paradigm, searching for a target of a predefined colour (e.g. a red bar) within an array preceded by a distractor. We manipulated: 1) stimuli’s goal-relevance via distractor’s colour (matching vs. mismatching the target), 2) stimuli’s multisensory nature (colour distractors appearing alone vs. with tones), 3) the relationship between the distractor sound and colour (arbitrary vs. semantically congruent) and 4) the temporal predictability of distractor onset. Reaction-time spatial cueing served as a behavioural measure of attentional selection. We also recorded 129-channel event-related potentials (ERPs), analysing the distractor-elicited N2pc component both canonically and using a multivariate electrical neuroimaging framework. Behaviourally, arbitrary target-matching distractors captured attention more strongly than semantically congruent ones, with no evidence for context modulating multisensory enhancements of capture. Notably, electrical neuroimaging of surface-level EEG analyses revealed context-based influences on attention to both visual and multisensory distractors, in how strongly they activated the brain and type of activated brain networks. For both processes, the context-driven brain response modulations occurred long before the N2pc time-window, with topographic (network-based) modulations at ~30ms, followed by strength-based modulations at ~100ms post-distractor onset. Our results reveal that both stimulus meaning and predictability modulate attentional selection, and they interact while doing so. Meaning, in addition to temporal predictability, is thus a second source of contextual information facilitating goal-directed behaviour. More broadly, in everyday situations, attention is controlled by an interplay between one’s goals, stimuli’s perceptual salience, meaning and predictability. Our study calls for a revision of attentional control theories to account for the role of contextual and multisensory control.

Abstract Geometrical optical illusion (GOIs) are mismatches between physical stimuli and perception. GOIs provide an access point to study the interplay between sensation and perception, yet there is scant quantitative investigation of the extent to which different GOIs rely on similar or distinct brain mechanisms. We addressed this knowledge gap. First, 30 healthy adults reported quantitatively their perceptual biases with three GOIs, whose physical properties parametrically varied on a trial-by-trial basis. Biases observed with one GOI were unrelated to those observed with another GOI, suggestive of (partially) distinct underlying mechanisms. Next, we used these psychophysical results to tune a computational model of primary visual cortex that combines parameters of orientation, selectivity, intra-cortical connectivity, and long-range interactions. We showed that similar biases could be generated in-silico , mirroring those observed in humans. Such results provide a roadmap whereby computational modelling, informed by human psychophysics, can reveal likely mechanistic underpinnings of perception.

Abstract How functional MRI (fMRI) data are analyzed depends on the researcher and the toolbox used. It is not uncommon that the processing pipeline is rewritten for each new dataset. Consequently, code transparency, quality control and objective analysis pipelines are important for improving reproducibility in neuroimaging studies. Toolboxes, such as Nipype and fMRIPrep, have documented the need for and interest in automated pre-processing analysis pipelines. Recent developments in data-driven models combined with high-resolution neuroimaging datasets have strengthened the need not only for a standardized preprocessing workflow but also for a reliable and comparable statistical pipeline. Here, we introduce fMRIflows: a consortium of fully automatic neuroimaging pipelines for fMRI analysis, which performs standard preprocessing, as well as 1st- and 2nd-level univariate and multivariate analyses. In addition to the standardized pre-processing pipelines, fMRIflows provides flexible temporal and spatial filtering to account for datasets with increasingly high temporal resolution and to help appropriately prepare data for advanced machine learning analyses, improving signal decoding accuracy and reliability. This paper first describes fMRIflows’ structure and functionality, then explains its infrastructure and access, and lastly validates the toolbox by comparing it to other neuroimaging processing pipelines such as fMRIPrep, FSL and SPM. This validation was performed on three datasets with varying temporal sampling and acquisition parameters to prove its flexibility and robustness. fMRIflows is a fully automatic fMRI processing pipeline that uniquely offers univariate and multivariate single-subject and group analyses as well as pre-processing.