We used simultaneous electroencephalogram-functional magnetic resonance imaging (EEG-fMRI) and EEG-near infrared spectroscopy (NIRS) to investigate whether changes of the posterior EEG alpha rhythm are correlated with changes in local cerebral blood oxygenation. Cross-correlation analysis of slowly fluctuating, spontaneous rhythms in the EEG and the fMRI signal revealed an inverse relationship between alpha activity and the fMRI-blood oxygen level dependent signal in the occipital cortex. The NIRS-EEG measurements demonstrated a positive cross-correlation in occipital cortex between alpha activity and concentration changes of deoxygenated hemoglobin, which peaked at a relative shift of about 8 s. Our data suggest that alpha activity in the occipital cortex is associated with metabolic deactivation. Mapping of spontaneously synchronizing distributed neuronal networks is thus shown to be feasible.

An emerging field of human brain imaging deals with the characterization of the connectome, a comprehensive global description of structural and functional connectivity within the human brain. However, the question of how functional and structural connectivity are related has not been fully answered yet. Here, we used different methods to estimate the connectivity between each voxel of the cerebral cortex based on functional magnetic resonance imaging (fMRI) and diffusion tensor imaging (DTI) data in order to obtain observer-independent functional-structural connectomes of the human brain. Probabilistic fiber-tracking and a novel global fiber-tracking technique were used to measure structural connectivity whereas for functional connectivity, full and partial correlations between each voxel pair's fMRI-timecourses were calculated. For every voxel, two vectors consisting of functional and structural connectivity estimates to all other voxels in the cortex were correlated with each other. In this way, voxels structurally and functionally connected to similar regions within the rest of the brain could be identified. Areas forming parts of the 'default mode network' (DMN) showed the highest agreement of structure-function connectivity. Bilateral precuneal and inferior parietal regions were found using all applied techniques, whereas the global tracking algorithm additionally revealed bilateral medial prefrontal cortices and early visual areas. There were no significant differences between the results obtained from full and partial correlations. Our data suggests that the DMN is the functional brain network, which uses the most direct structural connections. Thus, the anatomical profile of the brain seems to shape its functional repertoire and the computation of the whole-brain functional-structural connectome appears to be a valuable method to characterize global brain connectivity within and between populations.

It has often been proposed that regions of the human parietal and/or frontal lobe may modulate activity in visual cortex, for example, during selective attention or saccade preparation. However, direct evidence for such causal claims is largely missing in human studies, and it remains unclear to what degree the putative roles of parietal and frontal regions in modulating visual cortex may differ. Here we used transcranial magnetic stimulation (TMS) and functional magnetic resonance imaging (fMRI) concurrently, to show that stimulating right human intraparietal sulcus (IPS, at a site previously implicated in attention) elicits a pattern of activity changes in visual cortex that strongly depends on current visual context. Increased intensity of IPS TMS affected the blood oxygen level-dependent (BOLD) signal in V5/MT+ only when moving stimuli were present to drive this visual region, whereas TMS-elicited BOLD signal changes were observed in areas V1-V4 only during the absence of visual input. These influences of IPS TMS upon remote visual cortex differed significantly from corresponding effects of frontal (eye field) TMS, in terms of how they related to current visual input and their spatial topography for retinotopic areas V1-V4. Our results show directly that parietal and frontal regions can indeed have distinct patterns of causal influence upon functional activity in human visual cortex.

Abstract Tracking statistical regularities of the environment is important for shaping human behavior and perception. Evidence suggests that the brain learns environmental dependencies using Bayesian principles. However, much remains unknown about the employed algorithms, for somesthesis in particular. Here, we describe the cortical dynamics of the somatosensory learning system to investigate both the form of the generative model as well as its neural surprise signatures. Specifically, we recorded EEG data from 40 participants subjected to a somatosensory roving-stimulus paradigm and performed single-trial modeling across peri-stimulus time in both sensor and source space. Our Bayesian model selection procedure indicates that evoked potentials are best described by a non-hierarchical learning model that tracks transitions between observations using leaky integration. From around 70ms post-stimulus onset, secondary somatosensory cortices are found to represent confidence-corrected surprise as a measure of model inadequacy. Primary somatosensory cortex is found to encode Bayesian surprise, reflecting model updating, from around 140ms. As such, this dissociation indicates that early surprise signals may control subsequent model update rates. In sum, our findings support the hypothesis that early somatosensory processing reflects Bayesian perceptual learning and contribute to an understanding of its precise mechanisms. Author summary Our environment features statistical regularities, such as a drop of rain predicting imminent rainfall. Despite the importance for behavior and survival, much remains unknown about how these dependencies are learned, particularly for somatosensation. As surprise signalling about novel observations indicates a mismatch between one’s beliefs and the world, it has been hypothesized that surprise computation plays an important role in perceptual learning. By analyzing EEG data from human participants receiving sequences of tactile stimulation, we compare different formulations of surprise and investigate the employed underlying learning model. Our results indicate that the brain estimates transitions between observations. Furthermore, we identified different signatures of surprise computation and thereby provide a dissociation of the neural correlates of belief inadequacy and belief updating. Specifically, early surprise responses from around 70ms were found to signal the need for changes to the model, with encoding of its subsequent updating occurring from around 140ms. These results provide insights into how somatosensory surprise signals may contribute to the learning of environmental statistics.

Abstract Two types of scalp-recorded event-related potentials have been proposed as neural correlates of perceptual awareness in humans: an early, modality-specific negativity and a late, modality-independent positivity. However, whether these potentials genuinely reflect perception or result from task demands remains controversial. To address this question, we compared results from a classical somatosensory detection task (direct report task) to a somatosensory-visual matching task, in which overt reports were decorrelated from target detection, equated the behavioural relevance of detected and undetected stimuli, and mitigated the influence of attentional processes. By means of Bayesian model selection, we show that the early N140 component was the first to reflect target detection in both tasks, whereas the late P300 component was task dependent, with strong detection effects in the direct report task that were absent in the matching task. We conclude that the P300 is not a genuine correlate of somatosensory awareness but reflects postperceptual processing.

Abstract The question how the brain distinguishes between information about oneself and the rest of the world is of fundamental interest to both philosophy and neuroscience. This question can be approached empirically by investigating how associating stimuli with oneself leads to differences in neurocognitive processing. However, little is known about the brain network involved in forming such self-associations for, specifically, bodily stimuli. In this fMRI study, we sought to distinguish the neural substrates of representing a full-body movement as one’s movement and as someone else’s movement. Participants performed a delayed match-to-sample working memory task where a retained full-body movement (displayed using point-light walkers) was arbitrarily labelled as one’s own movement or as performed by someone else. By using arbitrary associations we aimed to address a limitation of previous studies, namely that our own movements are more familiar to us than movements of other people. A searchlight multivariate decoding analysis was used to test where information about types of movement and about self-association was coded. Movement specific activation patterns was found in a network of regions also involved in perceptual processing of movement stimuli, however not in early sensory regions. Information about whether a memorized movement was associated with the self or with another person was found to be coded by activity in the left middle frontal gyrus (MFG), left inferior frontal gyrus (IFG), bilateral supplementary motor area, and (at reduced threshold) in the left temporoparietal junction (TPJ). These areas are frequently reported as involved in action understanding (IFG, MFG) and domain-general self/other distinction (TPJ). Finally, in univariate analysis we found that selecting a self-associated movement for retention was related to increased activity in the ventral medial prefrontal cortex.

Abstract The human brain is constantly subjected to a multi-modal stream of probabilistic sensory inputs. EEG signatures, such as the mismatch negativity (MMN) and the P3, can give valuable insight into neuronal probabilistic inference. Although reported for different modalities, mismatch responses have largely been studied in isolation, with a strong focus on the auditory MMN. To investigate the extent to which early and late mismatch responses across modalities represent comparable signatures of uni- and cross-modal probabilistic inference in the hierarchically structured cortex, we recorded EEG from 32 participants undergoing a novel tri-modal roving stimulus paradigm. The employed sequences consisted of high and low intensity stimuli in the auditory, somatosensory and visual modalities and were governed by uni-modal transition probabilities and cross-modal conditional dependencies. We found modality specific signatures of MMN (∼100-200ms) in all three modalities, which were source localized to the respective sensory cortices and shared right lateralized pre-frontal sources. Additionally, we identified a cross-modal signature of mismatch processing in the P3a time range (∼300-350ms), for which a common network with frontal dominance was found. Across modalities, the mismatch responses showed highly comparable parametric effects of stimulus train length, which were driven by standard and deviant response modulations in opposite directions. Strikingly, the P3a responses across modalities were increased for mispredicted compared to predicted and unpredictable stimuli, suggesting sensitivity to cross-modal predictive information. Finally, model comparisons indicated that the observed single trial dynamics were best captured by Bayesian learning models tracking uni-modal stimulus transitions as well as cross-modal conditional dependencies.

Abstract Body perception has been extensively investigated, with one particular focus being the integration of vision and touch within a neuronal body representation. Previous studies have implicated a distributed network comprising the extrastriate body area (EBA), posterior parietal cortex (PPC) and ventral premotor cortex (PMv) during illusory self-attribution of a rubber hand. Here, we set up an fMRI paradigm in virtual reality (VR) to study whether and how threatening (artificial) body parts affects their self-attribution. Participants (N=30) saw a spider (aversive stimulus) or a toy-car (neutral stimulus) moving along a 3D-rendered virtual forearm positioned like their real forearm, while tactile stimulation was applied on the real arm in the same (congruent) or opposite (incongruent) direction. We found that the PPC was more activated during congruent stimulation; higher visual areas and the anterior insula (aIns) showed increased activation during aversive stimulus presentation; and the amygdala was more strongly activated for aversive stimuli when there was stronger multisensory integration of body-related information (interaction of aversiveness and congruency). Together, these findings suggest an enhanced processing of aversive stimuli within the amygdala when they represent a bodily threat.

Abstract Neuroscientific research has shown that perceptual decision-making occurs in effector-specific brain regions that are associated with the required motor response. Recent functional magnetic resonance imaging (fMRI) studies that dissociated decisions from coinciding processes, such as motor actions partly challenge this, indicating abstract representations that might vary across stimulus modalities. However, cross-modal comparisons have been difficult since most task designs differ not only in modality but also in effectors, motor response, and level of abstraction. Here, we describe an fMRI experiment where participants compared frequencies of two sequentially presented visual flicker stimuli in a delayed match-to-comparison task, which controlled for motor actions and stimulus sequence. Using Bayesian modelling, we estimated subjective frequency differences based on the time order effect. These values were applied in support vector regression analysis of a multi-voxel pattern whole-brain searchlight approach to identify brain regions containing information on subjective decision values. Furthermore, a conjunction analysis with data from a re-analyzed analogue vibrotactile study was conducted for a cross-modal comparison. Both analyses revealed significant activation patterns in the left dorsal (PMd) and ventral (PMv) premotor cortex as well as in the bilateral intraparietal sulcus (IPS). While previous primate and human imaging research have implicated these regions in transforming sensory information into action, our findings indicate that the IPS processes abstract decision signals while PMd and PMv represent an effector-specific, but motor response independent encoding of perceptual decisions that persists across sensory domains.