Abstract One of the major challenges in visual neuroscience is represented by foreground-background segmentation. Data from nonhuman primates show that segmentation leads to two distinct, but associated processes: the enhancement of neural activity during figure processing (i.e., foreground enhancement) and the suppression of background-related activity (i.e., background suppression). To study foreground-background segmentation in ecological conditions, we introduce a novel method based on parametric modulation of low-level image properties followed by application of simple computational image-processing models. By correlating the outcome of this procedure with human fMRI activity measured during passive viewing of 334 natural images, we reconstruct easily interpretable “neural images” from seven visual areas: V1, V2, V3, V3A, V3B, V4 and LOC. Results show evidence of foreground enhancement for all tested regions, while background suppression specifically occurs in V4 and LOC. “Neural images” reconstructed from V4 and LOC revealed a preserved spatial resolution of foreground textures, indicating a richer representation of the salient part of natural images, rather than a simplistic model of object shape. Our results indicate that scene segmentation is an automatic process that occurs during natural viewing, even when individuals are not required to perform any particular task.

Summary The striate cortex is no longer considered exclusively visual in its function. Proofs that its activity is modulated by acoustic inputs have accrued. By employing category-based and feature modeling approaches, here we characterized V1 activity (in absence of retinal input) during the processing of natural and synthetically derived sounds. First, we showed that distinct sound categories could be dissociated by the analysis of V1 multivoxel response patterns. Hence, we assessed whether a hallmark of sound neural representations is mapped in V1. In each sound category, we modeled sound envelopes and assessed whether these were represented at the single-voxel level in the striate cortex and, as a control, in the temporal cortex. The hierarchical organization of sound categories allowed to exert control over dimensions that could spuriously lead to sound envelope V1 mapping. Variations of sound amplitude over time were successfully decoded in V1 regardless of the category class. Results confirm that the human striate cortex receives acoustic category-based input and demonstrate that V1 is a genuine locus of sound envelope representation.

Abstract The processing of multisensory information is based upon the capacity of brain regions, such as the superior temporal cortex, to combine information across modalities. However, it is still unclear whether the representation of coherent auditory and visual events does require any prior audiovisual experience to develop and function. In three fMRI experiments, intersubject correlation analysis measured brain synchronization during the presentation of an audiovisual, audio-only or video-only versions of the same narrative in distinct groups of sensory-deprived (congenitally blind and deaf) and typically-developed individuals. The superior temporal cortex synchronized across auditory and visual conditions, even in sensory-deprived individuals who lack any audiovisual experience. This synchronization was primarily mediated by low-level perceptual features and relied on a similar modality-independent topographical organization of temporal dynamics. The human superior temporal cortex is naturally endowed with a functional scaffolding to yield a common representation across multisensory events.

SUMMARY Hands are regularly in sight in everyday life. This visibility affects motor control, perception, and attention, as visual information is integrated into an internal model of sensorimotor control. Spontaneous brain activity, i.e., ongoing activity in the absence of an active task (rest), is correlated among somatomotor regions that are jointly activated during motor tasks 1 . Moreover, recent studies suggest that spontaneous activity patterns do not only replay at rest task activation patterns, but also maintain a model of the statistical regularities ( priors ) of the body and environment, which may be used to predict upcoming behavior 2–4 . Here we test whether spontaneous activity in the human somatomotor cortex is modulated by visual stimuli that display hands vs. non-hand stimuli, and by the use/action they represent. We analyzed activity with fMRI and multivariate pattern analysis to examine the similarity between spontaneous (rest) activity patterns and task-evoked patterns to the presentation of natural hands, robot hands, gloves, or control stimuli (food). In the left somatomotor cortex we observed a stronger (multi-voxel) spatial correlation between resting-state activity and natural hand picture patterns, as compared to other stimuli. A trend analysis showed that task-rest pattern similarity was influenced by inferred visual and motor attributes (i.e., correlation for hand>robot>glove>food). We did not observe any task-rest similarity in the visual cortex. We conclude that somatomotor brain regions code at rest for visual representations of hand stimuli and their inferred use.

Previous studies have shown that regional slow wave activity (SWA) during NREM-sleep is modulated by prior experience and learning. While this effect has been convincingly demonstrated for the sensorimotor domain, attempts to extend these findings to the visual system have provided mixed results. Here we asked whether depriving subjects of external visual stimuli during daytime would lead to regional changes in slow waves during sleep and whether the degree of 'internal visual stimulation' (spontaneous imagery) would influence such changes. In two 8h-long sessions spaced one-week apart, twelve healthy volunteers either were blindfolded while listening to audiobooks or watched movies (control condition), after which their sleep was recorded with high-density EEG. We found that during NREM-sleep the number of small, local slow waves in the occipital cortex decreased after listening with blindfolding relative to movie watching in a way that depended on the degree of visual imagery subjects reported during blindfolding: subjects with low visual imagery showed a significant reduction of occipital sleep slow waves, while those who reported a high degree of visual imagery did not. We also found a positive relationship between the reliance on visual imagery during blindfolding and audiobook listening and the degree of correlation in sleep SWA between visual areas and language-related areas. These preliminary results demonstrate that short-term alterations in visual experience may trigger slow wave changes in cortical visual areas. Furthermore, they suggest that plasticity-related EEG changes during sleep may reflect externally induced ('bottom-up') visual experiences, as well as internally generated ('top-down') processes.

Abstract In everyday life the stream of affect results from the interaction between past experiences, expectations, and the unfolding of events. How the brain represents the relationship between time and affect has been hardly explored, as it requires modeling the complexity of everyday life in the laboratory setting. Movies condense into hours a multitude of emotional responses, synchronized across subjects and characterized by temporal dynamics alike real-world experiences. Here, we use time-varying intersubject brain synchronization and real-time behavioral reports to test whether connectivity dynamics track changes in affect during movie watching. Results show that polarity and intensity of experiences relate to connectivity of the default mode and control networks and converge in the right temporo-parietal cortex. We validate these results in two experiments including four independent samples, two movies, and alternative analysis workflows. Lastly, we reveal chronotopic connectivity maps within temporo-parietal and prefrontal cortex, where adjacent areas preferentially encode affect at specific timescales.

Abstract Emotion and perception are tightly intertwined, as affective experiences often arise from the appraisal of sensory information. Nonetheless, whether the brain encodes emotional instances using a sensory-specific code or in a more abstract manner is unclear. Here, we answer this question by measuring the association between emotion ratings collected during a unisensory or multisensory presentation of a full-length movie and brain activity recorded in typically-developed, congenitally blind and congenitally deaf participants. Emotional instances are encoded in a vast network encompassing sensory, prefrontal, and temporal cortices. Within this network, the ventromedial prefrontal cortex stores a categorical representation of emotion independent of modality and experience, and the posterior superior temporal cortex maps valence using an abstract code. Sensory experience more than modality impacts how the brain organizes emotional information outside supramodal regions, suggesting the existence of a scaffold for the representation of emotional states where sensory inputs during development shape its functioning.

Biological vision relies on representations of the physical world at different levels of complexity. Relevant features span from simple low-level properties, as contrast and spatial frequencies, to object-based attributes, as shape and category. However, how these features are integrated into coherent percepts is still debated. Moreover, these dimensions often share common biases: for instance, stimuli from the same category (e.g., tools) may have similar shapes. Here, using magnetoencephalography, we revealed the temporal dynamics of feature processing in human subjects attending to pictures of items pertaining to different semantic categories. By employing Relative Weights Analysis, we mitigated collinearity between model-based descriptions of stimuli and showed that low-level properties (contrast and spatial frequencies), shape (medial-axis) and category are represented within the same spatial locations early in time: 100-150ms after stimulus onset. This fast and overlapping processing may result from independent parallel computations, with categorical representation emerging later than the onset of low-level feature processing, yet before shape coding. Categorical information is represented both before and after shape also suggesting a role for this feature in the refinement of categorical matching.

Abstract Hierarchical models have been proposed to explain how the brain encodes actions, whereby different areas represent different features, such as gesture kinematics, target object, action goal, and meaning. The visual processing of action‐related information is distributed over a well‐known network of brain regions spanning separate anatomical areas, attuned to specific stimulus properties, and referred to as action observation network (AON). To determine the brain organization of these features, we measured representational geometries during the observation of a large set of transitive and intransitive gestures in two independent functional magnetic resonance imaging experiments. We provided evidence for a partial dissociation between kinematics, object characteristics, and action meaning in the occipito‐parietal, ventro‐temporal, and lateral occipito‐temporal cortex, respectively. Importantly, most of the AON showed low specificity to all the explored features, and representational spaces sharing similar information content were spread across the cortex without being anatomically adjacent. Overall, our results support the notion that the AON relies on overlapping and distributed coding and may act as a unique representational space instead of mapping features in a modular and segregated manner.

Object recognition relies on different transformations of the retinal input, ranging from local contrast to object shape and category. While some of those transformations are thought to occur at specific stages of the visual hierarchy, the features they represent are correlated (e.g., object shape and identity) and the selectivity for the same feature can be found across many brain regions. This overlap may be explained either by collinearity across representations, or may instead reflect the coding of multiple dimensions by the same cortical population. Moreover, orthogonal and shared components may differently impact on distinctive stages of the visual hierarchy. We recorded functional MRI (fMRI) activity while participants passively attended to object images and employed a statistical approach that partitioned orthogonal and shared object representations to reveal their relative impact on brain processing. Orthogonal shape representations (silhouette, curvature and medial-axis) independently explained distinct and overlapping clusters of selectivity in occitotemporal (OTC) and parietal cortex. Moreover, we show that the relevance of shared representations linearly increases moving from posterior to anterior regions. These results indicate that the visual cortex encodes shared relations between different features in a topographic fashion and that object shape is encoded along different dimensions, each representing orthogonal features.### Competing Interest StatementThe authors have declared no competing interest.