1. Abstract Scene recognition is a core sensory capacity that enables humans to adaptively interact with their environment. Despite substantial progress in the understanding of the neural representations underlying scene recognition, it remains unknown how these representations translate into behavior given different task demands. To address this, we aimed to identify behaviorally relevant scene representations, to characterize them in terms of their underlying visual features, and to reveal how they vary given different tasks. We recorded fMRI data while human participants viewed manmade and natural scenes and linked brain responses to behavior in one of two tasks acquired in a separate set of subjects: a manmade/natural categorization task or an orthogonal task on fixation. First, we found correlations between scene categorization response times (RTs) and scene-specific brain responses, quantified as the distance to a hyperplane derived from a multivariate classifier, in occipital and ventral-temporal, but not parahippocampal cortex. This suggests that representations in early visual and object-selective cortex are relevant for scene categorization. Next, we revealed that mid-level visual features, as quantified using deep convolutional neural networks, best explained the relationship between scene representations and behavior, indicating that these features are read out in scene categorization. Finally, we observed opposite patterns of correlations between brain responses and RTs in the categorization and orthogonal task, suggesting a critical influence of task on the behavioral relevance of scene representations. Together, these results reveal the spatial extent, content, and task-dependence of the visual representations that mediate behavior in complex scenes. 2. Significance statement Humans rapidly process scene information, allowing them to flexibly categorize and adaptively react to their immediate environment. Here, we sought to determine how the neural representations of scene information translate into adaptive behavior given different task demands. We show that scene representations in early visual and object-selective brain regions are relevant for categorization behavior. Further, we reveal that visual features at an intermediate level of complexity underlie those behaviorally relevant representations. Finally, we demonstrate that depending on the task demands scene representations may facilitate or interfere with behavior. By characterizing the spatial extent, content, and task-dependence of behaviorally relevant scene representations, these findings elucidate the link between neural representations and adaptive perceptual decisions in complex scenes.

Abstract Predicting actions from nonverbal cues and using them to optimize one’s response behavior (i.e., interpersonal predictive coding) is essential in everyday social interactions. We aimed to investigate the neural correlates of different cognitive processes evolving over time during interpersonal predictive coding. Thirty-nine participants watched two agents depicted by moving point-light stimuli while an electroencephalogram (EEG) was recorded. One well-recognizable agent performed either a ‘communicative’ or an ‘individual’ action. The second agent either was blended into a cluster of noise dots (i.e., present), or was entirely replaced by noise dots (i.e., absent), which participants had to differentiate. EEG amplitude and coherence analyses for theta, alpha and beta frequency bands revealed a dynamic pattern unfolding over time: Watching communicative actions was associated with enhanced coupling within medial anterior regions involved in social and mentalizing processes and with dorsolateral prefrontal activation indicating a higher deployment of cognitive resources. Trying to detect the agent in the cluster of noise dots without having seen communicative cues was related to enhanced coupling in posterior regions for social perception and visual processing. Observing an expected outcome was modulated by motor system activation. Finally, when the agent was detected correctly, activation in posterior areas for visual processing of socially-relevant features was increased. Taken together, our results demonstrate that it is crucial to consider the temporal dynamics of social interactions and of their neural correlates to better understand interpersonal predictive coding. This could lead to optimized treatment approaches for individuals with problems in social interactions.

Summary The human brain orchestrates object vision through an interplay of feedforward processing in concert with recurrent processing. However, where, when and how recurrent processing contributes to visual processing is incompletely understood due to the difficulties in teasing apart feedforward and recurrent processing. We combined a backward masking paradigm with multivariate analysis on EEG and fMRI data to isolate and characterize the nature of recurrent processing. We find that recurrent processing substantially shapes visual representations across the ventral visual stream, starting early on at around 100ms in early visual cortex (EVC) and in two later phases of around 175 and 300ms in lateral occipital cortex (LOC), adding persistent rather than transient neural dynamics to visual processing. Using deep neural network models for comparison with the brain, we show that recurrence changes the feature format in LOC from predominantly mid-level to more high-level features. Finally, we show that recurrence is mediated by four distinct spectro-temporal neural components in EVC and LOC, which span the theta to beta frequency range. Together, our results reveal the nature and mechanisms of the effects of recurrent processing on the visual representations in the human brain.

1. Abstract Drawings offer a simple and efficient way to communicate meaning. While line drawings capture only coarsely how objects look in reality, we still perceive them as resembling real-world objects. Previous work has shown that this perceived similarity is mirrored by shared neural representations for drawings and natural images, which suggests that similar mechanisms underlie the recognition of both. However, other work has proposed that representations of drawings and natural images become similar only after substantial processing has taken place, suggesting distinct mechanisms. To arbitrate between those alternatives, we measured brain responses resolved in space and time using fMRI and MEG, respectively, while human participants (female and male) viewed images of objects depicted as photographs, line drawings, or sketch-like drawings. Using multivariate decoding, we demonstrate that object category information emerged similarly fast and across overlapping regions in occipital, ventral-temporal and posterior parietal cortex for all types of depiction, yet with smaller effects at higher levels of visual abstraction. In addition, cross-decoding between depiction types revealed strong generalization of object category information from early processing stages on. Finally, by combining fMRI and MEG data using representational similarity analysis, we found that visual information traversed similar processing stages for all types of depiction, yet with an overall stronger representation for photographs. Together our results demonstrate broad commonalities in the neural dynamics of object recognition across types of depiction, thus providing clear evidence for shared neural mechanisms underlying recognition of natural object images and abstract drawings. 2. Significance Statement When we see a line drawing, we effortlessly recognize it as an object in the world despite its simple and abstract style. Here we asked to what extent this correspondence in perception is reflected in the brain. To answer this question, we measured how neural processing of objects depicted as photographs and line drawings with varying levels of detail (from natural images to abstract line drawings) evolves over space and time. We find broad commonalities in the spatiotemporal dynamics and the neural representations underlying the perception of photographs and even abstract drawings. These results indicate a shared basic mechanism supporting recognition of drawings and natural images.