Functional neuroimaging studies have revealed human brain regions, notably in the fusiform gyrus, that respond selectively to images of faces as opposed to other kinds of objects. Here we use fMRI to show that the mid-fusiform gyrus responds with nearly the same level of selectivity to images of human bodies without faces, relative to tools and scenes. In a group-average analysis ( n = 22), the fusiform activations identified by contrasting faces versus tools and bodies versus tools are very similar. Analyses of within-subjects regions of interest, however, show that the peaks of the two activations occupy close but distinct locations. In a second experiment, we find that the body-selective fusiform region, but not the face-selective region, responds more to stick figure depictions of bodies than to scrambled controls. This result further distinguishes the two foci and confirms that the body-selective response generalizes to abstract image formats. These results challenge accounts of the mid-fusiform gyrus that focus solely on faces and suggest that this region contains multiple distinct category-selective neural representations.

We investigated the prevalence and specificity of category-selective regions in human visual cortex. In the broadest survey to date of category selectivity in visual cortex, 12 participants were scanned with functional magnetic resonance imaging while viewing scenes and 19 different object categories in a blocked-design experiment. As expected, we found selectivity for faces in the fusiform face area (FFA), for scenes in the parahippocampal place area (PPA), and for bodies in the extrastriate body area (EBA). In addition, we describe 3 main new findings. First, evidence for the selectivity of the FFA, PPA, and EBA was strengthened by the finding that each area responded significantly more strongly to its preferred category than to the next most effective of the remaining 19 stimulus categories tested. Second, a region in the middle temporal gyrus that has been reported to respond significantly more strongly to tools than to animals did not respond significantly more strongly to tools than to other nontool categories (such as fruits and vegetables), casting doubt on the characterization of this region as tool selective. Finally, we did not find any new regions in the occipitotemporal pathway that were strongly selective for other categories. Taken together, these results demonstrate both the strong selectivity of a small number of regions and the scarcity of such regions in visual cortex.

Basic emotional states (such as anger, fear, and joy) can be similarly conveyed by the face, the body, and the voice. Are there human brain regions that represent these emotional mental states regardless of the sensory cues from which they are perceived? To address this question, in the present study participants evaluated the intensity of emotions perceived from face movements, body movements, or vocal intonations, while their brain activity was measured with functional magnetic resonance imaging (fMRI). Using multivoxel pattern analysis, we compared the similarity of response patterns across modalities to test for brain regions in which emotion-specific patterns in one modality (e.g., faces) could predict emotion-specific patterns in another modality (e.g., bodies). A whole-brain searchlight analysis revealed modality-independent but emotion category-specific activity patterns in medial prefrontal cortex (MPFC) and left superior temporal sulcus (STS). Multivoxel patterns in these regions contained information about the category of the perceived emotions (anger, disgust, fear, happiness, sadness) across all modality comparisons (face-body, face-voice, body-voice), and independently of the perceived intensity of the emotions. No systematic emotion-related differences were observed in the overall amplitude of activation in MPFC or STS. These results reveal supramodal representations of emotions in high-level brain areas previously implicated in affective processing, mental state attribution, and theory-of-mind. We suggest that MPFC and STS represent perceived emotions at an abstract, modality-independent level, and thus play a key role in the understanding and categorization of others' emotional mental states.

Accurate perception of the actions and intentions of other people is essential for successful interactions in a social environment. Several cortical areas that support this process respond selectively in fMRI to static and dynamic displays of human bodies and faces. Here we apply pattern-analysis techniques to arrive at a new understanding of the neural response to biological motion. Functionally defined body-, face-, and motion-selective visual areas all responded significantly to "point-light" human motion. Strikingly, however, only body selectivity was correlated, on a voxel-by-voxel basis, with biological motion selectivity. We conclude that (1) biological motion, through the process of structure-from-motion, engages areas involved in the analysis of the static human form; (2) body-selective regions in posterior fusiform gyrus and posterior inferior temporal sulcus overlap with, but are distinct from, face- and motion-selective regions; (3) the interpretation of region-of-interest findings may be substantially altered when multiple patterns of selectivity are considered.

Abstract Visual scene context is well-known to facilitate the recognition of scene-congruent objects. Interestingly, however, according to the influential theory of predictive coding, scene congruency should lead to reduced (rather than enhanced) processing of congruent objects, compared to incongruent ones, since congruent objects elicit reduced prediction error responses. We tested this counterintuitive hypothesis in two online behavioural experiments with human participants (N = 300). We found clear evidence for impaired perception of congruent objects, both in a change detection task measuring response times as well as in a bias-free object discrimination task measuring accuracy. Congruency costs were related to independent subjective congruency ratings. Finally, we show that the reported effects cannot be explained by low-level stimulus confounds, response biases, or top-down strategy. These results provide convincing evidence for perceptual congruency costs during scene viewing, in line with predictive coding theory. Statement of Relevance The theory of the ‘Bayesian brain’, the idea that our brain is a hypothesis-testing machine, has become very influential over the past decades. A particularly influential formulation is the theory of predictive coding. This theory entails that stimuli that are expected, for instance because of the context in which they appear, generate a weaker neural response than unexpected stimuli. Scene context correctly ‘predicts’ congruent scene elements, which should result in lower prediction error. Our study tests this important, counterintuitive, and hitherto not fully tested, hypothesis. We find clear evidence in favour of it, and demonstrate that these ‘congruency costs’ are indeed evident in perception, and not limited to one particular task setting or stimulus set. Since perception in the real world is never of isolated objects, but always of entire scenes, these findings are important not just for the Bayesian brain hypothesis, but for our understanding of real-world visual perception in general.

Abstract Boundary extension (BE) is a classic memory illusion in which observers remember more of a scene than was presented. According to predictive processing accounts, BE reflects the integration of visual input and expectations of what is beyond a scene’s boundaries. According to normalization accounts, BE rather reflects one end of a normalization process towards a scene’s typically-experienced viewing distance, such that close-up views give BE but distant views give boundary contraction. Here across four experiments, we show that BE strongly depends on depth-of-field (DOF), as determined by the aperture settings on a camera. Photographs with naturalistic DOF led to larger BE than photographs with unnaturalistic DOF, even when showing distant views. We propose that BE reflects a predictive mechanism with adaptive value that is strongest for naturalistic views of scenes. The current findings indicate that DOF is an important variable to consider in the study of scene perception and memory. Statement of Relevance In daily life, we experience a rich and continuous visual world in spite of the capacity limits of the visual system. We may compensate for such limits with our memory, by filling-in the visual input with anticipatory representations of upcoming views. The boundary extension illusion (BE) provides a tool to investigate this phenomenon. For example, not all images equally lead to BE. In this set of studies, we show that memory extrapolation beyond scene boundaries is strongest for images resembling human visual experience, showing depth-of-field in the range of human vision. Based on these findings, we propose that predicting upcoming views is conditional to a scene being perceived as naturalistic. More generally, the strong reliance of a cognitive effect, such as BE, on naturalistic image properties indicates that it is imperative to use image sets that are ecologically-representative when studying the cognitive, computational, and neural mechanisms of scene processing.

Abstract Efficient behavior requires the rapid attentional selection of task-relevant objects. Previous research has shown that target-selective neurons in visual cortex increase their baseline firing rate when participants are cued to search for a target object. Such preparatory activity represents a key finding for theories of visual search, as it may reflect a top-down bias that guides spatial attention, favoring processing of target-matching input for subsequent report. However, in daily life, visual search is often guided by non-target objects that are neither externally cued nor reported. For instance, when looking for a pen, we may direct our attention to the office desk where we expect the pen to be. These “anchor objects” (e.g., the desk) thereby guide search for associated objects (e.g., the pen) in scenes. Here, we used fMRI and eye tracking to test whether preparatory activity during visual search represents the target (the pen), the guiding anchor object (the desk) or both. In an anchor-guided search task, participants (N=34) learned associations between targets and anchors and searched for these targets in scenes. To fully dissociate target from anchor processing, target-anchor associations were reversed across different scene contexts. Participants’ first fixations were reliably guided towards the target-associated anchor. Importantly, preparatory fMRI activity patterns in lateral occipital cortex (LOC) represented the target-associated anchor rather than the target. Whole-brain analyses additionally identified a region in the right intraparietal sulcus that represented the anchor. Our results show that preparatory activity in visual cortex represents a self-generated guiding template, supporting visual search in structured daily-life environments. Significance Statement Quickly finding relevant objects in complex environments is challenging, yet we are remarkably efficient at it. Theories of attention propose that this is mediated by preparatory biases in visual cortex, such that, for example, looking for a blue pen increases the activity of neurons tuned to blue, elongated objects, favoring the processing of such objects once they appear in view. However, guidance is often based on features that are not the target: when looking for a pen, we first direct our attention to the office desk. Here we show that preparatory activity in visual cortex represents the features that are most useful for guidance (e.g., the desk), rather than the target, clarifying the role of preparatory activity in naturalistic search.

Abstract Much of what we know about object recognition arises from the study of isolated objects. In the real world, however, we commonly encounter groups of contextually-associated objects (e.g., teacup, saucer), often in stereotypical spatial configurations (e.g., teacup above saucer). Here we used EEG to test whether identity-based associations between objects (e.g., teacup-saucer vs . teacup-stapler) are encoded jointly with their typical relative positioning (e.g., teacup above saucer vs. below saucer). Observers viewed a 2.5Hz image stream of contextually-associated object pairs intermixed with non-associated pairs as every fourth image. The differential response to non-associated pairs (measurable at 0.625Hz in 28/37 participants), served as an index of contextual integration, reflecting the association of object identities in each pair. Over right occipitotemporal sites, this signal was larger for typically-positioned object streams, indicating that spatial configuration facilitated the extraction of the objects’ contextual association. This high-level influence of spatial configuration on object identity integration arose ∼320ms post stimulus onset, with lower-level perceptual grouping (shared with inverted displays) present at ∼130ms. These results demonstrate that contextual and spatial associations between objects interactively influence object processing. We interpret these findings as reflecting the high-level perceptual grouping of objects that frequently co-occur in highly stereotyped relative positions.

Abstract Natural scenes are characterized by individual objects as well as by global scene properties such as spatial layout. Functional neuroimaging research has shown that this distinction between object and scene processing is one of the main organizing principles of human high-level visual cortex. For example, object-selective regions, including the lateral occipital complex (LOC), were shown to represent object content (but not scene layout), while scene-selective regions, including the occipital place area (OPA), were shown to represent scene layout (but not object content). Causal evidence for a double dissociation between LOC and OPA in representing objects and scenes is currently limited, however. One TMS experiment, conducted in a relatively small sample (N=13), reported an interaction between LOC and OPA stimulation and object and scene recognition performance (Dilks et al., 2013). Here, we present a high-powered pre-registered replication of this study (N=72, including male and female human participants), using group-average fMRI coordinates to target LOC and OPA. Results revealed unambiguous evidence for a double dissociation between LOC and OPA: Relative to vertex stimulation, TMS over LOC selectively impaired the recognition of objects, while TMS over OPA selectively impaired the recognition of scenes. Furthermore, we found that these effects were stable over time and consistent across individual objects and scenes. These results show that LOC and OPA can be reliably and selectively targeted with TMS, even when defined based on group-average fMRI coordinates. More generally, they support the distinction between object and scene processing as an organizing principle of human high-level visual cortex. Significance Statement Our daily-life environments are characterized both by individual objects and by global scene properties. The distinction between object and scene processing features prominently in visual cognitive neuroscience, with fMRI studies showing that this distinction is one of the main organizing principles of human high-level visual cortex. However, causal evidence for the selective involvement of object- and scene-selective regions in processing their preferred category is less conclusive. Here, testing a large sample (N=72) using an established paradigm and a pre-registered protocol, we found that TMS over object-selective cortex (LOC) selectively impaired object recognition while TMS over scene-selective cortex (OPA) selectively impaired scene recognition. These results provide conclusive causal evidence for the distinction between object and scene processing in human visual cortex.

Abstract High-level vision is frequently studied at the level of either individual objects or whole scenes. An intermediate level of visual organisation that has received less attention is the “object constellation” – a familiar configuration of contextually-associated objects (e.g., plate + spoon). Recent behavioural studies have shown that information from multiple objects can be integrated to support observers’ high-level understanding of a “scene” and its constituent objects. Here we used EEG in human participants (both sexes) to test when the visual system integrates information across objects to support recognition. We briefly presented masked object constellations consisting of object silhouettes of either large (e.g., chair + table) or small (e.g., plate + spoon) real-world size, while independently varying retinal size. As a control, observers also viewed each silhouette in isolation. If object context facilitates object recognition, real-world size should be inferred more effectively when the objects appear in their contextually-associated pairs than in isolation, leading to the emergence of real-world size information in multivariate EEG patterns. Representational similarity analysis revealed that neural activity patterns captured information about the real-world size of object constellations from ∼200 ms after stimulus onset. This representation was stronger for, and specific to, object pairs as compared to single objects, and remained significant after regressing out visual similarity models derived from computational models. These results provide evidence for inter-object facilitation of visual processing, leading to a qualitatively different high-level representation of object pairs than single objects. Significance Statement This study used electroencephalography decoding to reveal the neural timecourse of inter-object facilitation present for contextually-associated groups of objects (e.g., chair + table). Although ubiquitous in daily life, the ’object constellation’ level of representation has rarely been examined compared to isolated objects or entire scenes. By shedding new light on facilitatory interactions between objects, arising before 200ms of visual processing, our results provide insight into the continuum along which objects and scenes exist. At the same time, this work advances the current understanding of the neural basis of real-world size, using strict visual controls to show that inferred real-world size representations emerge around 200 ms after stimulus onset.