Comprehensive descriptions of animal behavior require precise three-dimensional (3D) measurements of whole-body movements. Although two-dimensional approaches can track visible landmarks in restrictive environments, performance drops in freely moving animals, due to occlusions and appearance changes. Therefore, we designed DANNCE to robustly track anatomical landmarks in 3D across species and behaviors. DANNCE uses projective geometry to construct inputs to a convolutional neural network that leverages learned 3D geometric reasoning. We trained and benchmarked DANNCE using a dataset of nearly seven million frames that relates color videos and rodent 3D poses. In rats and mice, DANNCE robustly tracked dozens of landmarks on the head, trunk, and limbs of freely moving animals in naturalistic settings. We extended DANNCE to datasets from rat pups, marmosets, and chickadees, and demonstrate quantitative profiling of behavioral lineage during development.

The question of how the brain recognizes the faces of familiar individuals has been important throughout the history of neuroscience. Cells linking visual processing to person memory have been proposed but not found. Here, we report the discovery of such cells through recordings from an area in the macaque temporal pole identified with functional magnetic resonance imaging. These cells responded to faces that were personally familiar. They responded nonlinearly to stepwise changes in face visibility and detail and holistically to face parts, reflecting key signatures of familiar face recognition. They discriminated between familiar identities, as fast as a general face identity area. The discovery of these cells establishes a new pathway for the fast recognition of familiar individuals.

Abstract What is the cognitive and neural architecture for high-level reasoning? We hypothesize that systems for understanding people and places remain separate throughout the brain, but share a parallel organization. We test this hypothesis using deep neuroimaging of individual human brains on diverse tasks involving reasoning and memory about familiar people, places, and objects. We find that thinking about people and places elicits responses in distinct areas of high-level association cortex, spanning the frontal, parietal, and temporal lobes. Person- and place-preferring brain regions are systematically yoked across cortical zones. These areas have strongly domain-specific response profiles across visual, semantic, and episodic tasks, and are specifically functionally connected to other parts of association cortex with like category preference. Social and spatial networks are anatomically separated even at the top of the cortical hierarchy, and include parts of cortex with anatomical connections to the hippocampal formation. These results demonstrate parallel, domain-specific networks within the cortical apex. They suggest that domain-specific systems for reasoning constitute components of a broader cortico-hippocampal system for long-term memory.

Vision must not only recognize and localize objects, but perform richer inferences about the underlying causes in the world that give rise to sensory data. How the brain performs these inferences remains unknown: Theoretical proposals based on inverting generative models (or “analysis-by-synthesis”) have a long history but their mechanistic implementations have typically been too slow to support online perception, and their mapping to neural circuits is unclear. Here we present a neurally plausible model for efficiently inverting generative models of images and test it as an account of one high-level visual capacity, the perception of faces. The model is based on a deep neural network that learns to invert a three-dimensional (3D) face graphics program in a single fast feedforward pass. It explains both human behavioral data and multiple levels of neural processing in non-human primates, as well as a classic illusion, the “hollow face” effect. The model fits qualitatively better than state-of-the-art computer vision models, and suggests an interpretable reverse-engineering account of how images are transformed into percepts in the ventral stream.

How does the brain process the faces of familiar people? Neuropsychological studies have argued for an area of the temporal pole (TP) linking faces with person identities, but magnetic susceptibility artifacts in this region have hampered its study with fMRI. Using data acquisition and analysis methods optimized to overcome this artifact, we identify a familiar face response in TP, reliably observed in individual brains. This area responds strongly to visual images of familiar faces over unfamiliar faces, objects, and scenes. However, TP did not just respond to images of faces, but also to a variety of high-level social cognitive tasks, including semantic, episodic, and theory of mind tasks. The response profile of TP contrasted with a nearby region of the perirhinal cortex that responded specifically to faces, but not to social cognition tasks. TP was functionally connected with a distributed network in the association cortex associated with social cognition, while PR was functionally connected with face-preferring areas of the ventral visual cortex. This work identifies a missing link in the human face processing system that specifically processes familiar faces, and is well placed to integrate visual information about faces with higher-order conceptual information about other people. The results suggest that separate streams for person and face processing reach anterior temporal areas positioned at the top of the cortical hierarchy.

We compare the major white matter tracts in human and macaque occipital lobe. The comparative anatomy of human and macaque occipital white matter tracts reveals both similarities and significant differences in spatial arrangement and relative sizes of the tracts. There are several apparently homologous tracts in the two species, including the vertical occipital fasciculus (VOF), optic radiation, forceps major, and inferior longitudinal fasciculus. There is one large human tract, the inferior occipital-frontal fasciculus, with no corresponding fasciculus in macaque. The macaque VOF is compact and its fibers intertwine with the dorsal segment of the ILF, but the human VOF is much more elongated in the anterior-posterior direction and its fibers do not intertwine with the ILF. These similarities and differences will be useful in establishing which circuitry in the macaque can serve as an accurate model for human visual cortex.

Primates can recognize objects despite 3D geometric variations such as in-depth rotations. The computational mechanisms that give rise to such invariances are yet to be fully understood. A curious case of partial invariance occurs in the macaque face-patch AL and in fully connected layers of deep convolutional networks in which neurons respond similarly to mirror-symmetric views (e.g., left and right profiles). Why does this tuning develop? Here, we propose a simple learning-driven explanation for mirror-symmetric viewpoint tuning. We show that mirror-symmetric viewpoint tuning for faces emerges in the fully connected layers of convolutional deep neural networks trained on object recognition tasks, even when the training dataset does not include faces. First, using 3D objects rendered from multiple views as test stimuli, we demonstrate that mirror-symmetric viewpoint tuning in convolutional neural network models is not unique to faces: it emerges for multiple object categories with bilateral symmetry. Second, we show why this invariance emerges in the models. Learning to discriminate among bilaterally symmetric object categories induces reflection-equivariant intermediate representations. AL-like mirror-symmetric tuning is achieved when such equivariant responses are spatially pooled by downstream units with sufficiently large receptive fields. These results explain how mirror-symmetric viewpoint tuning can emerge in neural networks, providing a theory of how they might emerge in the primate brain. Our theory predicts that mirror-symmetric viewpoint tuning can emerge as a consequence of exposure to bilaterally symmetric objects beyond the category of faces, and that it can generalize beyond previously experienced object categories.

Abstract How neural representations preserve information about multiple stimuli is mysterious. Because tuning of individual neurons is coarse (for example, visual receptive field diameters can exceed perceptual resolution), the populations of neurons potentially responsive to each individual stimulus can overlap, raising the question of how information about each item might be segregated and preserved in the population. We recently reported evidence for a potential solution to this problem: when two stimuli were present, some neurons in the macaque visual cortical areas V1 and V4 exhibited fluctuating firing patterns, as if they responded to only one individual stimulus at a time. However, whether such an information encoding strategy is ubiquitous in the visual pathway and thus could constitute a general phenomenon remains unknown. Here we provide new evidence that such fluctuating activity is also evoked by multiple stimuli in visual areas responsible for processing visual motion (middle temporal visual area, MT), and faces (middle fundus and anterolateral face patches in inferotemporal cortex – areas MF and AL), thus extending the scope of circumstances in which fluctuating activity is observed. Furthermore, consistent with our previous results in the early visual area V1, MT exhibits fluctuations between the representations of two stimuli when these form distinguishable objects but not when they fuse into one perceived object, suggesting that fluctuating activity patterns may underlie visual object formation. Taken together, these findings point toward an updated model of how the brain preserves sensory information about multiple stimuli for subsequent processing and behavioral action. Impact Statement We find neural fluctuations in multiple areas along the visual cortical hierarchy that could allow the brain to represent distinct co-occurring visual stimuli.

In the primate brain the frontal lobes support complex functions, including social cognition. Understanding the functional organization of these regions requires an approach for rich functional characterization. Here we used a novel paradigm, the visual exploration of dynamic social and non-social video scenes, to characterize diverse functions in area F7 of dorsomedial premotor cortex in the macaque monkey (Macaca mulatta) previously suggested to be involved in the representation of social interactions. We found that neural populations within this area carry information about both visual events in the videos, like head turning, and higher-level social categories, like grooming. In addition to signaling visual events, the population also encoded the delivery of juice reward. Our novel free viewing paradigm and naturalistic stimuli elicited active visual exploration, and we found that a large fraction of F7 neurons responded to the subject9s own saccadic eye movements. Information from these three different domains were not separated across distinct neural sub-populations, but distributed, such that many neurons carried sensory, reward, and motor information in a mixed format. Thus we uncover a hitherto unappreciated diversity of functions in region F7 within dorsomedial frontal cortex.

How does the brain process the faces of familiar people? Neuropsychological studies have argued for an area of the temporal pole (TP) linking faces with person identities, but magnetic susceptibility artifacts in this region have hampered its study with fMRI. Using data acquisition and analysis methods optimized to overcome this artifact, we identify a familiar face response in TP, reliably observed in individual brains. This area responds strongly to visual images of familiar faces over images of unfamiliar faces, objects, and scenes. However, TP did not just respond to images of faces, but also to a variety of high-level cognitive tasks that involve thinking about people, including semantic, episodic, and theory of mind tasks. The response profile of TP contrasted from a nearby region of perirhinal cortex that responded specifically to faces, but not to social cognition tasks. TP was functionally connected with a distributed network in association cortex associated with social cognition, while PR was functionally connected with face-preferring areas of ventral visual cortex. This work identifies a missing link in the human familiar face processing system that specifically processes familiar faces, and is well placed to integrate visual information about faces with higher-order conceptual information about other people. The results suggest that separate streams for person and face processing reach anterior temporal areas positioned at the top of the cortical hierarchy.