We recently discovered stimulus-specific interactions between cell assemblies in cat primary visual cortex that could constitute a global linking principle for feature associations in sensory and motor systems: stimulus-induced oscillatory activities (35-80 Hz) in remote cell assemblies of the same and of different visual cortex areas mutually synchronize, if common stimulus features drive the assemblies simultaneously. Based on our neurophysiological findings we simulated feature linking via synchronizations in networks of model neurons. The networks consisted of two one-dimensional layers of neurons, coupled in a forward direction via feeding connections and in lateral and backward directions via modulatory linking connections. The models' performance is demonstrated in examples of region linking with spatiotemporally varying inputs, where the rhythmic activities in response to an input, that initially are uncorrelated, become phase locked. We propose that synchronization is a general principle for the coding of associations in and among sensory systems and that at least two distinct types of synchronization do exist: stimulus-forced (event-locked) synchronizations support “crude instantaneous” associations and stimulus-induced (oscillatory) synchronizations support more complex iterative association processes. In order to bring neural linking mechanisms into correspondence with perceptual feature linking, we introduce the concept of the linking field (association field) of a local assembly of visual neurons. The linking field extends the concept of the invariant receptive field (RF) of single neurons to the flexible association of RFs in neural assemblies.

Abstract Dynamic facial expressions are crucial for communication in primates. Due to the difficulty to control shape and dynamics of facial expressions across species, it is unknown how species-specific facial expressions are perceptually encoded and interact with the representation of facial shape. While popular neural-network theories predict a joint encoding of facial shape and dynamics, the neuromuscular control of faces evolved more slowly than facial shape, suggesting a separate encoding. To investigate this hypothesis, we developed photo-realistic human and monkey heads that were animated with motion-capture data from monkeys and human. Exact control of expression dynamics was accomplished by a Bayesian machine-learning technique. Consistent with our hypothesis, we found that human observers learned cross-species expressions very quickly, where face dynamics was represented independently of facial shape. This result supports the co-evolution of the visual processing and motor-control of facial expressions, while it challenges popular neural-network theories of dynamic expression-recognition.

We use the other's gaze direction to identify her/his object of interest and to shift our attention to the same object, i.e. to establish joint attention. However, gaze direction may not be sufficient to unambiguously identify the object of interest as the other's gaze may hit more than one object. In this case, the observer must use a priori information to disambiguate the object choice. Using fMRI, we suggest that the disambiguation is based on a 3-component network. A first component, the well-known gaze following patch in the posterior STS is activated by gaze following per se. BOLD activity here is determined exclusively by the usage of gaze direction and is independent of the need to disambiguate the relevant object. On the other hand, BOLD activity revealing a priori information for the disambiguation and starting early enough to this end is confined to a patch of cortex at the inferior frontal junction. Finally, BOLD activity reflecting the convergence of both, a priori information and gaze direction, needed to shift attention to a particular object location is confined to the posterior parietal cortex.

Abstract The Gaze Following Patch (GFP) is located in the posterior temporal cortex and has been described as a cortical module dedicated to processing other people’s gaze direction in a domain-specific manner. Thus, it appears to be the neural correlate of Baron-Cohen’s Eye-Direction Detector (EDD) which is one of the core modules in his Mindreading System - a neurocognitive model for the Theory of Mind concept. Inspired by Jerry Fodor’s ideas on the modularity of the mind, Baron-Cohen proposed that, among other things, the individual modules are domain-specific. In the case of the EDD this means that it exclusively processes eye-like stimuli to extract gaze direction and that other stimuli, that may carry directional information as well, are processed elsewhere. If the GFP is indeed EDD’s neural correlate it must meet this expectation. To test this, we compared the GFP’s BOLD activity during gaze-direction following with the activity during arrow-direction following. Contrary to the expectation based on the assumption of domain specificity we did not find a differentiation between gaze and arrow-direction following. In fact, we were not able to reproduce the GFP as presented in previous studies. A possible explanation is that in the present study – unlike previous work –, the gaze stimuli did not contain an obvious change of direction that represented a visual motion. Hence, the critical stimulus component responsible for the identification of the GFP in previous experiments might have been visual motion.

The ability to extract the direction of the other's gaze allows us to shift our attention to an object of interest to the other and to establish joint attention. By mapping one's own expectations, desires and intentions on the object of joint attention, humans develop a Theory of (the other's) Mind (TOM), a functional sequence possibly disrupted in autism. Although old world monkeys probably do not possess a TOM, they follow the other's gaze and they establish joint attention. Gaze following of both humans and old world monkeys fulfills Fodor's criteria of a domain specific function and is orchestrated by very similar cortical architectures, strongly suggesting homology. Also new world monkeys, a primate suborder that split from the old world monkey line about 35 million years ago, have complex social structures. One member of this group, the common marmoset (Callithrix jacchus), has received increasing interest as a potential model in studies of normal and disturbed human social cognition. Marmosets are known to follow human head-gaze. However, the question is if they use gaze following to establish joint attention with conspecifics. Here we show that this is indeed the case. In a free choice task, head-restrained marmosets prefer objects gazed at by a conspecific and, moreover, they exhibit considerably shorter choice reaction times for the same objects. These findings support the assumption of an evolutionary old domain specific faculty shared within the primate order and they underline the potential value of marmosets in studies of normal and disturbed joint attention.

The gaze-following patch (GFP) is located in the posterior temporal cortex and has been described as a cortical module dedicated to processing other people's gaze-direction in a domain-specific manner. Thus, it appears to be the neural correlate of Baron-Cohen's eye direction detector (EDD) which is one of the core modules in his mindreading system—a neurocognitive model for the theory of mind concept. Inspired by Jerry Fodor's ideas on the modularity of the mind, Baron-Cohen proposed that, among other things, the individual modules are domain specific. In the case of the EDD, this means that it exclusively processes eye-like stimuli to extract gaze-direction and that other stimuli, which may carry directional information as well, are processed elsewhere. If the GFP is indeed EDD's neural correlate, it must meet this expectation. To test this, we compared the GFP's BOLD activity during gaze-direction following with the activity during arrow-direction following in the present human fMRI study. Contrary to the expectation based on the assumption of domain specificity, we did not find a differentiation between gaze- and arrow-direction following. In fact, we were not able to reproduce the GFP as presented in the previous studies. A possible explanation is that in the present study—unlike the previous work—the gaze stimuli did not contain an obvious change of direction that represented a visual motion. Hence, the critical stimulus component responsible for the identification of the GFP in the previous experiments might have been visual motion.

ABSTRACT Gaze aversion is a behavior adopted by several mammalian and non-mammalian species in response to eye contact and usually interpreted as reaction to perceived threat. Unlike many other primates, common marmosets ( Callithrix jacchus ) are thought to have high tolerance for direct gaze, barely exhibiting gaze avoidance towards conspecifics and humans. Here we show that this does not hold for marmosets interacting with a familiar experimenter who suddenly establishes eye contact in a playful interaction (“peek-a-boo”). In video footage synchronously recorded from the two agents, we found that our monkeys consistently alternated between eye contact and head-gaze aversion. The striking similarity with the gaze aversion’s dynamics exhibited by human infants interacting with their caregivers suggests a shared behavioral strategy to disengage temporarily from overwhelming social stimulation, in order to prepare for a new round of rewarding, affiliative face-to-face interaction. The potential of our finding for a marmoset model of autism is discussed.

Apart from language, our gaze is arguably the most important means of communication. Where we look lets others know what we are interested in and allows them to join our focus of attention. In several studies our group investigated the neuronal basis of gaze following behavior in humans and macaques and described the Gaze following patch in the posterior temporal cortex as being of central importance for this function. To our knowledge, this makes it the most promising candidate for Simon Baron-Cohen's Eye-Direction-Detector, an integral part of his influential Mindreading System. With the latter, Baron-Cohen proposed a network of domainspecific neurocognitive modules that are necessary to establish a Theory of Mind - the attribution of mental states to others. The tenet of domain-specificity requires that the EDD processes only and exclusively eye-like stimuli with their typical contrast and movement properties. In the present fMRI study, we aim to critically test if the GFP fulfills this criterion. Specifically, we will test if it is equivalent to or different from the visual motion processing areas located in the same part of the brain. Since our experiments capture the full-behavioral relevance of gaze-following behavior and are specifically designed to reveal an EED our results will provide strong support or rejection of a central property Baron-Cohen's Mindreading-System - domain specificity.