Previous neuroimaging and neuropsychological studies have investigated the neural substrates which mediate responses to fearful, disgusted and happy expressions. No previous studies have investigated the neural substrates which mediate responses to sad and angry expressions. Using functional neuroimaging, we tested two hypotheses. First, we tested whether the amygdala has a neural response to sad and/or angry facial expressions. Secondly, we tested whether the orbitofrontal cortex has a specific neural response to angry facial expressions. Volunteer subjects were scanned, using PET, while they performed a sex discrimination task involving static grey-scale images of faces expressing varying degrees of sadness and anger. We found that increasing intensity of sad facial expression was associated with enhanced activity in the left amygdala and right temporal pole. In addition, we found that increasing intensity of angry facial expression was associated with enhanced activity in the orbitofrontal and anterior cingulate cortex. We found no support for the suggestion that angry expressions generate a signal in the amygdala. The results provide evidence for dissociable, but interlocking, systems for the processing of distinct categories of negative facial expression.

The direction of eye gaze and orientation of the face towards or away from another are important social signals for man and for macaque monkey. We have studied the effects of these signals in a region of the macaque temporal cortex where cells have been found to be responsive to the sight of faces. Of cells selectively responsive to the sight of the face or head but not to other objects (182 cells) 63% were sensitive to the orientation of the head. Different views of the head (full face, profile, back or top of the head, face rotated by 45° up to the ceiling or down to the floor) maximally activated different classes of cell. All classes of cell, however, remained active as the preferred view was rotated isomorphically or was changed in size or distance. Isomorphic rotation by 90–180° increased cell response latencies by 10–60 ms. Sensitivity to gaze direction was found for 64% of the cells tested that were tuned to head orientation. Eighteen cells most responsive to the full face preferred eye contact, while 18 cells tuned to the profile face preferred averted gaze. Sensitivity to gaze was thus compatible with, but could be independent of, sensitivity to head orientation. Results suggest that the recognition of one type of object may proceed via the independent high level analysis of several restricted views of the object (viewer-centred descriptions).

Cells selectively responsive to the face have been found in several visual sub-areas of temporal cortex in the macaque brain. These include the lateral and ventral surfaces of inferior temporal cortex and the upper bank, lower bank and fundus of the superior temporal sulcus (STS). Cells in the different regions may contribute in different ways to the processing of the facial image. Within the upper bank of the STS different populations of cells are selective for different views of the face and head. These cells occur in functionally discrete patches (3-5 mm across) within the STS cortex. Studies of output connections from the STS also reveal a modular anatomical organization of repeating 3-5 mm patches connected to the parietal cortex, an area thought to be involved in spatial awareness and in the control of attention. The properties of some cells suggest a role in the discrimination of heads from other objects, and in the recognition of familiar individuals. The selectivity for view suggests that the neural operations underlying face or head recognition rely on parallel analyses of different characteristic views of the head, the outputs of these view-specific analyses being subsequently combined to support view-independent (object-centred) recognition. An alternative functional interpretation of the sensitivity to head view is that the cells enable an analysis of ‘social attention’, i.e. they signal where other individuals are directing their attention. A cell maximally responsive to the left profile thus provides a signal that the attention (of another individual) is directed to the observer’s left. Such information is useful for analysing social interactions between other individuals. This interpretation accounts not only for the extensive tuning to head view in the horizontal plane, but also explains the additional tuning of many STS cells to gaze direction and vertical elevation of the head and body posture. Deficits in perception of gaze direction after lesions to the macaque STS cortex, and in certain cases of prosopagnosia, are also predicted by this interpretation.

The attractiveness of a face is a highly salient social signal, influencing mate choice and other social judgements. In this study, we used event-related functional magnetic resonance imaging (fMRI) to investigate brain regions that respond to attractive faces which manifested either a neutral or mildly happy face expression. Attractive faces produced activation of medial orbitofrontal cortex (OFC), a region involved in representing stimulus-reward value. Responses in this region were further enhanced by a smiling facial expression, suggesting that the reward value of an attractive face as indexed by medial OFC activity is modulated by a perceiver directed smile.

Transforming facial images along perceived dimensions (such as age, gender, race, or health) has application in areas as diverse as psychology, medicine, and forensics. We can use prototype images to define the salient features of a particular face classification (for example, European female adult or East-Asian male child). We then use the differences between two prototypes to define an axis of transformation, such as younger to older. By applying these changes to a given input face, we can change its apparent age, race, or gender. Psychological investigations reveal a limitation with existing methods that's particularly apparent when changing the age of faces. We relate the problem to the loss of facial textures (such as stubble and wrinkles) in the prototypes due to the blending process. We review the existing face prototyping and transformation methods and present a new, wavelet-based method for prototyping and transforming facial textures.