The ability to infer others' thoughts, intentions, and feelings is regarded as uniquely human. Over the last few decades, this remarkable ability has captivated the attention of philosophers, primatologists, clinical and developmental psychologists, anthropologists, social psychologists, and cognitive neuroscientists. Most would agree that the capacity to reason about others' mental states is innately prepared, essential for successful human social interaction. Whether this ability is culturally tuned, however, remains entirely uncharted on both the behavioral and neural levels. Here we provide the first behavioral and neural evidence for an intracultural advantage (better performance for same- vs. other-culture) in mental state decoding in a sample of native Japanese and white American participants. We examined the neural correlates of this intracultural advantage using fMRI, revealing greater bilateral posterior superior temporal sulci recruitment during same- versus other-culture mental state decoding in both cultural groups. These findings offer preliminary support for cultural consistency in the neurological architecture subserving high-level mental state reasoning, as well as its differential recruitment based on cultural group membership.

Dynamic facial expressions of emotion constitute natural and powerful media of communication between individuals. However, little is known about the neural substrate underlying the processing of dynamic facial expressions of emotion. We depicted the brain areas by using fMRI with 22 right-handed healthy subjects. The facial expressions are dynamically morphed from neutral to fearful or happy expressions. Two types of control stimuli were presented: (i) static facial expressions, which provided sustained fearful or happy expressions, and (ii) dynamic mosaic images, which provided dynamic information with no facial features. Subjects passively viewed these stimuli. The left amygdala was highly activated in response to dynamic facial expressions relative to both control stimuli in the case of fearful expressions, but not in the case of happy expressions. The broad region of the occipital and temporal cortices, especially in the right hemisphere, which included the activation foci of the inferior occipital gyri, middle temporal gyri, and fusiform gyri, showed higher activation during viewing of the dynamic facial expressions than it did during the viewing of either control stimulus, common to both expressions. In the same manner, the right ventral premotor cortex was also activated. These results identify the neural substrate for enhanced emotional, perceptual/cognitive, and motor processing of dynamic facial expressions of emotion.

Two experiments were conducted to investigate the role played by dynamic information in identifying facial expressions of emotion. Dynamic expression sequences were created by generating and displaying morph sequences which changed the face from neutral to a peak expression in different numbers of intervening intermediate stages, to create fast (6 frames), medium (26 frames), and slow (101 frames) sequences. In experiment 1, participants were asked to describe what the person shown in each sequence was feeling. Sadness was more accurately identified when slow sequences were shown. Happiness, and to some extent surprise, was better from faster sequences, while anger was most accurately detected from the sequences of medium pace. In experiment 2 we used an intensity-rating task and static images as well as dynamic ones to examine whether effects were due to total time of the displays or to the speed of sequence. Accuracies of expression judgments were derived from the rated intensities and the results were similar to those of experiment 1 for angry and sad expressions (surprised and happy were close to ceiling). Moreover, the effect of display time was found only for dynamic expressions and not for static ones, suggesting that it was speed, not time, which was responsible for these effects. These results suggest that representations of basic expressions of emotion encode information about dynamic as well as static properties.

Automatic facial action detection is important, but no previous studies have evaluated pre-trained models on the accuracy of facial action detection as the angle of the face changes from frontal to profile. Using static facial images obtained at various angles (0°, 15°, 30°, and 45°), we investigated the performance of three automated facial action detection systems (FaceReader, OpenFace, and Py-feat). The overall performance was best for OpenFace, followed by FaceReader and Py-Feat. The performance of FaceReader significantly decreased at 45° compared to that at other angles, while the performance of Py-Feat did not differ among the four angles. The performance of OpenFace decreased as the target face turned sideways. Prediction accuracy and robustness to angle changes varied with the target facial components and action detection system.

Abstract Facial expressions are indispensable in daily human communication. Previous neuroimaging studies investigating facial expression processing have presented pre-recorded stimuli and lacked live face-to-face interaction. Our paradigm alternated between presentations of real-time model performance and pre-recorded videos of dynamic facial expressions to participants. Simultaneous functional magnetic resonance imaging (fMRI) and facial electromyography activity recordings, as well as post-scan valence and arousal ratings were acquired from 44 female participants. Live facial expressions enhanced the subjective valence and arousal ratings as well as facial muscular responses. Live performances showed greater engagement of the right posterior superior temporal sulcus (pSTS), right inferior frontal gyrus (IFG), right amygdala and right fusiform gyrus, and modulated the effective connectivity within the right mirror neuron system (IFG, pSTS, and right inferior parietal lobule). A support vector machine algorithm could classify multivoxel activation patterns in brain regions involved in dynamic facial expression processing in the mentalizing networks (anterior and posterior cingulate cortex). These results indicate that live social interaction modulates the activity and connectivity of the right mirror neuron system and enhances spontaneous mimicry, further facilitating emotional contagion. Highlights We alternately presented real-time and pre-recorded dynamic facial expressions. Live facial expressions enhanced emotion contagion and spontaneous facial mimicry. Live conditions modulated mirror neuron system activity and effective connectivity. The mentalizing network showed distinctive multivoxel patterns in live conditions. The results support the validity of second-person design in social neuroscience.