Abstract The visual system takes advantage of redundancies in the scene by extracting summary statistics from a set of items. Similarly, in many social situations where scrutinizing each individual’s expression is inefficient, human observers make snap judgments of crowds of people by reading “crowd emotion” to avoid danger (e.g., mass panic or violent mobs) or to seek help. However, how the brain accomplishes this feat remains unaddressed. Here we report a set of behavioral and fMRI studies in which participants made avoidance or approach decisions by choosing between two facial crowds presented in the left and right visual fields (LVF/RVF). Participants were most accurate for crowds containing task-relevant cues: avoiding angry crowds and approaching happy crowds. This effect was amplified by sex-linked facial cues (angry male/happy female crowds) and highly lateralized, with better recognition of the task-congruent facial crowd when presented in LVF. fMRI results showed that the dorsal visual stream was preferentially activated in crowd emotion processing, with intraparietal sulcus and superior frontal gyrus predicting behavioral crowd emotion efficiency, whereas the ventral visual stream showed greater involvement in individual face emotion processing, with fusiform cortex activity predicting the accuracy of decisions about individual face emotion. Our results shed new light on the distinction between global vs. local processing of face stimuli, revealing differential involvement of the left and right hemispheres and the dorsal and ventral pathways in reading crowd vs. individual emotion.

It has been reported that threatening and non-threatening visual stimuli can be distinguished based on the multi-voxel patterns of haemodynamic activity in the human ventral visual stream. Do these findings mean that there may be evolutionarily hardwired mechanisms within early perception, for the fast and automatic detection of threat, and maybe even for the generation of the subjective experience of fear? In this human neuroimaging study, we presented participants ('fear' group: N = 30; 'no fear' group: N = 30) with 2700 images of animals that could trigger subjective fear or not as a function of the individual's idiosyncratic ‘fear profiles’ (i.e. fear ratings of animals reported by a given participant). We provide evidence that the ventral visual stream may represent affectively neutral visual features that are statistically associated with fear ratings of participants, without representing the subjective experience of fear itself. More specifically, we show that patterns of haemodynamic activity predictive of a specific ‘fear profile’ can be observed in the ventral visual stream whether a participant reports being afraid of the stimuli or not. Further, we found that the multivariate information synchronization between ventral visual areas and prefrontal regions distinguished participants who reported being subjectively afraid of the stimuli from those who did not. Together, these findings support the view that the subjective experience of fear may depend on the relevant visual information triggering implicit metacognitive mechanisms in the prefrontal cortex. This article is part of the theme issue ‘Sensing and feeling: an integrative approach to sensory processing and emotional experience’.

Fearful faces convey threat cues whose meaning is contextualized by eye gaze: While averted gaze is congruent with facial fear (both signal avoidance), direct gaze is incongruent with it, as direct gaze signals approach. We have previously shown using fMRI that the amygdala is engaged more strongly by fear with averted gaze, which has been found to be processed more efficiently, during brief exposures. However, the amygdala also responds more to fear with direct gaze during longer exposures. Here we examined previously unexplored brain oscillatory responses to characterize the neurodynamics and connectivity during brief (~250 ms) and longer (~883 ms) exposures of fearful faces with direct or averted eye gaze. We replicated the exposure time by gaze direction interaction in fMRI (N=23), and observed greater early phase locking to averted-gaze fear (congruent threat signal) with MEG (N=60) in a network of face processing regions, with both brief and longer exposures. Phase locking to direct-gaze fear (incongruent threat signal) then increased significantly for brief exposures at ~350 ms, and at ~700 ms for longer exposures. Our results characterize the stages of congruent and incongruent facial threat signal processing and show that stimulus exposure strongly affects the onset and duration of these stages.

During face perception, we integrate facial expression and eye gaze to take advantage of their shared signals. For example, fear with averted gaze provides a congruent avoidance cue, signaling both threat presence and its location, whereas fear with direct gaze sends an incongruent cue, leaving threat location ambiguous. It has been proposed that the processing of different combinations of threat cues is mediated by dual processing routes: reflexive processing via magnocellular (M) pathway and reflective processing via parvocellular (P) pathway. Because growing evidence has identified a variety of sex differences in emotional perception, here we also investigated how M and P processing of fear and eye gaze might be modulated by observer's sex, focusing on the amygdala, a structure important to threat perception and affective appraisal. We adjusted luminance and color of face stimuli to selectively engage M or P processing and asked observers to identify emotion of the face. Female observers showed more accurate behavioral responses to faces with averted gaze and greater left amygdala reactivity both to fearful and neutral faces. Conversely, males showed greater right amygdala activation only for M-biased averted-gaze fear faces. In addition to functional reactivity differences, females had greater bilateral amygdala volumes, which positively correlated with behavioral accuracy for M-biased fear. Conversely, in males only the right amygdala volume was positively correlated with accuracy for M-biased fear faces. Our findings suggest that M and P processing of facial threat cues is modulated by functional and structural differences in the amygdalae associated with observers sex.

It has been reported that threatening and non-threatening visual stimuli can be distinguished based on the multi-voxel patterns of hemodynamic activity in the human ventral visual stream. Do these findings mean that there may be evolutionarily hardwired mechanisms within early perception, for the fast and automatic detection of threat, and maybe even for the generation of the subjective experience of fear? In this human neuroimaging study, we provide evidence that the ventral visual stream may represent affectively neutral visual features that are statistically associated with fear ratings of participants, without representing the subjective experience of fear itself. More specifically, we show that patterns of hemodynamic activity predictive of a specific 9fear profile9 (i.e., fear ratings reported by a given participant) can be observed in the ventral visual stream whether a participant reports being afraid of the stimuli or not. Further, we found that the multivariate information transmission between ventral visual areas and prefrontal regions distinguished participants who reported being subjectively afraid of the stimuli from those who did not. Together, these findings support the view that the subjective experience of fear may depend on the relevant visual information triggering implicit metacognitive mechanisms in the prefrontal cortex.

Facial expression and eye gaze provide a shared signal about threats. While averted-gaze fear clearly points to the source of threat, direct-gaze fear renders the source of threat ambiguous. Dual processing routes have been proposed to mediate these processes: reflexive processing via magnocellular (M-) pathway and reflective processing via parvocellular (P-) pathway. We investigated how observers' trait anxiety modulates M- and P-pathway processing of clear and ambiguous threat cues. We performed fMRI on a large cohort (N=108) widely ranging in trait anxiety while they viewed fearful or neutral faces with averted or directed gaze. We adjusted luminance and color of the stimuli to selectively engage M- or P-pathway processing. We found that higher anxiety facilitated processing of averted-gaze fear projected to M-pathway, but impaired perception of direct-gaze fear projected to P-pathway. Increased right amygdala reactivity was associated with higher anxiety, only for averted-gaze fear presented to M-pathway. Conversely, increased left amygdala reactivity was associated with higher anxiety for P-biased, direct-gaze fear. This lateralization was more pronounced with higher anxiety. Our findings suggest that trait anxiety has differential effects on perception of clear and ambiguous facial threat cues via selective engagement of M and P pathways and lateralization of amygdala reactivity.

Threat learning and extinction processes are thought to be foundational to anxiety and fear-related disorders. However, the study of these processes in the human brain has largely focused on a priori regions of interest, owing partly to the ease of translating between these regions in human and non-human animals. Moving beyond analyzing focal regions of interest to whole-brain dynamics during threat learning is essential for understanding the neuropathology of fear-related disorders in humans.223 participants completed a 2-day Pavlovian threat conditioning paradigm while undergoing fMRI. Participants completed threat acquisition and extinction. Extinction recall was assessed 48 hours later. Using a data-driven group independent component analysis (ICA), we examined large-scale functional connectivity networks during each phase of threat conditioning. Connectivity networks were tested to see how they responded to conditional stimuli during early and late phases of threat acquisition and extinction and during early trials of extinction recall.A network overlapping with the default mode network involving hippocampus, vmPFC, and posterior cingulate was implicated in threat acquisition and extinction. Another network overlapping with the salience network involving dACC, mPFC, and inferior frontal gyrus was implicated in threat acquisition and extinction recall. Other networks overlapping with parts of the salience, somatomotor, visual, and fronto-parietal networks were involved in the acquisition or extinction of learned threat responses.These findings help confirm previous investigations of specific brain regions in a model-free fashion and introduce new findings of spatially independent networks during threat and safety learning. Rather than being a single process in a core network of regions, threat learning involves multiple brain networks operating in parallel coordinating different functions at different timescales. Understanding the nature and interplay of these dynamics will be critical for comprehensive understanding of the multiple processes that may be at play in the neuropathology of anxiety and fear-related disorders.

Abstract Threat learning processes are thought to be foundational to anxiety and fear-related disorders. However, the study of these processes in the human brain has largely focused on specific brain regions, owing partly to the ease of translating between these regions in human and nonhuman animals. Moving beyond analyzing focal regions of interest to whole-brain dynamics and connectivity during threat learning is essential for understanding the neuropathology of fear-related disorders in humans. In this study, 223 participants completed a 2-day Pavlovian threat conditioning paradigm while undergoing fMRI. Participants completed threat acquisition and extinction. Extinction recall was assessed 48 hours later. Using a data-driven group independent component analysis (ICA), we examined large-scale functional connectivity networks during each phase of threat learning. Connectivity networks were tested to see how they responded to conditioned stimuli during early and late phases of threat acquisition and extinction as well as during early trials of extinction recall. A network overlapping with the default mode network involving hippocampus, ventromedial prefrontal cortex (vmPFC), and posterior cingulate was implicated in threat acquisition and extinction. Another network overlapping with the salience network involving dorsal anterior cingulate cortex (dACC), mPFC, and inferior frontal gyrus was implicated both in threat acquisition and in extinction recall. Other networks overlapping with parts of the salience, somatomotor, visual, and frontoparietal networks were involved in the acquisition or in the extinction of learned threat responses. These findings help support the functional cooperation of specific brain regions during threat learning in a model-free fashion while introducing new findings of spatially independent functional connectivity networks during threat and safety learning. Rather than being a single process in a core network of regions, threat learning involves multiple brain networks operating in parallel performing different functions at different timescales. Understanding the nature and interplay of these dynamics will be critical for comprehensive understanding of the multiple processes that may be at play in the neuropathology of anxiety and fear-related disorders.

Abstract Pain is a complex emotional experience that still remains challenging to manage. Previous functional magnetic resonance imaging (fMRI) studies have associated pain with distributed patterns of brain activity (i.e., brain decoders), but it is still unclear whether these observations reflect causal mechanisms. To address this question, we devised a new neurofeedback approach leveraging real-time decoding of fMRI data to test if modulating pain-related multivoxel fMRI patterns could lead to changes in subjective pain experience. We first showed that subjective pain ratings can indeed be accurately predicted using a real-time decoding approach based on the stimulus intensity independent pain signature (SIIPS) and the neurologic pain signature (NPS). Next, we trained participants in a double-blinded decoded fMRI neurofeedback experiment to up- or down-regulate the SIIPS. Our results indicate that participants can learn to down-regulate the expression of SIIPS independently from NPS expression. Importantly, the success of this neurofeedback training was associated with the perceived intensity of painful stimulation following the intervention. Taken together, these results indicate that closed-loop brain imaging can be efficiently conducted using a priori fMRI decoders of pain, potentially opening up a new range of applications for decoded neurofeedback, both for clinical and basic science purposes.