Abstract The desire to understand how the brain generates and patterns behavior has driven rapid methodological innovation in tools to quantify natural animal behavior. While advances in deep learning and computer vision have enabled markerless pose estimation in individual animals, extending these to multiple animals presents unique challenges for studies of social behaviors or animals in their natural environments. Here we present Social LEAP Estimates Animal Poses (SLEAP), a machine learning system for multi-animal pose tracking. This system enables versatile workflows for data labeling, model training and inference on previously unseen data. SLEAP features an accessible graphical user interface, a standardized data model, a reproducible configuration system, over 30 model architectures, two approaches to part grouping and two approaches to identity tracking. We applied SLEAP to seven datasets across flies, bees, mice and gerbils to systematically evaluate each approach and architecture, and we compare it with other existing approaches. SLEAP achieves greater accuracy and speeds of more than 800 frames per second, with latencies of less than 3.5 ms at full 1,024 × 1,024 image resolution. This makes SLEAP usable for real-time applications, which we demonstrate by controlling the behavior of one animal on the basis of the tracking and detection of social interactions with another animal.

Chronic stress can have lasting adverse consequences in some individuals, yet others are resilient to the same stressor 1,2 . While previous work found differences in the intrinsic properties of mesolimbic dopamine (DA) neurons in susceptible and resilient individuals after stress was over; 3–10 the causal links between DA activity during stress, dynamic stress-evoked behavior, and individual differences in susceptibility and resilience are not known. Here, we record behavior and neural activity in DA projections to the nucleus accumbens (NAc, signals reward 11–14 ) and to the tail striatum (TS, signals threat 15–18 ) during a multiday chronic social defeat paradigm and discover behavioral and neural signatures of resilience. Using supervised and unsupervised behavioral quantification, we find that resilient and susceptible individuals employ different behavioral strategies during stress. In addition, NAc-DA (but not TS-DA) activity is higher in the proximity of the aggressor in resilient mice, consistent with a greater subjective value of the aggressor. Moreover, NAc-DA tends to be elevated at the onset of fighting back in resilient mice and at the offset of attacks in susceptible mice. To test whether DA activation during defeat can generate resilience, and if its timing with respect to behavior is critical, we performed optogenetic stimulation of NAc-DA in open-loop (randomly timed) during defeat or timed to specific behaviors using real-time pose-tracking and behavioral classification. We find that both open-loop DA activation and fighting-back-timed activation promote resilience, in both cases reorganizing behavior during defeat toward resilience-associated patterns. Attack offset-timed activation promotes avoidance during defeat but does not promote susceptibility afterwards. Together, these data suggest a model whereby, during stress, DA in the NAc can increase resilience primarily by elevating the subjective value of the stressor rather than by reinforcing particular stress-responsive behaviors.

While the ventromedial hypothalamus, ventrolateral area (VMHvl) is now well-established as a critical locus of the generation of conspecific aggression, its role is complex, with populations of neurons responding during the motivational, sensory, and action phases of aggression, and also during social interactions with the opposite sex. It has been previously unclear how this brain uses the complex multidimensional signal and generates a discrete action: the attack. Here, we find that the largest posterior target of the VMHvl, the lateral periaqueductal gray (lPAG) encodes a simplified attack-selective signal during aggression. Single units in the lPAG exhibit greater selectivity for the attack action during aggression than VMHvl neurons, and a subpopulation of neurons in the PAG exhibit short-latency, time-locked spiking relative to the activity of jaw muscles for biting during attack. In addition, channelrhodopsin assisted circuit mapping reveals a preferential projection from VMHvl glutamatergic cells to lPAG glutamatergic cells. Using pathway-specific fiber photometry, we find that this excitatory projection conveys male-biased signals from the VMHvl to the downstream glutamatergic PAG neurons that integrate ongoing male-related activity over several seconds which suggests that action selectivity is generated by a combination of pre and post synaptic filtering mechanisms.

Abstract The desire to understand how the brain generates and patterns behavior has driven rapid methodological innovation to quantify and model natural animal behavior. This has led to important advances in deep learning-based markerless pose estimation that have been enabled in part by the success of deep learning for computer vision applications. Here we present SLEAP (Social LEAP Estimates Animal Poses), a framework for multi-animal pose tracking via deep learning. This system is capable of simultaneously tracking any number of animals during social interactions and across a variety of experimental conditions. SLEAP implements several complementary approaches for dealing with the problems inherent in moving from single-to multi-animal pose tracking, including configurable neural network architectures, inference techniques, and tracking algorithms, enabling easy specialization and tuning for particular experimental conditions or performance requirements. We report results on multiple datasets of socially interacting animals (flies, bees, and mice) and describe how dataset-specific properties can be leveraged to determine the best configuration of SLEAP models. Using a high accuracy model (<2.8 px error on 95% of points), we were able to track two animals from full size 1024 × 1024 pixel frames at up to 320 FPS. The SLEAP framework comes with a sophisticated graphical user interface, multi-platform support, Colab-based GPU-free training and inference, and complete tutorials available, in addition to the datasets, at sleap.ai .

Maternal care is profoundly important for mammalian survival, and non-biological parents can express it after experience with infants. One critical molecular signal for maternal behavior is oxytocin, a hormone centrally released by hypothalamic paraventricular nucleus (PVN). Oxytocin enables plasticity within the auditory cortex, a necessary step for responding to infant vocalizations. To determine how this change occurs during natural experience, we continuously monitored homecage behavior of female virgin mice co-housed for days with an experienced mother and litter, synchronized with recordings from virgin PVN cells, including from oxytocin neurons. Mothers engaged virgins in maternal care by ensuring their nest presence, and demonstrated maternal behavior in self-generated pup retrieval episodes. These social interactions activated virgin PVN and gated behaviorally-relevant cortical plasticity for pup vocalizations. Thus rodents can acquire maternal behavior by social transmission, and our results describe a mechanism for adapting brains of adult caregivers to infant needs via endogenous oxytocin.One Sentence Summary Mother mice help co-housed virgins become maternal by enacting specific behaviors that activate virgin oxytocin neurons.

Cognition is produced by the continuous interactions between many regions across the brain, but has typically been studied one brain region at a time. How signals in different regions coordinate to achieve a single coherent action remains unclear. Here, we address this question by characterizing the simultaneous interactions between up to 20 brain regions across the brain (10 targeted regions per hemisphere), of rats performing the "Poisson Clicks" task, a decision-making task that demands the gradual accumulation of momentary evidence. Using 8 Neuropixels probes in each animal, we recorded simultaneously in prefrontal cortex, striatum, motor cortex, hippocampus, amygdala, and thalamus. To assess decision-related interactions between regions, we quantified correlations of each region's "decision variable": moment-to-moment co-fluctuations along the axis in neural state space that best predicts the upcoming choice. This revealed a network of strongly correlated brain regions that include the dorsomedial frontal cortex (dmFC), anterior dorsal striatum (ADS), and primary motor cortex (M1), whose decision variables also led the rest of the brain. If coordinated activity within this subnetwork reflects an ongoing evidence accumulation process, these correlations should cease at the time of decision commitment. We therefore compared correlations before versus after "nTc", a recently reported estimator of the time of internal decision commitment. We found that correlations in the decision variables between different brain regions decayed to near-zero after nTc. Additionally, we found that choice-predictive activity grew over time before nTc, but abruptly plateaued at nTc, consistent with an evidence accumulation process that has stopped evolving at that time. Assessing nTc from the activity of individual regions revealed that nTc could be reliably detected earlier in M1 than other regions. These results show that evidence accumulation involves coordination within a network of frontal cortical and striatal regions, and suggests that termination of this process may initiate in M1.

Abstract Social behaviors, like other motivated behaviors, frequently consist of a flexible motivated-seeking or approach phase followed by social action. Dysregulated social behavior may arise from changes to motivation, wherein individuals fail to enter a motivated seeking state, or may be in the execution of the social action itself. However, it is unclear how the brain generates and gates this flexible motivation-to-action sequence, and whether aggressive motivation and action are controlled by separate circuit mechanisms. Here, we record populations of neurons in the ventromedial hypothalamus ventrolateral area (VMHvl) of male mice at cellular resolution during “free” aggression and also during an aggression operant task, where the behaviors that precede attack are stereotyped. We find that this population encodes the temporal sequence of aggressive motivation to action and that the temporal selectivity of neurons is invariant to differences in motivated behavior. To test whether motivation and action could be independently regulated, we focused on two key inhibitory inputs to the VMHvl: a source of local inhibition (VMHvl shell) and the primary source of long-range inhibition (the medial preoptic area, MPO). While we find that the VMHvl receives broad monosynaptic inhibitory input from both inputs, optogenetic perturbation of these inputs during recording reveals temporal selectivity during aggressive motivation and action, suggesting specificity of function. Encoding models applied to population calcium recordings of these inhibitory inputs during naturalistic social interactions and during the social operant task further reveal that these inputs have different temporal dynamics during aggression: VMHvl shell vgat+ activity peaks at the start of aggressive interactions, while MPO-VMHvl vgat+ activity peaks at behaviorally aligned endpoints of aggressive interactions. Finally, using closed-loop optogenetic stimulation timed to specific phases of the aggression-operant task, we find a double-dissociation of the effects on aggressive motivation and action: activation of MPO-VMHvl vgat+ , even briefly and temporally distant from the initiation of aggression, produces long-lasting motivational deficits, delaying the initiation of aggression and generating behaviors consistent with an unmotivated state. In contrast, activation of VMHvl shell vgat+ produces acute action-related deficits, causing an exit from an attack state. Fitting a Hidden Markov Model (HMM) to behavior further corroborates these findings by showing that MPO-VMHvl vgat+ stimulation prolongs a low motivation state and VMHvl shell vgat+ promotes exit from an attack state. Together, these data demonstrate how separable inhibitory circuits in the hypothalamus can independently gate the motivational and action phases of aggression through a single locus of control.

Animals learn the value of foods based on their postingestive effects and thereby develop aversions to foods that are toxic and preferences to those that are nutritious. However, it remains unclear how the brain is able to assign credit to flavors experienced during a meal with postingestive feedback signals that can arise after a substantial delay. Here, we reveal an unexpected role for postingestive reactivation of neural flavor representations in this temporal credit assignment process. To begin, we leverage the fact that mice learn to associate novel, but not familiar, flavors with delayed gastric malaise signals to investigate how the brain represents flavors that support aversive postingestive learning. Surveying cellular resolution brainwide activation patterns reveals that a network of amygdala regions is unique in being preferentially activated by novel flavors across every stage of the learning process: the initial meal, delayed malaise, and memory retrieval. By combining high-density recordings in the amygdala with optogenetic stimulation of genetically defined hindbrain malaise cells, we find that postingestive malaise signals potently and specifically reactivate amygdalar novel flavor representations from a recent meal. The degree of malaise-driven reactivation of individual neurons predicts strengthening of flavor responses upon memory retrieval, leading to stabilization of the population-level representation of the recently consumed flavor. In contrast, meals without postingestive consequences degrade neural flavor representations as flavors become familiar and safe. Thus, our findings demonstrate that interoceptive reactivation of amygdalar flavor representations provides a neural mechanism to resolve the temporal credit assignment problem inherent to postingestive learning.

Some individuals are susceptible to the experience of chronic stress and others are more resilient. While many brain regions implicated in learning are dysregulated after stress, little is known about whether and how neural teaching signals during stress differ between susceptible and resilient individuals. Here, we seek to determine if activity in the lateral habenula (LHb), which encodes a negative teaching signal, differs between stress susceptible and resilient mice during stress to produce different outcomes. After but not before chronic social defeat stress (CSDS), the LHb is active when susceptible mice are in the proximity of the aggressor strain. During stress itself, LHb activity is higher in susceptible mice during aggressor proximity, and stimulation of the LHb during stress biases mice towards susceptibility. This stimulation generates a persistent and widespread increase in the balance of subcortical versus cortical activity that closely mimics the brainwide correlates of susceptibility. Taken together, our results indicate that a stronger aversive teaching signal in the LHb during stress produces brainwide and behavioral substrates of susceptibility.