Significance The present study shows preferential activity of neurons in the medial and dorsolateral pulvinar to images of snakes. Pulvinar neurons responded faster and stronger to snake stimuli than to monkey faces, monkey hands, and geometric shapes, and were sensitive to unmodified and low-pass filtered images but not to high-pass filtered images. These results identify a neurobiological substrate for rapid detection of threatening visual stimuli in primates. Our findings are unique in providing neuroscientific evidence in support of the Snake Detection Theory, which posits that the threat of snakes strongly influenced the evolution of the primate brain. This finding may have great impact on our understanding of the evolution of primates.

Abstract Video-based markerless motion capture permits quantification of an animal’s pose and motion, with a high spatiotemporal resolution in a naturalistic context, and is a powerful tool for analyzing the relationship between the animal’s behaviors and its brain functions. Macaque monkeys are excellent non-human primate models, especially for studying neuroscience. Due to the lack of a dataset allowing training of a deep neural network for the macaque’s markerless motion capture in the naturalistic context, it has been challenging to apply this technology for macaques-based studies. In this study, we created MacaquePose, a novel open dataset with manually labeled body part positions for macaques in naturalistic scenes, consisting of >13,000 images, refined by researchers. We show that the pose estimation performance of an artificial neural network trained with the dataset is close to that of a human-level. The MacaquePose will provide a platform for innovative behavior analysis for non-human primate.

To interrogate particular neuronal pathways in non-human primates under natural and stress-free conditions, we applied designer receptors exclusively activated by designer drugs (DREADDs) technology to common marmosets. We injected adeno-associated virus vectors expressing the excitatory DREADD hM3Dq into the unilateral substantia nigra in three marmosets. Using multi-tracer positron emission tomography imaging, we detected DREADD expression in vivo, which was confirmed in nigrostriatal dopamine neurons by immunohisto-chemistry, and assessed activation of the substantia nigra and dopamine release following agonist administration. The marmosets rotated in a contralateral direction relative to the activated side 30–90 min after consuming food containing the highly potent DREADD agonist deschloroclozapine (DCZ), but not on the following days without DCZ. These results indicate that non-invasive and reversible DREADD manipulation will extend the utility of marmoset as a primate model for linking neuronal activity and natural behavior in various contexts.

Abstract Understanding animal behavior in its natural habitat is a challenging task. One of the primary step for analyzing animal behavior is feature detection. In this study, we propose the use of deep convolutional neural network (CNN) to locate monkey features from raw RGB images of monkey in its natural environment. We train the model to identify features such as the nose and shoulders of the monkey at about 0.01 model loss.

Abstract This paper proposes a system for pose estimation on monkeys, in diverse and challenging scenarios, and under complex social interactions by using OpenPose. In comparison to most animals used for research, Monkeys present additional difficulties for pose estimation. Multiple degrees of freedom, unique complex postures, intricated social interactions, among others. Our monkey OpenPose trained model is robust against these difficulties. It achieves similar performance as in human pose estimation models, and it can run in Realtime.

Abstract Dopamine release in the forebrain by midbrain ventral tegmental nucleus (VTA) and substantia nigra pars compacta (SNpc) neurons is implicated in reward processing, goal-directed learning, and decision-making. Rhythmic oscillations of neural excitability underlie coordination of network processing, and have been reported in these dopaminergic nuclei at several frequency bands. This paper provides a comparative characterization of several frequencies of oscillations of local field potential and single unit activity, highlighting some behavioral correlates. We recorded from optogenetically identified dopaminergic sites in mice training in operant olfactory and visual discrimination tasks. Rayleigh and Pairwise Phase Consistency (PPC) analyses revealed some VTA/SNc neurons phase-locked to each frequency range, with fast spiking interneurons (FSIs) prevalent at 1-2.5 Hz (slow) and 4 Hz bands, and dopaminergic neurons predominant in the theta band. More FSIs than dopaminergic neurons were phase-locked in the slow and 4 Hz bands during many task events. The highest incidence of phase-locking in neurons was in the slow and 4 Hz bands, and occurred during the delay between the operant choice and trial outcome (reward or punishment) signals. These data provide a basis for further examination of rhythmic coordination of activity of dopaminergic nuclei with other brain structures, and its impact for adaptive behavior.

Nonhuman primates (NHPs) exhibit complex and diverse behavior that typifies advanced cognitive function and social communication, but quantitative and systematical measure of this natural nonverbal processing has been a technical challenge. Specifically, a method is required to automatically segment time series of behavior into elemental motion motifs, much like finding meaningful words in character strings. Here, we propose a solution called SyntacticMotionParser (SMP), a general-purpose unsupervised behavior parsing algorithm using a non-parametric Bayesian model. Using three-dimensional posture-tracking data from NHPs, SMP automatically outputs an optimized sequence of latent motion motifs classified into the most likely number of states. When applied to behavioral datasets from common marmosets and rhesus monkeys, SMP outperformed conventional posture-clustering models and detected a set of behavioral ethograms from publicly available data. SMP also quantified and visualized the behavioral effects of chemogenetic neural manipulations. SMP thus has the potential to dramatically improve our understanding of natural NHP behavior in a variety of contexts.

Nonhuman primates (NHPs) are indispensable animal models by virtue of the continuity of behavioral repertoires across primates, including humans. However, behavioral assessment at the laboratory level has so far been limited. Employing the application of three-dimensional (3D) pose estimation and the optimal integration of subsequent analytic methodologies, we demonstrate that our artificial intelligence (AI)-based approach has successfully deciphered the ethological, cognitive, and pathological traits of common marmosets from their natural behaviors. By applying multiple deep neural networks trained with large-scale datasets, we established an evaluation system that could reconstruct and estimate the 3D poses of the marmosets, a small NHP that is suitable for analyzing complex natural behaviors in laboratory setups. We further developed downstream analytic methodologies to quantify a variety of behavioral parameters beyond motion kinematics. We revealed the distinct parental roles of male and female marmosets through automated detections of food-sharing behaviors using a spatial-temporal filter on 3D poses. Employing a recurrent neural network to analyze 3D pose time series data during social interactions, we additionally discovered that marmosets adjusted their behaviors based on others' internal state, which is not directly observable but can be inferred from the sequence of others' actions. Moreover, a fully unsupervised approach enabled us to detect progressively appearing symptomatic behaviors over a year in a Parkinson's disease model. The high-throughput and versatile nature of an AI-driven approach to analyze natural behaviors will open a new avenue for neuroscience research dealing with big-data analyses of social and pathophysiological behaviors in NHPs.

Abstract To investigate molecular, genetic, and neural mechanisms underlying social behaviors and their deficits in neuropsychiatric disorders, social communication via ultrasonic vocalizations (USVs) in mice has received considerable attention as a powerful experimental model. The advances in sound localization technology have facilitated the analysis of vocal interactions between multiple mice. However, existing sound localization systems are built around distributed-microphone arrays, which require a special recording arena and long processing time. Here we report a novel acoustic camera system, USVCAM, which enables simpler and faster USV localization and assignment. The system comprises recently developed USV segmentation algorithms with a modification for overlapping vocalizations that results in high accuracy. Using USVCAM, we analyzed USV communications in a conventional home cage, and demonstrated novel vocal interactions in female ICR mice under a resident-intruder paradigm. The extended applicability and usability of USVCAM may facilitate future studies investigating normal and abnormal vocal communication and social behaviors, as well as the underlying physiological mechanisms.

Nonhuman primates (NHPs) are indispensable animal models by virtue of the continuity of behavioral repertoires across primates, including humans. However, assessment of behavioral actions at the laboratory level has so far been limited. By applying multiple deep-neural networks trained with large-scale datasets, we established an evaluation system that could reconstruct and estimate 3D poses of common marmosets, a small NHP that is suitable for analyzing complex natural behaviors in laboratory setups. We further developed downstream analytic methodologies to quantify a variety of behavioral parameters beyond simple motion kinematics, such as social interactions and internal state behind actions, obtained solely from 3D pose data. Moreover, a fully unsupervised analysis enabled us to detect progressively-appearing symptomatic behaviors over a year in a Parkinson9s disease model. The high-throughput and versatile nature of our analytic pipeline will open a new avenue for various neuroscience fields dealing with big-data analyses of social/pathophysiological behaviors in NHPs.