Abstract The desire to understand how the brain generates and patterns behavior has driven rapid methodological innovation in tools to quantify natural animal behavior. While advances in deep learning and computer vision have enabled markerless pose estimation in individual animals, extending these to multiple animals presents unique challenges for studies of social behaviors or animals in their natural environments. Here we present Social LEAP Estimates Animal Poses (SLEAP), a machine learning system for multi-animal pose tracking. This system enables versatile workflows for data labeling, model training and inference on previously unseen data. SLEAP features an accessible graphical user interface, a standardized data model, a reproducible configuration system, over 30 model architectures, two approaches to part grouping and two approaches to identity tracking. We applied SLEAP to seven datasets across flies, bees, mice and gerbils to systematically evaluate each approach and architecture, and we compare it with other existing approaches. SLEAP achieves greater accuracy and speeds of more than 800 frames per second, with latencies of less than 3.5 ms at full 1,024 × 1,024 image resolution. This makes SLEAP usable for real-time applications, which we demonstrate by controlling the behavior of one animal on the basis of the tracking and detection of social interactions with another animal.

As the important factors in cognitive function, dietary habits and metal exposures are interactive with each other. However, fewer studies have investigated the interaction effect of them on cognitive dysfunction in older adults. 2,445 registered citizens aged 60–85 years from 51 community health centers in Luohu District, Shenzhen, were recruited in this study based on the Chinese older adult cohort. All subjects underwent physical examination and Mini-cognitive assessment scale. A semi quantitative food frequency questionnaire was used to obtain their food intake frequency, and 21 metal concentrations in their urine were measured. Elastic-net regression model, a machine learning technique, identified six variables that were significantly associated with cognitive dysfunction in older adults. These variables included education level, gender, urinary concentration of arsenic (As) and cadmium (Cd), and the frequency of monthly intake of egg and bean products. After adjusting for multiple factors, As and Cd concentrations were positively associated with increased risk of mild cognitive impairment (MCI) in the older people, with OR values of 1.19 (95% CI: 1.05–1.42) and 1.32 (95% CI: 1.01–1.74), respectively. In addition, older adults with high frequency of egg intake (≥30 times/month) and bean products intake (≥8 times/month) had a reduced risk of MCI than those with low protein egg intake (<30 times/month) and low bean products intake (<8 times/month), respectively. Furthermore, additive interaction were observed between the As exposure and egg products intake, as well as bean products. Cd exposure also showed additive interactions with egg and bean products intake. The consumption of eggs and bean products, as well as the levels of exposure to the heavy metals Cd and As, have been shown to have a substantial influence on cognitive impairment in the elderly population.

Measuring naturalistic behaviors in laboratory settings is difficult, and this hinders progress in understanding decision-making in response to ecologically-relevant stimuli. In the wild, many animals manipulate their environment to create architectural constructions, which represent a type of extended phenotype affecting survival and/or reproduction, and these behaviors are excellent models of goal-directed decision-making. Here, we describe an automated system for measuring bower construction in Lake Malawi cichlid fishes, whereby males construct sand structures to attract mates through the accumulated actions of thousands of individual sand manipulation decisions over the course of many days. The system integrates two orthogonal methods, depth sensing and action recognition, to simultaneously measure the developing bower structure and classify the sand manipulation decisions through which it is constructed. We show that action recognition accurately (>85%) classifies ten sand manipulation behaviors across three different species and distinguishes between scooping and spitting events that occur during bower construction versus feeding. Registration of depth and video data streams enables topographical mapping of these behaviors onto a dynamic 3D sand surface. The hardware required for this setup is inexpensive (<$250 per setup), allowing for the simultaneous recording from many independent aquariums. We further show that bower construction behaviors are non-uniform in time, non-uniform in space, and spatially repeatable across trials. We also quantify a unique behavioral phenotype in interspecies hybrids, wherein males sequentially express both phenotypes of behaviorally-divergent parental species. Our work demonstrates that simultaneously tracking both structure and behavior provides an integrated picture of long-term goal-directed decision-making in a naturalistic, dynamic, and social environment.

Abstract The desire to understand how the brain generates and patterns behavior has driven rapid methodological innovation to quantify and model natural animal behavior. This has led to important advances in deep learning-based markerless pose estimation that have been enabled in part by the success of deep learning for computer vision applications. Here we present SLEAP (Social LEAP Estimates Animal Poses), a framework for multi-animal pose tracking via deep learning. This system is capable of simultaneously tracking any number of animals during social interactions and across a variety of experimental conditions. SLEAP implements several complementary approaches for dealing with the problems inherent in moving from single-to multi-animal pose tracking, including configurable neural network architectures, inference techniques, and tracking algorithms, enabling easy specialization and tuning for particular experimental conditions or performance requirements. We report results on multiple datasets of socially interacting animals (flies, bees, and mice) and describe how dataset-specific properties can be leveraged to determine the best configuration of SLEAP models. Using a high accuracy model (<2.8 px error on 95% of points), we were able to track two animals from full size 1024 × 1024 pixel frames at up to 320 FPS. The SLEAP framework comes with a sophisticated graphical user interface, multi-platform support, Colab-based GPU-free training and inference, and complete tutorials available, in addition to the datasets, at sleap.ai .