Abstract Markerless 3D pose estimation has become an indispensable tool for kinematic studies of laboratory animals. Most current methods recover 3D pose by multi-view triangulation of deep network-based 2D pose estimates. However, triangulation requires multiple, synchronized cameras and elaborate calibration protocols that hinder its widespread adoption in laboratory studies. Here, we describe LiftPose3D, a deep network-based method that overcomes these barriers by reconstructing 3D poses from a single 2D camera view. We illustrate LiftPose3D’s versatility by applying it to multiple experimental systems using flies, mice, rats, and macaque monkeys and in circumstances where 3D triangulation is impractical or impossible. Our framework achieves accurate lifting for stereotyped and non-stereotyped behaviors from different camera angles. Thus, LiftPose3D permits high-quality 3D pose estimation in the absence of complex camera arrays, tedious calibration procedures, and despite occluded body parts in freely behaving animals.

Abstract Animal behavior emerges from a seamless interaction between neural network dynamics, musculoskeletal properties, and the physical environment. Accessing and understanding the interplay between these intertwined elements requires the development of integrative and morphologically realistic neuromechanical simulations. Until now, there has been no such simulation framework for the widely studied model organism, Drosophila melanogaster . Here we present NeuroMech-Fly, a data-driven model of the adult female fly within a physics-based simulation environment. NeuroMechFly combines a series of independent computational modules including a biomechanical exoskeleton with articulating body parts−legs, halteres, wings, abdominal segments, head, proboscis, and antennae−muscle models, and neural network controllers. To enable illustrative use cases, we first define minimal leg degrees-of-freedom by analyzing real 3D kinematic measurements during real Drosophila walking and grooming. Then, we show how, by replaying these behaviors using NeuroMechFly’s biomechanical exoskeleton in its physics-based simulation environment, one can predict otherwise unmeasured torques and contact reaction forces. Finally, we leverage NeuroMechFly’s full neuromechanical capacity to discover neural networks and muscle parameters that enable locomotor gaits optimized for speed and stability. Thus, NeuroMechFly represents a powerful testbed for building an understanding of how behaviors emerge from interactions between complex neuromechanical systems and their physical surroundings.

Abstract The dynamics and connectivity of neural circuits continuously change during an animal’s lifetime on timescales ranging from milliseconds to days. Therefore, to investigate how biological networks accomplish remarkable cognitive and behavioral tasks, minimally invasive methods are needed to perform repeated measurements, or perturbations of neural circuits in behaving animals across time. Such tools have been developed to investigate the brain but similar approaches are lacking for comprehensively and repeatedly recording motor circuits in behaving animals. Here we describe a suite of microfabricated technologies that enable long-term, minimally invasive optical recordings of the adult Drosophila melanogaster ventral nerve cord (VNC)—neural tissues that are functionally equivalent to the vertebrate spinal cord. These tools consist of (i) a manipulator arm that permits the insertion of (ii) a compliant implant into the thorax to expose the imaging region of interest; (iii) a numbered, transparent polymer window that encloses and provides optical access to the inside of the thorax, and (iv) a hinged remounting stage that allows gentle and repeated tethering of an implanted animal for two-photon imaging. We validate and illustrate the utility of our toolkit in several ways. First, we show that the thoracic implant and window have minimal impact on animal behavior and survival while also enabling neural recordings from individual animals across at least one month. Second, we follow the degradation of chordotonal organ mechanosensory nerve terminals in the VNC over weeks after leg amputation. Third, because our tools allow recordings of the VNC with the gut intact, we discover waves of neural population activity following ingestion of a high-concentration caffeine solution. In summary, our microfabricated toolkit makes it possible to longitudinally monitor anatomical and functional changes in premotor and motor neural circuits, and more generally opens up the long-term investigation of thoracic tissues.

Extracting the relationship between high-dimensional recordings of neural activity and complex behavior is a ubiquitous problem in systems neuroscience. Toward this goal, encoding and decoding models attempt to infer the conditional distribution of neural activity given behavior and vice versa, while dimensionality reduction techniques aim to extract interpretable low-dimensional representations. Variational autoencoders (VAEs) are flexible deep-learning models commonly used to infer low-dimensional embeddings of neural or behavioral data. However, it is challenging for VAEs to accurately model arbitrary conditional distributions, such as those encountered in neural encoding and decoding, and even more so simultaneously. Here, we present a VAE-based approach for accurately calculating such conditional distributions. We validate our approach on a task with known ground truth and demonstrate the applicability to high-dimensional behavioral time series by retrieving the conditional distributions over masked body parts of walking flies. Finally, we probabilistically decode motor trajectories from neural population activity in a monkey reach task and query the same VAE for the encoding distribution of neural activity given behavior. Our approach provides a unifying perspective on joint dimensionality reduction and learning conditional distributions of neural and behavioral data, which will allow for scaling common analyses in neuroscience to today's high-dimensional multi-modal datasets.