Comprehensive descriptions of animal behavior require precise three-dimensional (3D) measurements of whole-body movements. Although two-dimensional approaches can track visible landmarks in restrictive environments, performance drops in freely moving animals, due to occlusions and appearance changes. Therefore, we designed DANNCE to robustly track anatomical landmarks in 3D across species and behaviors. DANNCE uses projective geometry to construct inputs to a convolutional neural network that leverages learned 3D geometric reasoning. We trained and benchmarked DANNCE using a dataset of nearly seven million frames that relates color videos and rodent 3D poses. In rats and mice, DANNCE robustly tracked dozens of landmarks on the head, trunk, and limbs of freely moving animals in naturalistic settings. We extended DANNCE to datasets from rat pups, marmosets, and chickadees, and demonstrate quantitative profiling of behavioral lineage during development.

Haptic perception synthesizes touch with proprioception, or sense of body position. Humans and mice alike experience rich active touch of the face. Because most facial muscles lack proprioceptor endings, the sensory basis of facial proprioception remains unsolved. Facial proprioception may instead rely on mechanoreceptors that encode both touch and self-motion. In rodents, whisker mechanoreceptors provide a signal that informs the brain about whisker position. Whisking involves coordinated orofacial movements, so mechanoreceptors innervating facial regions other than whiskers could also provide information about whisking. To define all sources of sensory information about whisking available to the brain, we recorded spikes from mechanoreceptors innervating diverse parts of the face. Whisker motion was encoded best by whisker mechanoreceptors, but also by those innervating whisker pad hairy skin and supraorbital vibrissae. Redundant self-motion responses may provide the brain with a stable proprioceptive signal despite mechanical perturbations such as whisker growth and active touch.