Abstract Neuroscience has long been an essential driver of progress in artificial intelligence (AI). We propose that to accelerate progress in AI, we must invest in fundamental research in NeuroAI. A core component of this is the embodied Turing test, which challenges AI animal models to interact with the sensorimotor world at skill levels akin to their living counterparts. The embodied Turing test shifts the focus from those capabilities like game playing and language that are especially well-developed or uniquely human to those capabilities – inherited from over 500 million years of evolution – that are shared with all animals. Building models that can pass the embodied Turing test will provide a roadmap for the next generation of AI.

Neuroscience has long been an essential driver of progress in artificial intelligence (AI). We propose that to accelerate progress in AI, we must invest in fundamental research in NeuroAI. A core component of this is the embodied Turing test, which challenges AI animal models to interact with the sensorimotor world at skill levels akin to their living counterparts. The embodied Turing test shifts the focus from those capabilities like game playing and language that are especially well-developed or uniquely human to those capabilities, inherited from over 500 million years of evolution, that are shared with all animals. Building models that can pass the embodied Turing test will provide a roadmap for the next generation of AI.

ABSTRACT Across many brain areas, neural population activity appears to be constrained to a low-dimensional manifold within a neural state space of considerably higher dimension. Recent studies of the primary motor cortex (M1) suggest that the activity within the low-dimensional manifold, rather than the activity of individual neurons, underlies the computations required for planning and executing movements. To date, these studies have been limited to data obtained in constrained laboratory settings where monkeys executed repeated, stereotyped tasks. An open question is whether the observed low dimensionality of the neural manifolds is due to these constraints; the dimensionality of M1 activity during the execution of more natural and unconstrained movements, like walking and picking food, remains unknown. We have now found similarly low-dimensional manifolds associated with various unconstrained natural behaviors, with dimensionality only slightly higher than those associated with constrained laboratory behaviors. To quantify the extent to which these low-dimensional manifolds carry task-relevant information, we built task-specific linear decoders that predicted EMG activity from M1 manifold activity. In both settings, decoding performance based on activity within the estimated low-dimensional manifold was the same as decoding performance based on the activity of all recorded neurons. These results establish functional links between task-specific manifolds and motor behaviors, and highlight that both constrained and unconstrained behaviors are associated with low-dimensional M1 manifolds.

Abstract It is generally accepted that the number of neurons in a given brain area far exceeds the information that area encodes. For example, motor areas of the human brain contain tens of millions of neurons that control the activation of tens or at most hundreds of muscles. This massive redundancy implies the covariation of many neurons, which constrains the population activity to a low-dimensional manifold within the space of all possible patterns of neural activity. To gain a conceptual understanding of the complexity of the neural activity within a manifold, it is useful to estimate its dimensionality, which quantifies the number of degrees of freedom required to describe the observed population activity without significant information loss. While there are many algorithms for dimensionality estimation, we do not know which are well suited for analyzing neural activity. The objective of this study was to evaluate the efficacy of several representative algorithms for estimating linearly and nonlinearly embedded data. We generated synthetic neural recordings with known intrinsic dimensionality and used them to test the algorithms’ accuracy and robustness. We emulated some of the important challenges associated with experimental data by adding noise, altering the nature of the embedding from the low-dimensional manifold to the high-dimensional recordings, varying the dimensionality of the manifold, and limiting the amount of available data. We demonstrated that linear algorithms overestimate the dimensionality of nonlinear, noise-free data. In cases of high noise, most algorithms overestimated dimensionality. We thus developed a denoising algorithm based on deep learning, the “Joint Autoencoder”, which significantly improved subsequent dimensionality estimation. Critically, we found that all algorithms failed when the dimensionality was high (above 20) or when the amount of data used for estimation was low. Based on the challenges we observed, we formulated a pipeline for estimating the dimensionality of experimental neural data. Author Summary The number of neurons that we can record from has increased exponentially for decades; today we can simultaneously record from thousands of neurons. However, the individual firing rates are highly redundant. One approach to identifying important features from redundant data is to estimate the dimensionality of the neural recordings, which represents the number of degrees of freedom required to describe the data without significant information loss. Better understanding of dimensionality may also uncover the mechanisms of computation within a neural circuit. Circuits carrying out complex computations might be higher-dimensional than those carrying out simpler computations. Typically, studies have quantified neural dimensionality using one of several available methods despite a lack of consensus on which method would be most appropriate for neural data. In this work, we used several methods to investigate the accuracy of simulated neural data with properties mimicking those of actual neural recordings. Based on these results, we devised an analysis pipeline to estimate the dimensionality of neural recordings. Our work will allow scientists to extract informative features from a large number of highly redundant neurons, as well as quantify the complexity of information encoded by these neurons.

ABSTRACT Intracortical brain-computer interfaces (iBCIs) enable paralyzed persons to generate movement, but current methods require large amounts of both neural and movement-related data to be collected from the iBCI user for supervised decoder training. We hypothesized that the low-dimensional latent neural representations of motor behavior, known to be preserved across time, might also be preserved across individuals, and allow us to circumvent this problem. We trained a decoder to predict the electromyographic (EMG) activity for a “source” monkey from the latent signals of motor cortex. We then used Canonical Correlation Analysis to align the latent signals of a “target” monkey to those of the source. These decoders were as accurate across monkeys as they were across sessions for a given monkey. Remarkably, the same process with latent signals from a human participant with tetraplegia was within 90% of the with-monkey decoding across session accuracy. Our findings suggest that consistent representations of motor activity exist across animals and even species. Discovering this common representation is a crucial first step in designing iBCI decoders that perform well without large amounts of data and supervised subject-specific tuning.

To reveal the full representational capabilities of sensory neurons, it is essential to observe their responses to complex stimuli. In the rodent vibrissal system, mechanical information at the whisker base drives responses of primary sensory neurons in the trigeminal ganglion (Vg). Studies of how Vg neurons encode stimulus properties are typically limited to 2D analyses and restricted stimulus sets. Here we record from Vg neurons during 3D stimulation while quantifying the complete 3D whisker shape and mechanics. Results show that individual Vg neurons simultaneously represent multiple mechanical features of the stimulus, do not preferentially encode principal components of the stimuli, and represent continuous and tiled variations of all available mechanical information. As a population, the neurons span a continuum of rapid and slow adaptation properties; a binary distinction between these adaptation classes is oversimplified. These results contrast with proposed codes in which Vg neurons segregate into functional classes.

Abstract Natural scenes statistics have been studied extensively using collections of natural images and sound recordings. These studies have yielded important insights about how the brain might exploit regularities and redundancies in visual and auditory stimuli. In contrast, natural scenes for somatosensation have remained largely unexplored. Here we use three-dimensional scans of natural and human-made objects to quantify natural scene statistics at the scale of the human fingertip. Using measurements of distance, slope, and curvature from the object surfaces, we show that the first order statistics follow similar trends as have been observed for images of natural and human-made environments. In addition, independent component analysis of curvature measurements reveals Gabor-like basis vectors similar to those found in natural images. A simple neural model using these filters showed responses that accurately capture the statistics of responses in primate primary somatosensory cortex.

How do populations of cortical neurons have the flexibility to perform different functions? We investigated this question in primary motor cortex (M1), where populations of neurons are able to generate a rich repertoire of motor behaviors. We recorded neural activity while monkeys performed a variety of wrist and reach-to-grasp motor tasks, each requiring a different pattern of neural activity. We characterized the flexibility of M1 movement control by comparing the "neural modes" that capture covariation across neurons, believed to arise from network connectivity. We found large similarities in the structure of the neural modes across tasks, as well as striking similarities in their temporal activation dynamics. These similarities were only apparent at the population level. Moreover, a subset of these well-preserved modes captured a task-independent mapping onto muscle commands. We hypothesize that this system of flexibly combined, stable neural modes gives M1 the flexibility to generate our wide-ranging behavioral repertoire.

Learning to execute precise, yet complex, motor actions through practice is a trait shared by most organisms. Here we develop a novel experimental approach for the comprehensive investigation and characterization of the learning dynamics of practiced motion. Following the dynamical systems framework, we consider a high-dimensional behavioral space in which a trial-by-trial sequence of motor outputs defines a trajectory that converges to a fixed point - the desired motor output. In this scenario, details of the internal dynamics and the trial-by-trial learning mechanism cannot be disentangled from behavioral noise for nonlinear systems or even well estimated for linear systems with many parameters. To overcome this problem, we introduce a novel approach: the sporadic application of systematic target perturbations that span the behavioral space and allow us to estimate the linearized dynamics in the vicinity of the fixed point. The steady-state Lyapunov equation then allows us to identify the noise covariance. We illustrate the method by analyzing sequence-generating neural networks with either intrinsic or extrinsic noise, at time resolutions that span from spike timing to spiking rates. We demonstrate the utility of our approach in experimentally plausible and realizable settings and show that this method can fully characterize the linearized between-trials learning dynamics as well as extract meaningful internal properties of the unknown mechanism that drives the motor output within each trial. We then illustrate how the approach can be extended to nonlinear learning dynamics through a flexible choice of the basis and magnitude of perturbations. Significance statement Movement control ties brain activity to measurable external actions in real time, providing a useful tool for both neuroscientists interested in the emergence of stable behavior and biomedical engineers interested in the design of neural prosthesis and brain-machine interfaces. We approach the question of motor skill learning by introducing artificial errors through a novel perturbative scheme amenable to analytic examination in the linearized regime close to the desired behavior. Numerical simulations then demonstrate how to probe the learning dynamics in both linear and nonlinear systems. These findings stress the usefulness of analyzing responses to deliberately induced errors and the importance of properly designing such perturbation experiments. Our approach provides a novel generic tool for monitoring the acquisition of motor skills.

Animals readily execute learned motor behaviors in a consistent manner over long periods of time, yet similarly stable neural correlates remained elusive up to now. How does the cortex achieve this stable control? Using the sensorimotor system as a model of cortical processing, we investigated the hypothesis that the dynamics of neural latent activity, which capture the dominant co-variation patterns within the neural population, are preserved across time. We recorded from populations of neurons in premotor, primary motor, and somatosensory cortices for up to two years as monkeys performed a reaching task. Intriguingly, despite steady turnover in the recorded neurons, the low-dimensional latent dynamics remained stable. Such stability allowed reliable decoding of behavioral features for the entire timespan, while fixed decoders based on the recorded neural activity degraded substantially. We posit that latent cortical dynamics within the manifold are the fundamental and stable building blocks underlying consistent behavioral execution.