A functional electrical stimulation system in primates that is controlled by recordings made from microelectrodes permanently implanted in the brain can be used to control the intensity of stimulation of muscles that are temporarily paralysed by pharmacological motor nerve blockade, thereby restoring voluntary control of the affected muscles; this is a major advance towards similar restoration of hand function in human patients with spinal cord injury. Functional electrical stimulation (FES) has been used to restore some control over hand movements in people who have suffered paralysis after a spinal-cord injury. It relies on residual movement or muscle activity to control electrical activation of the hand muscles. Current FES systems require pre-programmed information customized for an individual, and only limited grasping movements are possible. This paper reports a potential strategy for overcoming paralysis, involving the rerouting of cortical control signals directly to the muscles through a brain–machine interface. Monkeys whose arms were temporarily paralysed with anaesthetics learned to use the prosthetic to activate multiple muscles in a coordinated manner to grasp and manipulate objects. The system uses data recorded from neurons in the motor cortex to predict the intended activity of the paralysed muscles when carrying out the same task. Voluntary control of the paralysed muscles was induced by stimulating up to five electrodes in the identified muscles, in effect bypassing the monkey's spinal cord. The hope is that in humans, this type of neuroprosthesis might allow much more flexible and dexterous use of the hand than is possible with existing FES systems. Patients with spinal cord injury lack the connections between brain and spinal cord circuits that are essential for voluntary movement. Clinical systems that achieve muscle contraction through functional electrical stimulation (FES) have proven to be effective in allowing patients with tetraplegia to regain control of hand movements and to achieve a greater measure of independence in daily activities1,2. In existing clinical systems, the patient uses residual proximal limb movements to trigger pre-programmed stimulation that causes the paralysed muscles to contract, allowing use of one or two basic grasps. Instead, we have developed an FES system in primates that is controlled by recordings made from microelectrodes permanently implanted in the brain. We simulated some of the effects of the paralysis caused by C5 or C6 spinal cord injury3 by injecting rhesus monkeys with a local anaesthetic to block the median and ulnar nerves at the elbow. Then, using recordings from approximately 100 neurons in the motor cortex, we predicted the intended activity of several of the paralysed muscles, and used these predictions to control the intensity of stimulation of the same muscles. This process essentially bypassed the spinal cord, restoring to the monkeys voluntary control of their paralysed muscles. This achievement is a major advance towards similar restoration of hand function in human patients through brain-controlled FES. We anticipate that in human patients, this neuroprosthesis would allow much more flexible and dexterous use of the hand than is possible with existing FES systems.

Animals readily execute learned behaviors in a consistent manner over long periods of time, and yet no equally stable neural correlate has been demonstrated. How does the cortex achieve this stable control? Using the sensorimotor system as a model of cortical processing, we investigated the hypothesis that the dynamics of neural latent activity, which captures the dominant co-variation patterns within the neural population, must be preserved across time. We recorded from populations of neurons in premotor, primary motor and somatosensory cortices as monkeys performed a reaching task, for up to 2 years. Intriguingly, despite a steady turnover in the recorded neurons, the low-dimensional latent dynamics remained stable. The stability allowed reliable decoding of behavioral features for the entire timespan, while fixed decoders based directly on the recorded neural activity degraded substantially. We posit that stable latent cortical dynamics within the manifold are the fundamental building blocks underlying consistent behavioral execution. Gallego, Perich et al. report that latent dynamics in the neural manifold across three cortical areas are stable throughout years of consistent behavior. The authors posit that these dynamics are fundamental building blocks of learned behavior.

Populations of cortical neurons flexibly perform different functions; for the primary motor cortex (M1) this means a rich repertoire of motor behaviors. We investigate the flexibility of M1 movement control by analyzing neural population activity during a variety of skilled wrist and reach-to-grasp tasks. We compare across tasks the neural modes that capture dominant neural covariance patterns during each task. While each task requires different patterns of muscle and single unit activity, we find unexpected similarities at the neural population level: the structure and activity of the neural modes is largely preserved across tasks. Furthermore, we find two sets of neural modes with task-independent activity that capture, respectively, generic temporal features of the set of tasks and a task-independent mapping onto muscle activity. This system of flexibly combined, well-preserved neural modes may underlie the ability of M1 to learn and generate a wide-ranging behavioral repertoire.

Abstract Large-scale recordings of neural activity are providing new opportunities to study network-level dynamics. However, the sheer volume of data and its dynamical complexity are critical barriers to uncovering and interpreting these dynamics. Deep learning methods are a promising approach due to their ability to uncover meaningful relationships from large, complex, and noisy datasets. When applied to high-D spiking data from motor cortex (M1) during stereotyped behaviors, they offer improvements in the ability to uncover dynamics and their relation to subjects’ behaviors on a millisecond timescale. However, applying such methods to less-structured behaviors, or in brain areas that are not well-modeled by autonomous dynamics, is far more challenging, because deep learning methods often require careful hand-tuning of complex model hyperparameters (HPs). Here we demonstrate AutoLFADS, a large-scale, automated model-tuning framework that can characterize dynamics in diverse brain areas without regard to behavior. AutoLFADS uses distributed computing to train dozens of models simultaneously while using evolutionary algorithms to tune HPs in a completely unsupervised way. This enables accurate inference of dynamics out-of-the-box on a variety of datasets, including data from M1 during stereotyped and free-paced reaching, somatosensory cortex during reaching with perturbations, and frontal cortex during cognitive timing tasks. We present a cloud software package and comprehensive tutorials that enable new users to apply the method without needing dedicated computing resources.

Abstract Intracortical brain-computer interfaces (iBCIs) restore motor function to people with paralysis by translating brain activity into control signals for external devices. In current iBCIs, instabilities at the neural interface result in a degradation of decoding performance, which necessitates frequent supervised recalibration using new labeled data. One potential solution is to use the latent manifold structure that underlies neural population activity to facilitate a stable mapping between brain activity and behavior. Recent efforts using unsupervised approaches have improved iBCI stability using this principle; however, existing methods treat each time step as an independent sample and do not account for latent dynamics. Dynamics have been used to enable high performance prediction of movement intention, and may also help improve stabilization. Here, we present a platform for Nonlinear Manifold Alignment with Dynamics (NoMAD), which stabilizes iBCI decoding using recurrent neural network models of dynamics. NoMAD uses unsupervised distribution alignment to update the mapping of nonstationary neural data to a consistent set of neural dynamics, thereby providing stable input to the iBCI decoder. In applications to data from monkey motor cortex collected during motor tasks, NoMAD enables accurate behavioral decoding with unparalleled stability over weeks-to months-long timescales without any supervised recalibration.

Animals of the same species exhibit similar behaviours that are advantageously adapted to their body and environment. These behaviours are shaped at the species level by selection pressures over evolutionary timescales. Yet, it remains unclear how these common behavioural adaptations emerge from the idiosyncratic neural circuitry of each individual. The overall organization of neural circuits is preserved across individuals1 because of their common evolutionarily specified developmental programme2-4. Such organization at the circuit level may constrain neural activity5-8, leading to low-dimensional latent dynamics across the neural population9-11. Accordingly, here we suggested that the shared circuit-level constraints within a species would lead to suitably preserved latent dynamics across individuals. We analysed recordings of neural populations from monkey and mouse motor cortex to demonstrate that neural dynamics in individuals from the same species are surprisingly preserved when they perform similar behaviour. Neural population dynamics were also preserved when animals consciously planned future movements without overt behaviour12 and enabled the decoding of planned and ongoing movement across different individuals. Furthermore, we found that preserved neural dynamics extend beyond cortical regions to the dorsal striatum, an evolutionarily older structure13,14. Finally, we used neural network models to demonstrate that behavioural similarity is necessary but not sufficient for this preservation. We posit that these emergent dynamics result from evolutionary constraints on brain development and thus reflect fundamental properties of the neural basis of behaviour.

Abstract Long-term learning of language, mathematics, and motor skills likely requires plastic changes in the cortex, but behavior often requires faster changes, sometimes based even on single errors. Here, we show evidence of one mechanism by which the brain can rapidly develop new motor output, seemingly without altering the functional connectivity between or within cortical areas. We recorded simultaneously from hundreds of neurons in the premotor (PMd) and primary motor (M1) cortices, and computed models relating these neural populations throughout adaptation to reaching movement perturbations. We found a signature of learning in the “null subspace” of PMd with respect to M1. Earlier experiments have shown that null subspace activity allows the motor cortex to alter preparatory activity without directly influencing M1. In our experiments, the null subspace planning activity evolved with the adaptation, yet the “potent” mapping that captures information sent to M1 was preserved. Our results illustrate a population-level mechanism within the motor cortices to adjust the output from one brain area to its downstream structures that could be exploited throughout the brain for rapid, online behavioral adaptation.

The authors have withdrawn their manuscript owing to an error identified in the data processing pipeline. Therefore, the authors do not wish this work to be cited as reference for the project. If you have any questions, please contact the corresponding author.

Abstract Existing intracortical brain computer interfaces (iBCIs) transform neural activity into control signals capable of restoring movement to persons with paralysis. However, the accuracy of the “decoder” at the heart of the iBCI typically degrades over time due to turnover of recorded neurons. To compensate, decoders can be recalibrated, but this requires the user to spend extra time and effort to provide the necessary data, then learn the new dynamics. As the recorded neurons change, one can think of the underlying movement intent signal being expressed in changing coordinates. If a mapping can be computed between the different coordinate systems, it may be possible to stabilize the original decoder’s mapping from brain to behavior without recalibration. We previously proposed a method based on Generalized Adversarial Networks (GANs), called “Adversarial Domain Adaptation Network” (ADAN), which aligns the distributions of latent signals within underlying low-dimensional neural manifolds. However, ADAN was tested on only a very limited dataset. Here we propose a method based on Cycle-Consistent Adversarial Networks (Cycle-GAN), which aligns the distributions of the full-dimensional neural recordings. We tested both Cycle-GAN and ADAN on data from multiple monkeys and behaviors and compared them to a linear method based on Procrustes Alignment of axes provided by Factor Analysis (PAF). Both GAN-based methods outperformed PAF. Cycle-GAN and ADAN (like PAF) are unsupervised and require little data, making them practical in real life. Overall, Cycle-GAN had the best performance and was easier to train and more robust than ADAN, making it ideal for stabilizing iBCI systems over time. Significance Statement The inherent instabilities in the neural signals acquired by intracortical microelectrode arrays cause the performance of an intracortical brain computer interface (iBCI) decoder to drop over time, as the movement intent signal must essentially be recorded from neurons representing an ever-changing coordinate system. Here, we address this problem using Generative Adversarial Networks (GANs) to align these coordinates and compare their success to another, recently proposed linear method that uses Factor Analysis and Procrustes alignment. Our proposed methods are fully unsupervised, can be trained quickly, and require remarkably little new data. These methods should give iBCI users access to decoders with unchanging dynamics, and without the need for periodic supervised recalibration.