Abstract Perceptions, thoughts and actions unfold over millisecond timescales, while learned behaviors can require many days to mature. While recent experimental advances enable large-scale and long-term neural recordings with high temporal fidelity, it remains a formidable challenge to extract unbiased and interpretable descriptions of how rapid single-trial circuit dynamics change slowly over many trials to mediate learning. We demonstrate a simple tensor components analysis (TCA) can meet this challenge by extracting three interconnected low dimensional descriptions of neural data: neuron factors , reflecting cell assemblies; temporal factors , reflecting rapid circuit dynamics mediating perceptions, thoughts, and actions within each trial; and trial factors , describing both long-term learning and trial-to-trial changes in cognitive state. We demonstrate the broad applicability of TCA by revealing insights into diverse datasets derived from artificial neural networks, large-scale calcium imaging of rodent prefrontal cortex during maze navigation, and multielectrode recordings of macaque motor cortex during brain machine interface learning.

Abstract Calcium imaging has rapidly developed into a powerful tool for recording from large populations of neurons in vivo . Imaging in rhesus macaque motor cortex can enable the discovery of new principles of motor cortical function and can inform the design of next generation brain-computer interfaces (BCIs). Surface two-photon (2P) imaging, however, cannot presently access somatic calcium signals of neurons from all layers of macaque motor cortex due to photon scattering. Here, we demonstrate an implant and imaging system capable of chronic, motion-stabilized two-photon (2P) imaging of calcium signals from in macaques engaged in a motor task. By imaging apical dendrites, some of which originated from deep layer 5 neurons, as as well as superficial cell bodies, we achieved optical access to large populations of deep and superficial cortical neurons across dorsal premotor (PMd) and gyral primary motor (M1) cortices. Dendritic signals from individual neurons displayed tuning for different directions of arm movement, which was stable across many weeks. Combining several technical advances, we developed an optical BCI (oBCI) driven by these dendritic signals and successfully decoded movement direction online. By fusing 2P functional imaging with CLARITY volumetric imaging, we verify that an imaged dendrite, which contributed to oBCI decoding, originated from a putative Betz cell in motor cortical layer 5. This approach establishes new opportunities for studying motor control and designing BCIs.

Neuroscience is experiencing a data revolution in which simultaneous recording of many hundreds or thousands of neurons is revealing structure in population activity that is not apparent from single-neuron responses. This structure is typically extracted from trial-averaged data. Single-trial analyses are challenging due to incomplete sampling of the neural population, trial-to-trial variability, and fluctuations in action potential timing. Here we introduce Latent Factor Analysis via Dynamical Systems (LFADS), a deep learning method to infer latent dynamics from single-trial neural spiking data. LFADS uses a nonlinear dynamical system (a recurrent neural network) to infer the dynamics underlying observed population activity and to extract ‘de-noised’ single-trial firing rates from neural spiking data. We apply LFADS to a variety of monkey and human motor cortical datasets, demonstrating its ability to predict observed behavioral variables with unprecedented accuracy, extract precise estimates of neural dynamics on single trials, infer perturbations to those dynamics that correlate with behavioral choices, and combine data from non-overlapping recording sessions (spanning months) to improve inference of underlying dynamics. In summary, LFADS leverages all observations of a neural population's activity to accurately model its dynamics on single trials, opening the door to a detailed understanding of the role of dynamics in performing computation and ultimately driving behavior.

Abstract How are we able to learn new behaviors without disrupting previously learned ones? To understand how the brain achieves this, we used a brain-computer interface (BCI) learning paradigm, which enables us to detect the presence of a memory of one behavior while performing another. We found that learning to use a new BCI map altered the neural activity that monkeys produced when they returned to using a familiar BCI map, in a way that was specific to the learning experience. That is, learning left a “memory trace.” This memory trace co-existed with proficient performance under the familiar map, primarily by altering dimensions of neural activity that did not impact behavior. Such a memory trace could provide the neural underpinning for the joint learning of multiple motor behaviors without interference.

Animals have a remarkable capacity to learn new motor skills, but it remains an open question as to how learning changes neural population dynamics underlying movement. Specifically, we asked whether changes in neural population dynamics relate purely to newly learned movements or if additional patterns are generated that facilitate learning without matching motor output. We trained rhesus monkeys to learn a curl force field task that elicited new arm-movement kinetics for some but not all reach directions. We found that along certain neural dimensions, preparatory activity in motor cortex reassociated existing activity patterns with new movements. These systematic changes were observed only for learning-altered reaches. Surprisingly, we also found prominent shifts of preparatory activity along a nearly orthogonal neural dimension. These changes in preparatory activity were observed uniformly for all reaches including those unaltered by learning. This uniform shift during learning implies formation of new neural activity patterns, which was not observed in other short-term learning contexts. During a washout period when the curl field was removed, movement kinetics gradually reverted, but the learning-induced uniform shift of preparatory activity persisted and a second, orthogonal uniform shift occurred. This persistent shift may retain a motor memory of the learned field, consistent with faster relearning of the same curl field observed behaviorally and neurally. When multiple different curl fields were learned sequentially, we found distinct uniform shifts, each reflecting the identity of the field applied and potentially separating the associated motor memories. The neural geometry of these shifts in preparatory activity could serve to organize skill-specific changes in movement production, facilitating the acquisition and retention of a broad motor repertoire.

Though the temporal precision of neural computation has been studied intensively, a data-driven determination of this precision remains a fundamental challenge. Reproducible spike time patterns may be obscured on single trials by uncontrolled temporal variability in behavior and cognition, or may not even be time locked to measurable signatures in either behavior or local field potentials (LFP). To overcome these challenges, we describe a general-purpose time warping framework that reveals precise spike-time patterns in an unsupervised manner, even when spiking is decoupled from behavior or is temporally stretched across single trials. We demonstrate this method across diverse systems: cued reaching in nonhuman primates, motor sequence production in rats, and olfaction in mice. This approach flexibly uncovers diverse dynamical firing patterns, including pulsatile responses to behavioral events, LFP-aligned oscillatory spiking, and even unanticipated patterns, like 7 Hz oscillations in rat motor cortex that are not time-locked to measured behaviors or LFP.

In dynamic environments, subjects often integrate multiple samples of a signal and combine them to reach a categorical judgment. The process of deliberation on the evidence can be described by a time-varying decision variable (DV), decoded from neural activity, that predicts a subject's decision at the end of a trial. However, within trials, large moment-to-moment fluctuations of the DV are observed. The behavioral significance of these fluctuations and their role in the decision process remain unclear. Here we show that within-trial DV fluctuations decoded in real time from motor cortex are tightly linked to choice behavior, and that robust changes in DV sign have the statistical regularities expected from behavioral studies of changes-of-mind. Furthermore, we find single-trial evidence for absorbing decision bounds. As the DV builds up, heavily favoring one or the other choice, moment-to-moment variability in the DV is reduced, and both neural DV and behavioral decisions become resistant to additional pulses of sensory evidence as predicted by diffusion-to-bound and attractor models of the decision process.

A central goal of systems neuroscience is to relate an organism's neural activity to behavior. Neural population analysis often begins by reducing the dimensionality of the data to focus on the patterns most relevant to a given task. A major practical hurdle to data analysis is spike sorting, and this problem is growing rapidly as the number of neurons measured increases. Here, we investigate whether spike sorting is necessary to estimate neural dynamics. The theory of random projections suggests that we can accurately estimate the geometry of low-dimensional manifolds from a small number of linear projections of the data. We re-analyzed data from three previous studies and found that neural dynamics and scientific conclusions are quite similar using multi-unit threshold crossings in place of sorted neurons. This finding unlocks existing data for new analyses and informs the design and use of new electrode arrays for laboratory and clinical use.

Abstract Internal states such as arousal, attention, and motivation are known to modulate brain-wide neural activity, but how these processes interact with learning is not well understood. During learning, the brain must modify the neural activity it produces to improve behavioral performance. How do internal states affect the evolution of this learning process? Using a brain-computer interface (BCI) learning paradigm in non-human primates, we identified large fluctuations in neural population activity in motor cortex (M1) indicative of arousal-like internal state changes. These fluctuations drove population activity along dimensions we term neural engagement axes. Neural engagement increased abruptly at the start of learning, and then gradually retreated. In a BCI, the causal relationship between neural activity and behavior is known. This allowed us to understand how these changes impacted behavioral performance for different task goals. We found that neural engagement interacted with learning, helping to explain why animals learned some task goals more quickly than others.

In many experiments, neuroscientists tightly control behavior, record many trials, and obtain trial-averaged firing rates from hundreds of neurons in circuits containing billions of behaviorally relevant neurons. Dimensionality reduction methods reveal a striking simplicity underlying such multi-neuronal data: they can be reduced to a low-dimensional space, and the resulting neural trajectories in this space yield a remarkably insightful dynamical portrait of circuit computation. This simplicity raises profound and timely conceptual questions. What are its origins and its implications for the complexity of neural dynamics? How would the situation change if we recorded more neurons? When, if at all, can we trust dynamical portraits obtained from measuring an infinitesimal fraction of task relevant neurons? We present a theory that answers these questions, and test it using physiological recordings from reaching monkeys. This theory reveals conceptual insights into how task complexity governs both neural dimensionality and accurate recovery of dynamic portraits, thereby providing quantitative guidelines for future large-scale experimental design.