The binocular region of mouse visual cortex is strongly dominated by inputs from the contralateral eye. Here we show in adult mice that depriving the dominant contralateral eye of vision leads to a persistent, NMDA receptor-dependent enhancement of the weak ipsilateral-eye inputs. These data provide in vivo evidence for metaplasticity as a mechanism for binocular competition and demonstrate that an ocular dominance shift can occur solely by the mechanisms of response enhancement. They also show that adult mouse visual cortex has a far greater potential for experience-dependent plasticity than previously appreciated. These insights may force a revision in how data on ocular dominance plasticity in mutant mice have been interpreted.

Pose estimation algorithms are shedding new light on animal behavior and intelligence. Most existing models are only trained with labeled frames (supervised learning). Although effective in many cases, the fully supervised approach requires extensive image labeling, struggles to generalize to new videos, and produces noisy outputs that hinder downstream analyses. We address each of these limitations with a semi-supervised approach that leverages the spatiotemporal statistics of unlabeled videos in two different ways. First, we introduce unsupervised training objectives that penalize the network whenever its predictions violate smoothness of physical motion, multiple-view geometry, or depart from a low-dimensional subspace of plausible body configurations. Second, we design a new network architecture that predicts pose for a given frame using temporal context from surrounding unlabeled frames. These context frames help resolve brief occlusions or ambiguities between nearby and similar-looking body parts. The resulting pose estimation networks achieve better performance with fewer labels, generalize better to unseen videos, and provide smoother and more reliable pose trajectories for downstream analysis; for example, these improved pose trajectories exhibit stronger correlations with neural activity. We also propose a Bayesian post-processing approach based on deep ensembling and Kalman smoothing that further improves tracking accuracy and robustness. We release a deep learning package that adheres to industry best practices, supporting easy model development and accelerated training and prediction. Our package is accompanied by a cloud application that allows users to annotate data, train networks, and predict new videos at scale, directly from the browser.

Abstract Homeostatic (anti-Hebbian) forms of synaptic are effective at eliminating “prediction errors” that signal the differences between predicted and actual sensory input. However, such mechanisms appear to preclude the possibility of transmitting the resulting predictions to downstream circuits, severely limiting their utility. Using modeling and recordings from the electrosensory lobe of mormyrid fish, we reveal interactions between axonal and dendritic spikes that support both the learning and transmission of predictions. We find that sensory input modulates the rate of dendritic spikes by adjusting the amplitude of backpropagating axonal action potentials. Homeostatic plasticity counteracts these effects through changes in the underlying membrane potential, allowing the dendritic spike rate to be restored to equilibrium while simultaneously transmitting predictions through modulation of the axonal spike rate. These results reveal how two types of spikes dramatically enhance the computational power of single neurons in support of an ethologically relevant multi-layer computation.

SUMMARY The latency of spikes relative to a stimulus conveys sensory information across modalities. However, in most cases it remains unclear whether and how such latency codes are utilized by postsynaptic neurons. In the active electrosensory system of mormyrid fish, a latency code for stimulus amplitude in electroreceptor afferent nerve fibers (EAs) is hypothesized to be read out by a central reference provided by motor corollary discharge (CD). Here we demonstrate that CD enhances sensory responses in postsynaptic granular cells of the electrosensory lobe, but is not required for reading out EA input. Instead, diverse latency and spike count tuning across the EA population gives rise to graded information about stimulus amplitude that can be read out by standard integration of converging excitatory synaptic inputs. Inhibitory control over the temporal window of integration renders two granular cell subclasses differentially sensitive to information derived from relative spike latency versus spike count.

Abstract Nervous systems are hypothesized to learn and store internal models that predict the sensory consequences of motor actions. However, little is known about the neural mechanisms for generating accurate predictions under real-world conditions in which the sensory consequences of action depend on environmental context. Using novel methods for underwater neural recording in freely swimming electric fish, we demonstrate that complex movement-related input to the active electrosensory system is effectively cancelled, despite being highly-dependent on the nearby environment. Computational modeling and closed-loop electrophysiological experiments indicate that the cerebellum-like circuitry of the electrosensory lobe generates context-specific predictions of self-generated input by combining motor signals with electrosensory feedback. These results provide mechanistic insight into sophisticated internal models supporting natural behavior in freely moving animals. One-Sentence Summary Underwater recordings in electric fish reveal neural mechanisms for predicting the sensory consequences of behavior under natural conditions in freely moving animals.

A number of organisms, including dolphins, bats, and electric fish, possess sophisticated active sensory systems that use self-generated signals (e.g. acoustic or electrical emissions) to probe the environment1,2. Studies of active sensing in social groups have typically focused on strategies for minimizing interference from conspecific emissions2-4. However, it is well-known from engineering that multiple spatially distributed emitters and receivers can greatly enhance environmental sensing (e.g. multistatic radar and sonar)5-8. Here we provide evidence from modeling, neural recordings, and behavioral experiments that the African weakly electric fish Gnathonemus petersii utilizes the electrical pulses of conspecifics to extend electrolocation range, discriminate objects, and increase information transmission. These results suggest a novel, collective mode of active sensing in which individual perception is enhanced by the energy emissions of nearby group members.

To study the neural basis of behavior, we require methods to sensitively and accurately measure neural activity at single neuron and single spike resolution. Extracellular electrophysiology is a principal method for achieving this, but it has biases in the neurons it detects and it imperfectly resolves their action potentials. To overcome these limitations, we developed a silicon probe with significantly smaller and denser recording sites than previous designs, called Neuropixels Ultra (NP Ultra). This device measures neuronal activity at ultra-high densities (>1300 sites per mm, 10 times higher than previous probes), with 6 µm center-to-center spacing and low noise. This device effectively comprises an implantable voltage-sensing camera that captures a planar image of a neuron's electrical field. We introduce a new spike sorting algorithm optimized for these probes and use it to find that the yield of visually-responsive neurons in recordings from mouse visual cortex improves ∼3-fold. Recordings across multiple brain regions and four species revealed a subset of unexpectedly small extracellular action potentials not previously reported. Further experiments determined that, in visual cortex, these do not correspond to major subclasses of interneurons and instead likely reflect recordings from axons. Finally, using ground-truth identification of cortical inhibitory cell types with optotagging, we found that cell type was discriminable with approximately 75% success among three types, a significant improvement over lower-resolution recordings. NP Ultra improves spike sorting performance, sampling bias, and cell type classification.