We present a model of spike-driven synaptic plasticity inspired by experimental observations and motivated by the desire to build an electronic hardware device that can learn to classify complex stimuli in a semisupervised fashion. During training, patterns of activity are sequentially imposed on the input neurons, and an additional instructor signal drives the output neurons toward the desired activity. The network is made of integrate-and-fire neurons with constant leak and a floor. The synapses are bistable, and they are modified by the arrival of presynaptic spikes. The sign of the change is determined by both the depolarization and the state of a variable that integrates the postsynaptic action potentials. Following the training phase, the instructor signal is removed, and the output neurons are driven purely by the activity of the input neurons weighted by the plastic synapses. In the absence of stimulation, the synapses preserve their internal state indefinitely. Memories are also very robust to the disruptive action of spontaneous activity. A network of 2000 input neurons is shown to be able to classify correctly a large number (thousands) of highly overlapping patterns (300 classes of preprocessed Latex characters, 30 patterns per class, and a subset of the NIST characters data set) and to generalize with performances that are better than or comparable to those of artificial neural networks. Finally we show that the synaptic dynamics is compatible with many of the experimental observations on the induction of long-term modifications (spike-timing-dependent plasticity and its dependence on both the postsynaptic depolarization and the frequency of pre- and postsynaptic neurons).

Sequential neural activity patterns are as ubiquitous as the outputs they drive, which include motor gestures and sequential cognitive processes. Neural sequences are long, compared to the activation durations of participating neurons, and sequence coding is sparse. Numerous studies demonstrate that spike-time-dependent plasticity (STDP), the primary known mechanism for temporal order learning in neurons, cannot organize networks to generate long sequences, raising the question of how such networks are formed. We show that heterosynaptic competition within single neurons, when combined with STDP, organizes networks to generate long unary activity sequences even without sequential training inputs. The network produces a diversity of sequences with a power law length distribution and exponent -1, independent of cellular time constants. We show evidence for a similar distribution of sequence lengths in the recorded premotor song activity of songbirds. These results suggest that neural sequences may be shaped by synaptic constraints and network circuitry rather than cellular time constants.

A bstract Learning to detect, identify or select stimuli is an essential requirement of many behavioral tasks. In real life situations, relevant and non-relevant stimuli are often embedded in a continuous sensory stream, presumably represented by different segments of neural activity. Here, we introduce a neural circuit model that can learn to identify action-relevant stimuli embedded in a spatio-temporal stream of spike trains, while learning to ignore stimuli that are not behaviorally relevant. The model uses a biologically plausible plasticity rule and learns from the reinforcement of correct decisions taken at the right time. Learning is fully online; it is successful for a wide spectrum of stimulus-encoding strategies; it scales well with population size; and can segment cortical spike patterns recorded from behaving animals. Altogether, these results provide a biologically plausible theory of reinforcement learning in the absence of prior information on the relevance and timing of input stimuli.

Abstract While sensory representations in the brain depend on context, it remains unclear how such modulations are implemented at the biophysical level, and how processing layers further in the hierarchy can extract useful features for each possible contextual state. Here, we first demonstrate that thin dendritic branches are well suited to implementing contextual modulation of feedforward processing. Such neuron-specific modulations exploit prior knowledge, encoded in stable feedforward weights, to achieve transfer learning across contexts. In a network of biophysically realistic neuron models with context-independent feedforward weights, we show that modulatory inputs to thin dendrites can solve linearly non-separable learning problems with a Hebbian, error-modulated learning rule. Finally, we demonstrate that local prediction of whether representations originate either from different inputs, or from different contextual modulations of the same input, results in representation learning of hierarchical feedforward weights across processing layers that accommodate a multitude of contexts.

Abstract There has been much focus on the mechanisms of temporal integration, but little on how circuits learn to integrate. In the adult oculomotor system, where a neural integrator maintains fixations, changes in integration dynamics can be driven by visual error signals. However, we show through dark-rearing experiments that visual inputs are not necessary for initial integrator development. We therefore propose a vision-independent learning mechanism whereby a recurrent network learns to integrate via a ‘teaching’ signal formed by low-pass filtered feedback of its population activity. The key is the segregation of local recurrent inputs onto a dendritic compartment and teaching inputs onto a somatic compartment of an integrator neuron. Model instantiation for oculomotor control shows how a self-corrective teaching signal through the cerebellum can generate an integrator with both the dynamical and tuning properties necessary to drive eye muscles and maintain gaze angle. This bootstrap learning paradigm may be relevant for development and plasticity of temporal integration more generally. Highlights - A neuronal architecture that learns to integrate saccadic commands for eye position. - Learning is based on the recurrent dendritic prediction of somatic teaching signals. - Experiment and model show that no visual feedback is required for initial integrator learning. - Cerebellum is an internal teacher for motor nuclei and integrator population.

Dendrites shape information flow in neurons. Yet, there is little consensus on the level of spatial complexity at which they operate. We present a flexible and fast method to obtain simplified neuron models at any level of complexity. Through carefully chosen parameter fits, solvable in the least squares sense, we obtain optimal reduced compartmental models. We show that (back-propagating) action potentials, calcium-spikes and NMDA-spikes can all be reproduced with few compartments. We also investigate whether afferent spatial connectivity motifs admit simplification by ablating targeted branches and grouping the affected synapses onto the next proximal dendrite. We find that voltage in the remaining branches is reproduced if temporal conductance fluctuations stay below a limit that depends on the average difference in input impedance between the ablated branches and the next proximal dendrite. Further, our methodology fits reduced models directly from experimental data, without requiring morphological reconstructions. We provide a software toolbox that automatizes the simplification, eliminating a common hurdle towards including dendritic computations in network models.

Abstract Uncertainty is omnipresent. While humans and other animals take uncertainty into account during decision making, it remains unclear how it is represented in cortex. To investigate the effect of stimulus reliability on uncertainty representation in cortical neurons, we analyzed single unit activity data recorded in mouse PPC, while animals performed a multisensory change detection task. We further used simulation-based inference (SBI) to infer membrane potential statistics underlying the spiking activity. Our analysis shows that stimulus changes increase spiking rate while decreasing its variability. The inferred membrane potential statistics suggest that PPC neurons decrease their membrane potential variability in response to task relevant stimuli. Furthermore, more perceptually reliable stimuli lead to a larger decrease in membrane potential variability than less reliable ones. These findings suggest that individual cortical neurons track uncertainty, providing Bayesian benefits for downstream computations.

Learning can interfere with pre-existing memories that in classical neural networks may lead to catastrophic forgetting. Different from these networks, biological synapses show an early decay of long-term potentiation, combined with a tag & capture mechanism for selective consolidation. We present a 2-component synaptic plasticity model that, by an early decay and a tag & capture mechanism, enables context-dependent fast learning without catastrophic forgetting. For reinforcement learning in multiple contexts, the fast learning combined with an early weight decay maximizes the expected reward while minimizing interferences between subsequent contexts. Fast learning, enabled by a highly plastic weight component, improves performance for a given context. Between contexts this plastic component decays to prevent interference, but selective consolidation into a stable component protects old memories. As a downside of these mechanisms, learning is hampered when consolidation is triggered prematurely by interleaving easy and difficult tasks, consistent with human psychophysical experiments.