Abstract The quantification of behaviors of interest from video data is commonly used to study brain function, the effects of pharmacological interventions, and genetic alterations. Existing approaches lack the capability to analyze the behavior of groups of animals in complex environments. We present a novel deep learning architecture for classifying individual and social animal behavior, even in complex environments directly from raw video frames, while requiring no intervention after initial human supervision. Our behavioral classifier is embedded in a pipeline (SIPEC) that performs segmentation, identification, pose-estimation, and classification of complex behavior, outperforming the state of the art. SIPEC successfully recognizes multiple behaviors of freely moving individual mice as well as socially interacting non-human primates in 3D, using data only from simple mono-vision cameras in home-cage setups.

ABSTRACT Learning goal-directed behaviours requires integration of separate information streams representing context, relevant stimuli and reward. Dendrites of pyramidal neurons are suitable sites for such integration, but it remains elusive how their responses adapt when an animal learns a new task. Here, we identify two distinct classes of dendritic responses that represent either contextual/sensory information or reward information and that differ in their task- and learning-related dynamics. Using longitudinal calcium imaging of apical dendritic tufts of L5 pyramidal neurons in mouse barrel cortex, we tracked dendritic activity across learning and analyzed both local dendritic branch signals and global apical tuft activity. During texture discrimination learning, sensory representations (including contextual and touch information) strengthened and converged on the reward-predicting tactile stimulus when mice became experts. In contrast, reward-associated responses were particularly strong in the naïve condition and became less pronounced upon learning. When we blocked the representation of unexpected reward in naïve animals with optogenetic inhibition, animals failed to learn until we released the block and learning proceeded normally. Our results suggest that reward signals in dendrites are essential for adjusting neuronal integration of converging inputs to facilitate adaptive behaviour.

Abstract Joubert Syndrome (JBTS) is a neurodevelopmental ciliopathy defined by a highly specific midbrain-hindbrain malformation, variably associated with additional neurological features. JBTS displays prominent genetic heterogeneity with >40 causative genes that encode proteins localising to the primary cilium, a sensory organelle that is essential for transduction of signalling pathways during neurodevelopment, among other vital functions. JBTS proteins localise to distinct ciliary subcompartments, suggesting diverse functions in cilium biology. Currently, there is no unifying pathomechanism to explain how dysfunction of such diverse primary cilia-related proteins results in such a highly specific brain abnormality. In order to identify the shared consequence of JBTS gene dysfunction, we carried out transcriptomic analysis using zebrafish mutants for the JBTS-causative genes cc2d2a uw38 , cep290 fh297 , inpp5e zh506 , talpid3 i264 and togaram1 zh510 and the Bardet-Biedl syndrome-causative gene bbs1 k742 . We identified no commonly dysregulated signalling pathways in these mutants and yet all mutants displayed an enrichment of altered gene sets related to central nervous system function. We found that JBTS mutants have altered primary cilia throughout the brain, however do not display abnormal brain morphology. Nonetheless, behavioural analyses revealed reduced locomotion and loss of postural control which, together with the transcriptomic results, hint at underlying abnormalities in neuronal activity and/or neuronal circuit function. These zebrafish models therefore offer the unique opportunity to study the role of primary cilia in neuronal function beyond early patterning, proliferation and differentiation. Summary Statement Joubert Syndrome gene dysfunction in zebrafish leads to abnormal brain cilia, altered transcription of neuron-associated genes and abnormal swimming behaviour despite normal brain morphology.

Abstract Dorso-lateral prefrontal cortex is thought to contribute to adaptive behavior by integrating temporally dispersed, behaviorally-relevant factors. Past work has revealed a variety of neural representations preceding actions, which are involved in internal processes like planning, working memory and covert attention. Task-related activity following actions has often been reported, but so far lacks a clear interpretation. We leveraged modified versions of classic oculomotor paradigms and population recordings to show that post-saccadic activity is a dominant signal in dorso-lateral prefrontal cortex that is distinct from pre-saccadic activity. Unlike pre-saccadic activity, post-saccadic activity occurs after each saccade, although its strength and duration are modulated by task context and expected rewards. In contrast to representations preceding actions, which appear to be mixed randomly across neurons, post-saccadic activity results in representations that are highly structured at the single-neuron and population level. Overall, the properties of post-saccadic activity are consistent with those of an action memory, an internal process with a possible role in learning and updating spatial representations.

Divergent accounts of how choices are represented by neural populations have led to conflicting explanations of the underlying mechanisms of decision-making, ranging from persistent, attractor-based dynamics to transient, sequence-based dynamics. To evaluate these mechanisms, we characterize the spatial and temporal structure of choice representations in large neural populations in prefrontal cortex. We find that the pronounced diversity of choice responses across neurons reflects only a few, mostly persistent population patterns recruited at progressively later times before and after a choice. Brief sequential activity occurs during a saccadic choice, but is entirely absent in a delay preceding it. The diversity of choice responses, which could result from almost-random connectivity in the underlying circuits, instead largely reflects the topographical arrangement of response-field properties across the cortical surface. This spatial organization appears to form a fixed scaffold upon which the context-dependent representations of task-specific variables often observed in prefrontal cortex can be learned.

Motor behaviors are continually shaped by a variety of processes such as environmental influences, development, and learning. The resulting behavioral changes are commonly quantified based on hand-picked features (e.g. syllable pitch) and assuming discrete classes of behaviors (e.g. distinct syllables). Such methods may generalize poorly across behaviors and species and are necessarily biased. Here we present an account of behavioral change based on nearest-neighbor statistics that avoids such biases and apply it to song development in the juvenile zebra finch. First, we introduce the concept of repertoire dating, whereby each syllable rendition is dated with a "pseudo" production-day corresponding to the day when similar renditions were typical in the behavioral repertoire. Differences in pseudo production-day across renditions isolate the components of vocal variability congruent with the long-term changes due to vocal learning and development. This variability is large, as about 10% of renditions have pseudo production-days falling more than 10 days into the future (anticipations) or into the past (regressions) relative to their actual production time. Second, we obtain a holistic, yet low-dimensional, description of vocal change in terms of a behavioral trajectory, which reproduces the pairwise similarities between renditions grouped by production time and pseudo production-day. The behavioral trajectory reveals multiple, previously unrecognized components of behavioral change operating at distinct time-scales. These components interact differently across the behavioral repertoire: diurnal change in regressions undergoes only weak overnight consolidation, whereas anticipations and typical renditions consolidate fully. Our nearest-neighbor methods yield model-free descriptions of how behavior evolves relative to itself, rather than relative to a potentially arbitrary, experimenter-defined, goal. Because of their generality, our methods appear well-suited to comparing learning across behaviors and species, and between biological and artificial systems.

Abstract Recurrent Neural Networks (RNNs) are commonly used models to study neural computation. However, a comprehensive understanding of how dynamics in RNNs emerge from the underlying connectivity is largely lacking. Previous work derived such an understanding for RNNs fulfilling very specific constraints on their connectivity, but it is unclear whether the resulting insights apply more generally. Here we study how network dynamics are related to network connectivity in RNNs trained without any specific constraints on several tasks previously employed in neuroscience. Despite the apparent high-dimensional connectivity of these RNNs, we show that a low-dimensional, functionally relevant subspace of the weight matrix can be found through the identification of operative dimensions, which we define as components of the connectivity whose removal has a large influence on local RNN dynamics. We find that a weight matrix built from only a few operative dimensions is sufficient for the RNNs to operate with the original performance, implying that much of the high-dimensional structure of the trained connectivity is functionally irrelevant. The existence of a low-dimensional, operative subspace in the weight matrix simplifies the challenge of linking connectivity to network dynamics and suggests that independent network functions may be placed in specific, separate subspaces of the weight matrix to avoid catastrophic forgetting in continual learning.