The anatomy of the mammalian visual system, from the retina to the neocortex, is organized hierarchically1. However, direct observation of cellular-level functional interactions across this hierarchy is lacking due to the challenge of simultaneously recording activity across numerous regions. Here we describe a large, open dataset—part of the Allen Brain Observatory2—that surveys spiking from tens of thousands of units in six cortical and two thalamic regions in the brains of mice responding to a battery of visual stimuli. Using cross-correlation analysis, we reveal that the organization of inter-area functional connectivity during visual stimulation mirrors the anatomical hierarchy from the Allen Mouse Brain Connectivity Atlas3. We find that four classical hierarchical measures—response latency, receptive-field size, phase-locking to drifting gratings and response decay timescale—are all correlated with the hierarchy. Moreover, recordings obtained during a visual task reveal that the correlation between neural activity and behavioural choice also increases along the hierarchy. Our study provides a foundation for understanding coding and signal propagation across hierarchically organized cortical and thalamic visual areas. A large, open dataset containing parallel recordings from six visual cortical and two thalamic areas of the mouse brain is presented, from which the relative timing of activity in response to visual stimuli and behaviour is used to construct a hierarchy scheme that corresponds to anatomical connectivity data.

Abstract As animals adapt to their environments, their brains are tasked with processing stimuli in different sensory contexts. Whether these computations are context dependent or independent, they are all implemented in the same neural tissue. A crucial question is what neural architectures can respond flexibly to a range of stimulus conditions and switch between them. This is a particular case of flexible architecture that permits multiple related computations within a single circuit. Here, we address this question in the specific case of the visual system circuitry, focusing on context integration, defined as the integration of feedforward and surround information across visual space. We show that a biologically inspired microcircuit with multiple inhibitory cell types can switch between visual processing of the static context and the moving context. In our model, the VIP population acts as the switch and modulates the visual circuit through a disinhibitory motif. Moreover, the VIP population is efficient, requiring only a relatively small number of neurons to switch contexts. This circuit eliminates noise in videos by using appropriate lateral connections for contextual spatio-temporal surround modulation, having superior denoising performance compared to circuits where only one context is learned. Our findings shed light on a minimally complex architecture that is capable of switching between two naturalistic contexts using few switching units. Author Summary The brain processes information at all times and much of that information is context-dependent. The visual system presents an important example: processing is ongoing, but the context changes dramatically when an animal is still vs. running. How is context-dependent information processing achieved? We take inspiration from recent neurophysiology studies on the role of distinct cell types in primary visual cortex (V1).We find that relatively few “switching units” — akin to the VIP neuron type in V1 in that they turn on and off in the running vs. still context and have connections to and from the main population — is sufficient to drive context dependent image processing. We demonstrate this in a model of feature integration, and in a test of image denoising. The underlying circuit architecture illustrates a concrete computational role for the multiple cell types under increasing study across the brain, and may inspire more flexible neurally inspired computing architectures.

The activity and connectivity of inhibitory cells has a profound impact on the operation of neuronal networks. While the average connectivity of many inhibitory cell types has been characterized, we still lack an understanding of how individual interneurons distribute their synapses onto their targets and how heterogeneous the inhibition is onto different individual excitatory neurons. Here, we use large-scale volumetric electron microscopy (EM) and functional imaging to address this question for chandelier cells in layer 2/3 of mouse visual cortex. Using dense morphological reconstructions from EM, we mapped the complete chandelier input onto 153 pyramidal neurons. We find that the number of input synapses is highly variable across the population, but the variability is correlated with structural features of the target neuron: soma depth, soma size, and the number of perisomatic synapses received. Functionally, we found that chandelier cell activity in vivo was highly correlated and tracks pupil diameter, a proxy for arousal state. We propose that chandelier cells provide a global signal whose strength is individually adjusted for each target neuron. This approach, combining comprehensive structural analysis with functional recordings of identified cell types, will be a powerful tool to uncover the wiring rules across the diversity of cortical cell types.

One remarkable feature of neuronal activity in the mammalian cortex is the high level of variability in response to repeated stimuli. First, we used an open dataset, the Allen Brain Observatory, to quantify the distribution of responses to repeated presentations of natural movies. We find that even for their preferred moment in the movie clip, neurons have high variability which cannot be well captured by Gaussian or Poisson distributions. A large fraction of responses are better fit by log-normal or Gaussian mixture models with two components. These distributions are similar to activity distributions during training of deep neural networks using dropout. This poses the interesting hypothesis: is the role of cortical noise to help in generalization during learning? Second, to ensure the robustness of our results we analyzed electrophysiological recordings in the same areas of mouse visual cortex, again using repeated natural movie presentations and found similar response distributions. To make sure that the trial-by-trial variations we observe are not due exclusively to the result of changes in state, we constructed a population coupling model, where each neuron's activity is coupled to a low-dimension version of the activity of all other simultaneously recorded neurons. The population coupling model can capture global, brain-wide activity fluctuations that are state-dependent. The residuals from this model also show non-Gaussian noise distributions. Third, we ask a more specific question: is the noise in the cortex more likely to move the representation of the stimulus in-class versus out-of-class? To address this question, we analyzed the responses of neurons across trials from multiple sections of different movie clips. We observe that the noise in the cortex better aligns to in-class variations. We argue that a useful noise for learning generalizations is to move from representations of different exemplars in-class, similar to cortical noise.

The maintenance of short-term memories is critical for survival in a dynamically changing world. Previous studies suggest that this memory can be stored in the form of persistent neural activity or using a synaptic mechanism, such as with short-term plasticity. Here, we compare the predictions of these two mechanisms to neural and behavioral measurements in a visual change detection task. Mice were trained to respond to changes in a repeated sequence of natural images while neural activity was recorded using two-photon calcium imaging. We trained two different models to perform the same visual change detection task. Compared to a recurrent neural network (RNN), we find that a feedforward neural network with short-term synaptic depression (STPNet) is more consistent with the pattern of behavioral responses to image changes in mice and the observed adaptation in neural responses across repeated image presentations. These results suggest that simple neural adaptation mechanisms may serve as an important bottom-up memory signal in this task, which can be used by downstream areas in the decision-making process.

The detection of novel stimuli is critical to learn and survive in a dynamic environment. Though novel stimuli powerfully affect brain activity, their impact on specific cell types and circuits is not well understood. Disinhibition is one candidate mechanism for novelty-induced enhancements in activity. Here we characterize the impact of stimulus novelty on disinhibitory circuit components using longitudinal 2-photon calcium imaging of Vip, Sst, and excitatory populations in the mouse visual cortex. Mice learn a behavioral task with stimuli that become highly familiar, then are tested on both familiar and novel stimuli. Mice consistently perform the task with novel stimuli, yet responses to stimulus presentations and stimulus omissions are dramatically altered. Further, we find that novelty modifies coding of visual as well as behavioral and task information. At the population level, the direction of these changes is consistent with engagement of the Vip-Sst disinhibitory circuit. At the single cell level, we identify separate clusters of Vip, Sst, and excitatory cells with unique patterns of novelty-induced coding changes. This study and the accompanying open-access dataset reveals the impact of novelty on sensory and behavioral representations in visual cortical circuits and establishes novelty as a key driver of cellular functional diversity.

The mammalian visual system, from retina to neocortex, has been extensively studied at both anatomical and functional levels. Anatomy indicates the corticothalamic system is hierarchical, but characterization of cellular-level functional interactions across multiple levels of this hierarchy is lacking, partially due to the challenge of simultaneously recording activity across numerous regions. Here, we describe a large, open dataset (part of the Allen Brain Observatory ) that surveys spiking from units in six cortical and two thalamic regions responding to a battery of visual stimuli. Using spike cross-correlation analysis, we find that inter-area functional connectivity mirrors the anatomical hierarchy from the Allen Mouse Brain Connectivity Atlas . Classical functional measures of hierarchy, including visual response latency, receptive field size, phase-locking to a drifting grating stimulus, and autocorrelation timescale are all correlated with the anatomical hierarchy. Moreover, recordings during a visual task support the behavioral relevance of hierarchical processing. Overall, this dataset and the hierarchy we describe provide a foundation for understanding coding and dynamics in the mouse corticothalamic visual system.