Abstract Scientists have long conjectured that the neocortex learns the structure of the environment in a predictive, hierarchical manner. According to this conjecture, expected, predictable features are differentiated from unexpected ones by comparing bottom-up and top-down streams of information. It is theorized that the neocortex then changes the representation of incoming stimuli, guided by differences in the responses to expected and unexpected events. In line with this conjecture, different responses to expected and unexpected sensory features have been observed in spiking and somatic calcium events. However, it remains unknown whether these unexpected event signals occur in the distal apical dendrites where many top-down signals are received, and whether these signals govern subsequent changes in the brain’s stimulus representations. Here, we show that both somata and distal apical dendrites of cortical pyramidal neurons exhibit distinct unexpected event signals that systematically change over days. These findings were obtained by tracking the responses of individual somata and dendritic branches of layer 2/3 and layer 5 pyramidal neurons over multiple days in primary visual cortex of awake, behaving mice using two-photon calcium imaging. Many neurons in both layers 2/3 and 5 showed large differences between their responses to expected and unexpected events. Interestingly, these responses evolved in opposite directions in the somata and distal apical dendrites. These differences between the somata and distal apical dendrites may be important for hierarchical computation, given that these two compartments tend to receive bottom-up and top-down information, respectively.

Abstract Identification of the structural connections between neurons is a prerequisite to understanding brain function. We developed a pipeline to systematically map brain-wide monosynaptic inputs to specific neuronal populations using Cre-driver mouse lines and the recombinant rabies tracing system. We first improved the rabies virus tracing strategy to accurately identify starter cells and to efficiently quantify presynaptic inputs. We then mapped brain-wide presynaptic inputs to different excitatory and inhibitory neuron subclasses in the primary visual cortex and seven higher visual areas. Our results reveal quantitative target-, layer- and cell-class-specific differences in the retrograde connectomes, despite similar global input patterns to different neuronal populations in the same anatomical area. The retrograde connectivity we define is consistent with the presence of the ventral and dorsal visual information processing streams and reveals further subnetworks within the dorsal stream. The hierarchical organization of the entire visual cortex can be derived from intracortical feedforward and feedback pathways mediated by upper- and lower-layer input neurons, respectively. This study expands our knowledge of the brain-wide inputs regulating visual areas and demonstrates that our improved rabies virus tracing strategy can be used to scale up the effort in dissecting connectivity of genetically defined cell populations in the whole mouse brain.

Abstract Multiple recent studies have shown that motor activity greatly impacts the activity of primary sensory areas like V1. Yet, the role of this motor related activity in sensory processing is still unclear. Here we dissect how these behavior signals are broadcast to different layers and areas of the visual cortex. To do so, we leveraged a standardized and spontaneous behavioral fidget event in passively viewing mice. Importantly, this behavior event had no relevance to any ongoing task allowing us to compare its neuronal correlate with visually relevant behavior like running. A large two-photon Ca 2+ imaging database of neuronal responses uncovered four neural response types during fidgets that were surprisingly consistent in their proportion and response patterns across all visual areas and layers of the visual cortex. Indeed, the layer and area identity could not be decoded above chance level based only on neuronal recordings. In contrast to running behavior, fidget evoked neural responses were independent to visual processing. The broad availability of visually orthogonal standardized behavior signals could be a key component in how the cortex selects, learns and binds local sensory information with motor outputs. Contrary to relevant motor outputs, irrelevant motor signals would use a separate neural subspaces. Significance Statement Recent studies have shown contextual and behavioral variables to dominate brain-wide activity, but yet it is unknown how this information is broadcast across cortical layers and areas. Using a large two-photon dataset collected in mice passively viewing a battery of visual stimuli, we characterized the neuronal response of neurons of the visual cortex to a standardized fidget behavior. We found that as much as 47% of excitatory neurons show significant co-activity with fidgets. Throughout all areas and layers we recorded from, those responses were distributed across surprisingly consistent three neural response types. Further analysis showed no interaction between fidget neural events and cells’ visual stimulus responses, contrasting with feedback neural signals induced by running. These contrasting response distribution patterns suggest that behavioral neuronal correlates are broadly available but will modulate sensory responses depending on their relevance to local sensory inputs.

To understand how the brain processes sensory information to guide behavior, we must know how stimulus representations are transformed throughout the visual cortex. Here we report an open, large-scale physiological survey of neural activity in the awake mouse visual cortex: the Allen Brain Observatory Visual Coding dataset. This publicly available dataset includes cortical activity from nearly 60,000 neurons collected from 6 visual areas, 4 layers, and 12 transgenic mouse lines from 221 adult mice, in response to a systematic set of visual stimuli. Using this dataset, we reveal functional differences across these dimensions and show that visual cortical responses are sparse but correlated. Surprisingly, responses to different stimuli are largely independent, e.g. whether a neuron responds to natural scenes provides no information about whether it responds to natural movies or to gratings. We show that these phenomena cannot be explained by standard local filter-based models, but are consistent with multi-layer hierarchical computation, as found in deeper layers of standard convolutional neural networks.

Transgenic mouse lines are invaluable tools for neuroscience but as with any technique, care must be taken to ensure that the tool itself does not unduly affect the system under study. Here we report aberrant electrical activity, similar to interictal spikes, and accompanying fluorescence events in some genotypes of transgenic mice expressing GCaMP6 genetically-encoded calcium sensors. These epileptiform events have been observed particularly, but not exclusively, in mice with Emx1-Cre and Ai93 transgenes, across multiple laboratories. The events occur at >0.1 Hz, are very large in amplitude (>1.0 mV local field potentials, >10% df/f widefield imaging signals), and typically cover large regions of cortex. Many properties of neuronal responses and behavior seem normal despite these events, though rare subjects exhibit overt generalized seizures. The underlying mechanisms of this phenomenon remain unclear, but we speculate about possible causes on the basis of diverse observations. We encourage researchers to be aware of these activity patterns while interpreting neuronal recordings from affected mouse lines and when considering which lines to study.

The classic view that neural populations in sensory cortices preferentially encode responses to incoming stimuli has been strongly challenged by recent experimental studies. Despite the fact that a large fraction of variance of visual responses in rodents can be attributed to behavioral state and movements, trial-history, and salience, the effects of contextual modulations and expectations on sensory-evoked responses in visual and association areas remain elusive. Here, we present a comprehensive experimental and theoretical study showing that hierarchically connected visual and association areas differentially encode the temporal context and expectation of naturalistic visual stimuli, consistent with the theory of hierarchical predictive coding. We measured neural responses to expected and unexpected sequences of natural scenes in the primary visual cortex (V1), the posterior medial higher order visual area (PM), and retrosplenial cortex (RSP) using 2-photon imaging in behaving mice collected through the Allen Institute Mindscope's OpenScope program. We found that information about image identity in neural population activity depended on the temporal context of transitions preceding each scene, and decreased along the hierarchy. Furthermore, our analyses revealed that the conjunctive encoding of temporal context and image identity was modulated by expectations of sequential events. In V1 and PM, we found enhanced and specific responses to unexpected oddball images, signaling stimulus-specific expectation violation. In contrast, in RSP the population response to oddball presentation recapitulated the missing expected image rather than the oddball image. These differential responses along the hierarchy are consistent with classic theories of hierarchical predictive coding whereby higher areas encode predictions and lower areas encode deviations from expectation. We further found evidence for drift in visual responses on the timescale of minutes. Although activity drift was present in all areas, population responses in V1 and PM, but not in RSP, maintained stable encoding of visual information and representational geometry. Instead we found that RSP drift was independent of stimulus information, suggesting a role in generating an internal model of the environment in the temporal domain. Overall, our results establish temporal context and expectation as substantial encoding dimensions in the visual cortex subject to fast representational drift and suggest that hierarchically connected areas instantiate a predictive coding mechanism.

Vasoactive intestinal peptide-expressing (VIP) interneurons in cortex regulate feedback inhibition of pyramidal neurons through suppression of somatostatin-expressing (SST) interneurons and, reciprocally, SST neurons inhibit VIP neurons. Here, we show that VIP neurons in mouse primary visual cortex have complementary contrast tuning to SST neurons and respond synergistically to front-to-back visual motion and locomotion. Network modeling indicates that this VIP-SST mutual antagonism regulates the gain of cortex to achieve both sensitivity to behaviorally-relevant stimuli and network stability.