Recent studies, conducted almost exclusively in primates, have shown that several cortical areas usually associated with modality-specific sensory processing are subject to influences from other senses. Here we demonstrate using single-unit recordings and estimates of mutual information that visual stimuli can influence the activity of units in the auditory cortex of anesthetized ferrets. In many cases, these units were also acoustically responsive and frequently transmitted more information in their spike discharge patterns in response to paired visual–auditory stimulation than when either modality was presented by itself. For each stimulus, this information was conveyed by a combination of spike count and spike timing. Even in primary auditory areas (primary auditory cortex [A1] and anterior auditory field [AAF]), ∼15% of recorded units were found to have nonauditory input. This proportion increased in the higher level fields that lie ventral to A1/AAF and was highest in the anterior ventral field, where nearly 50% of the units were found to be responsive to visual stimuli only and a further quarter to both visual and auditory stimuli. Within each field, the pure-tone response properties of neurons sensitive to visual stimuli did not differ in any systematic way from those of visually unresponsive neurons. Neural tracer injections revealed direct inputs from visual cortex into auditory cortex, indicating a potential source of origin for the visual responses. Primary visual cortex projects sparsely to A1, whereas higher visual areas innervate auditory areas in a field-specific manner. These data indicate that multisensory convergence and integration are features common to all auditory cortical areas but are especially prevalent in higher areas.

The authors use chromophore-targeted laser photolysis to selectively kill pyramidal neurons that project from auditory cortex to the inferior colliculus. They find that this eliminates the experience-dependent recalibration of sound localization, while leaving normal sound localization intact, implicating this pathway in learning-induced plasticity. Descending projections from sensory areas of the cerebral cortex are among the largest pathways in the brain, suggesting that they are important for subcortical processing. Although corticofugal inputs have been shown to modulate neuronal responses in the thalamus and midbrain, the behavioral importance of these changes remains unknown. In the auditory system, one of the major descending pathways is from cortical layer V pyramidal cells to the inferior colliculus in the midbrain. We examined the role of these neurons in experience-dependent recalibration of sound localization in adult ferrets by selectively killing the neurons using chromophore-targeted laser photolysis. When provided with appropriate training, animals normally relearn to localize sound accurately after altering the spatial cues available by reversibly occluding one ear. However, this ability was lost after eliminating corticocollicular neurons, whereas normal sound-localization accuracy was unaffected. The integrity of this descending pathway is therefore critical for learning-induced localization plasticity.

The auditory system must represent sounds with a wide range of statistical properties. One important property is the spectrotemporal contrast in the acoustic environment: the variation in sound pressure in each frequency band, relative to the mean pressure. We show that neurons in ferret auditory cortex rescale their gain to partially compensate for the spectrotemporal contrast of recent stimulation. When contrast is low, neurons increase their gain, becoming more sensitive to small changes in the stimulus, although the effectiveness of contrast gain control is reduced at low mean levels. Gain is primarily determined by contrast near each neuron's preferred frequency, but there is also a contribution from contrast in more distant frequency bands. Neural responses are modulated by contrast over timescales of ∼100 ms. By using contrast gain control to expand or compress the representation of its inputs, the auditory system may be seeking an efficient coding of natural sounds.

Visual neurons respond selectively to specific features that become increasingly complex in their form and dynamics from the eyes to the cortex. Retinal neurons prefer localized flashing spots of light, primary visual cortical (V1) neurons moving bars, and those in higher cortical areas, such as middle temporal (MT) cortex, favor complex features like moving textures. Whether there are general computational principles behind this diversity of response properties remains unclear. To date, no single normative model has been able to account for the hierarchy of tuning to dynamic inputs along the visual pathway. Here we show that hierarchical application of temporal prediction - representing features that efficiently predict future sensory input from past sensory input - can explain how neuronal tuning properties, particularly those relating to motion, change from retina to higher visual cortex. This suggests that the brain may not have evolved to efficiently represent all incoming information, as implied by some leading theories. Instead, the selective representation of sensory inputs that help in predicting the future may be a general neural coding principle, which when applied hierarchically extracts temporally-structured features that depend on increasingly high-level statistics of the sensory input.

Abstract Models of behavior typically focus on sparse measurements of motor output over long timescales, limiting their ability to explain momentary decisions or neural activity. We developed data-driven models relating experimental variables to videos of behavior. Applied to mouse operant behavior, they revealed behavioral encoding of cognitive variables. Model-based decoding of videos yielded an accurate account of single-trial behavior in terms of the relationship between cognition, motor output and cortical activity.

Abstract Primary cortical areas contain maps of sensory features, including sound frequency in primary auditory cortex (A1). Two-photon calcium imaging in mice has confirmed the presence of these large-scale maps, while uncovering an unexpected local variability in the stimulus preferences of individual neurons in A1 and other primary regions. Here we show that fractured tonotopy is not unique to rodents. Using two-photon imaging, we found that local variance in frequency preferences is equivalent in ferrets and mice. Much of this heterogeneity was due to neurons with complex frequency tuning, which are less spatially organized than those tuned to a single frequency. Finally, we show that microelectrode recordings may describe a smoother tonotopic arrangement due to a bias towards neurons with simple frequency tuning. These results show that local variability in the tonotopic map is not restricted to rodents and help explain inconsistencies in cortical topography across species and recording techniques.

Abstract The retina’s role in visual processing has been viewed as two extremes: an efficient compressor of incoming visual stimuli akin to a camera, or as a predictor of future stimuli. Addressing this dichotomy, we developed a biologically-detailed spiking retinal model trained on natural movies under metabolic-like constraints to either encode the present or to predict future scenes. Our findings reveal that when optimized for efficient prediction ∼ 100 ms into the future, the model not only captures retina-like receptive fields and their mosaic-like organizations, but also exhibits complex retinal processes such as latency coding, motion anticipation, differential tuning, and stimulus-omission responses. Notably, the predictive model also more accurately predicts the way retinal ganglion cells respond across different animal species to natural images and movies. Our findings demonstrate that the retina is not merely a compressor of visual input, but rather is fundamentally organized to provide the brain with foresight into the visual world.

Abstract In almost every natural environment, sounds are reflected by nearby objects, producing many delayed and distorted copies of the original sound, known as reverberation. Our brains usually cope well with reverberation, allowing us to recognize sound sources regardless of their environments. In contrast, reverberation can cause severe difficulties for speech recognition algorithms and hearing-impaired people. The present study examines how the auditory system copes with reverberation. We trained a linear model to recover a rich set of natural, anechoic sounds from their simulated reverberant counterparts. The model neurons achieved this by extending the inhibitory component of their receptive filters for more reverberant spaces, and did so in a frequency-dependent manner. These predicted effects were observed in the responses of auditory cortical neurons of ferrets in the same simulated reverberant environments. Together, these results suggest that auditory cortical neurons adapt to reverberation by adjusting their filtering properties in a manner consistent with dereverberation.

Abstract Neurons in primary visual cortex (V1) respond to natural scenes with a sparse and irregular spike code that is carefully balanced by an interplay between excitatory and inhibitory neurons. These neuron classes differ in their spike statistics, tuning preferences, connectivity statistics and temporal dynamics. To date, no single computational principle has been able to account for these properties. We developed a recurrently connected spiking network of excitatory and inhibitory units trained for efficient temporal prediction of natural movie clips. We found that the model exhibited simple and complex cell-like tuning, V1-like spike statistics, and, notably, also captured key differences between excitatory and inhibitory V1 neurons. This suggests that these properties collectively serve to facilitate efficient prediction of the sensory future.