The new DSM-5 diagnostic criteria for autism spectrum disorders (ASDs) include sensory disturbances in addition to the well-established language, communication, and social deficits. One sensory disturbance seen in ASD is an impaired ability to integrate multisensory information into a unified percept. This may arise from an underlying impairment in which individuals with ASD have difficulty perceiving the temporal relationship between cross-modal inputs, an important cue for multisensory integration. Such impairments in multisensory processing may cascade into higher-level deficits, impairing day-to-day functioning on tasks, such as speech perception. To investigate multisensory temporal processing deficits in ASD and their links to speech processing, the current study mapped performance on a number of multisensory temporal tasks (with both simple and complex stimuli) onto the ability of individuals with ASD to perceptually bind audiovisual speech signals. High-functioning children with ASD were compared with a group of typically developing children. Performance on the multisensory temporal tasks varied with stimulus complexity for both groups; less precise temporal processing was observed with increasing stimulus complexity. Notably, individuals with ASD showed a speech-specific deficit in multisensory temporal processing. Most importantly, the strength of perceptual binding of audiovisual speech observed in individuals with ASD was strongly related to their low-level multisensory temporal processing abilities. Collectively, the results represent the first to illustrate links between multisensory temporal function and speech processing in ASD, strongly suggesting that deficits in low-level sensory processing may cascade into higher-order domains, such as language and communication.

Information from the different senses is seamlessly integrated by the brain in order to modify our behaviors and enrich our perceptions. It is only through the appropriate binding and integration of information from the different senses that a meaningful and accurate perceptual gestalt can be generated. Although a great deal is known about how such cross-modal interactions influence behavior and perception in the adult, there is little knowledge as to the impact of aging on these multisensory processes. In the current study, we examined the speed of discrimination responses of aged and young individuals to the presentation of visual, auditory or combined visual-auditory stimuli. Although the presentation of multisensory stimuli speeded response times in both groups, the performance gain was significantly greater in the aged. Most strikingly, multisensory stimuli restored response times in the aged to those seen in young subjects to the faster of the two unisensory stimuli (i.e., visual). The current results suggest that despite the decline in sensory processing that accompanies aging, the use of multiple sensory channels may represent an effective compensatory strategy to overcome these unisensory deficits.

1. The properties of visual-, auditory-, and somatosensory-responsive neurons, as well as of neurons responsive to multiple sensory cues (i.e., multisensory), were examined in the superior colliculus of the rhesus monkey. Although superficial layer neurons responded exclusively to visual stimuli and visual inputs predominated in deeper layers, there was also a rich nonvisual and multisensory representation in the superior colliculus. More than a quarter (27.8%) of the deep layer population responded to stimuli from more than a single sensory modality. In contrast, 37% responded only to visual cues, 17.6% to auditory cues, and 17.6% to somatosensory cues. Unimodal- and multisensory-responsive neurons were clustered by modality. Each of these modalities was represented in map-like fashion, and the different representations were in alignment with one another. 2. Most deep layer visually responsive neurons were binocular and exhibited poor selectivity for such stimulus characteristics as orientation, velocity, and direction of movement. Similarly, most auditory-responsive neurons had contralateral receptive fields and were binaural, but had little frequency selectivity and preferred complex, broad-band sounds. Somatosensory-responsive neurons were overwhelmingly contralateral, high velocity, and rapidly adapting. Only rarely did somatosensory-responsive neurons require distortion of subcutaneous tissue for activation. 3. The spatial congruence among the different receptive fields of multisensory neurons was a critical feature underlying their ability to synthesize cross-modal information. 4. Combinations of stimuli could have very different consequences in the same neuron, depending on their temporal and spatial relationships. Generally, multisensory interactions were evident when pairs of stimuli were separated from one another by < 500 ms, and the products of these interactions far exceeded the sum of their unimodal components. Whether the combination of stimuli produced response enhancement, response depression, or no interaction depended on the location of the stimuli relative to one another and to their respective receptive fields. Maximal response enhancements were observed when stimuli originated from similar locations in space (as when derived from the same event) because they fell within the excitatory receptive fields of the same multisensory neurons. If, however, the stimuli were spatially disparate such that one fell beyond the excitatory borders of its receptive field, either no interaction was produced or this stimulus depressed the effectiveness of the other. Furthermore, maximal response interactions were seen with the pairing of weakly effective unimodal stimuli. As the individual unimodal stimuli became increasingly effective, the levels of response enhancement to stimulus combinations declined, a principle referred to as inverse effectiveness. Many of the integrative principles seen here in the primate superior colliculus are strikingly similar to those observed in the cat. These observations indicate that a set of common principles of multisensory integration is adaptable in widely divergent species living in very different ecological situations. 5. Surprisingly, a few multisensory neurons had individual receptive fields that were not in register with one another. This has not been noted in multisensory neurons of other species, and these "anomalous" receptive fields could present a daunting problem: stimuli originating from the same general location in space cannot simultaneously fall within their respective receptive fields, a stimulus pairing that may result in response depression. Conversely, stimuli that originate from separate events and disparate locations (and fall within their receptive fields) may result in response enhancement. However, the spatial principle of multisensory integration did not apply in these cases. (ABSTRACT TRUNCATED)

Autism spectrum disorders (ASD) form a continuum of neurodevelopmental disorders, characterized by deficits in communication and reciprocal social interaction, as well as by repetitive behaviors and restricted interests. Sensory disturbances are also frequently reported in clinical and autobiographical accounts. However, surprisingly few empirical studies have characterized the fundamental features of sensory and multisensory processing in ASD. The current study is structured to test for potential differences in multisensory temporal function in ASD by making use of a temporally dependent, low-level multisensory illusion. In this illusion, the presentation of a single flash of light accompanied by multiple sounds often results in the illusory perception of multiple flashes. By systematically varying the temporal structure of the audiovisual stimuli, a “temporal window” within which these stimuli are likely to be bound into a single perceptual entity can be defined. The results of this study revealed that children with ASD report the flash-beep illusion over an extended range of stimulus onset asynchronies relative to children with typical development, suggesting that children with ASD have altered multisensory temporal function. These findings provide valuable new insights into our understanding of sensory processing in ASD and may hold promise for the development of more sensitive diagnostic measures and improved remediation strategies.

Traditional cortical parcellation schemes have emphasized the presence of sharply defined visual, auditory, and somatosensory domains populated exclusively by modality-specific neurons (i.e., neurons responsive to sensory stimuli from a single sensory modality). However, the modality-exclusivity of this scheme has recently been challenged. Observations in a variety of species suggest that each of these domains is subject to influences from other senses. Using the cerebral cortex of the rat as a model, the present study systematically examined the capability of individual neurons in visual, auditory, and somatosensory cortex to be activated by stimuli from other senses. Within the major modality-specific domains, the incidence of inappropriate (i.e., nonmatching) and/or multisensory neurons was very low. However, at the borders between each of these domains a concentration of multisensory neurons was found whose modality profile matched the representations in neighboring cortices and that were able to integrate their cross-modal inputs to give rise to enhanced and/or depressed responses. The results of these studies are consistent with some features of both the traditional and challenging views of cortical organization, and they suggest a parcellation scheme in which modality-specific cortical domains are separated from one another by transitional multisensory zones.

Abstract Both the Global Neuronal Workspace (GNW) and Integrated Information Theory (IIT) posit that highly complex and interconnected networks engender perceptual awareness. GNW specifies that activity recruiting fronto-parietal networks will elicit a subjective experience, while IIT is more concerned with the functional architecture of networks than with activity within it. Here, we argue that according to IIT mathematics, circuits converging on integrative vs. convergent yet non-integrative neurons should support a greater degree of consciousness. We test this hypothesis by analyzing a dataset of neuronal responses collected simultaneously from primary somatosensory cortex (S1) and ventral premotor cortex (vPM) in non-human primates presented with auditory, tactile, and audio-tactile stimuli as they are progressively anesthetized with Propofol. We first describe the multisensory (audio-tactile) characteristics of S1 and vPM neurons (mean and dispersion tendencies, as well as noise-correlations), and functionally label these neurons as convergent or integrative according to their spiking responses. Then, we characterize how these different pools of neurons behave as a function of consciousness. At odds with the IIT mathematics, results suggest that convergent neurons more readily exhibit properties of consciousness (neural complexity and noise correlation) and are more impacted during the loss of consciousness than integrative neurons. Lastly, we provide support for the GNW by showing that neural ignition (i.e., same trial co-activation of S1 and vPM) was more frequent in conscious than unconscious states. Overall, we contrast GNW and IIT within the same single-unit activity dataset, and support the GNW.

Abstract The vast majority of mammalian neocortex consists of a stereotypical microcircuit, the canonical cortical microcircuit (CCM), consisting of a granular input layer, positioned between superficial and deep layers. Due to this uniform layout, neuronal activation tends to follow a similar laminar sequence, with unique information extracted at each step. For example, the primate primary visual cortex (V1) combines the two eyes’ signals, extracts stimulus orientation and modulates its activity depending on stimulus history. Several theories have been proposed on when and where these processes happen within the CCM’s laminar activation sequence, but it has been methodologically challenging to test these hypotheses. Here, we use time-resolved multivariate pattern analysis (MVPA) to decode information regarding the eye-of-origin, stimulus orientation and stimulus repetition from simultaneously measured spiking responses across V1’s laminar microcircuit. We find that eye-of-origin information was decodable for the entire duration of stimulus presentation, but diminished in the deepest layers of V1, consistent with the notion that two eyes’ signals are combined within the upper layers. Conversely, orientation information was transient and equally pronounced across the microcircuit, in line with the idea that this information is relayed to other areas for further processing. Moreover, when stimuli were repeated, information regarding orientation was enhanced at the expense of eye-of origin information, suggesting that V1 modulates information flow to optimize specific stimulus dimensions. Taken together, these findings provide empirical evidence that adjudicates between long-standing hypotheses and reveals how information transfer within the CCM supports unique cortical functions. Significance Statement Despite the brain’s daunting complexity, there are common organizing principles across brain areas. For example, neocortical activation follows a stereotypical pattern that spreads from input layers towards layers above and below. While this activation pattern is well known, it has been challenging to ascertain how unique types of information are extracted within this common sequence in different brain areas. Here we use machine learning to track the flow of stimulus-specific information across the layers of visual cortex. We found that information regarding several separate stimulus dimensions was routed uniquely within the common activation sequence in a manner that confirmed prior model predictions. This finding demonstrates how differences in information flow within the stereotypical neocortical activation sequence shape area-specific functions.

Abstract Autism spectrum disorder (ASD) is a heterogenous disorder predominantly characterized by social and communicative differences, but increasingly recognized to also alter (multi)sensory function. To face the heterogeneity and ubiquity of ASD, researchers have proposed models of statistical inference operating at the level of ‘computations’. Here, we attempt to bridge both across domains – from social to sensory – and levels of description – from behavioral computations to neural ensemble activity to a biologically-plausible artificial neural network – in furthering our understanding of autism. We do so by mapping visuo-tactile peri-personal space (PPS), and examining its electroencephalography (EEG) correlates, in individuals with ASD and neurotypical individuals during both a social and non-social context given that (i) the sensory coding of PPS is well understood, (ii) this space is thought to distinguish between self and other, and (iii) PPS is known to remap during social interactions. In contrast to their neurotypical counterparts, psychophysical and EEG evidence suggested that PPS does not remap in ASD during a social context. To account for this observation, we then employed a neural network model of PPS and demonstrate that PPS remapping may be driven by changes in neural gain operating at the level of multisensory neurons. Critically, under the anomalous excitation-inhibition (E/I) regime of ASD, this gain modulation does not result in PPS resizing. Overall, our findings are in line with recent statistical inference accounts suggesting diminished flexibility in ASD, and further these accounts by demonstrating within an example relevant for social cognition that such inflexibility may be due to E/I imbalances.

Abstract Objects are the fundamental building blocks of how we create a representation of the external world. One major distinction amongst objects is between those that are animate versus inanimate. Many objects are specified by more than a single sense, yet the nature by which multisensory objects are represented by the brain remains poorly understood. Using representational similarity analysis of human EEG signals, we show enhanced encoding of audiovisual objects when compared to their corresponding visual and auditory objects. Surprisingly, we discovered the often-found processing advantages for animate objects was not evident in a multisensory context due to greater neural enhancement of inanimate objects—the more weakly encoded objects under unisensory conditions. Further analysis showed that the selective enhancement of inanimate audiovisual objects corresponded with an increase in shared representations across brain areas, suggesting that neural enhancement was mediated by multisensory integration. Moreover, a distance-to-bound analysis provided critical links between neural findings and behavior. Improvements in neural decoding at the individual exemplar level for audiovisual inanimate objects predicted reaction time differences between multisensory and unisensory presentations during a go/no-go animate categorization task. Interestingly, links between neural activity and behavioral measures were most prominent 100 to 200ms and 350 to 500ms after stimulus presentation, corresponding to time periods associated with sensory evidence accumulation and decision-making, respectively. Collectively, these findings provide key insights into a fundamental process the brain uses to maximize information it captures across sensory systems to perform object recognition. Significance Statement Our world is filled with an ever-changing milieu of sensory information that we are able to seamlessly transform into meaningful perceptual experience. We accomplish this feat by combining different features from our senses to construct objects. However, despite the fact that our senses do not work in isolation but rather in concert with each other, little is known about how the brain combines the senses together to form object representations. Here, we used EEG and machine learning to study how the brain processes auditory, visual, and audiovisual objects. Surprisingly, we found that non-living objects, the objects which were more difficult to process with one sense alone, benefited the most from engaging multiple senses.

The brain is comprised of neural circuits that are able to flexibly represent the complexity of the external world. In accomplishing this feat, one of the first attributes the brain must code for is whether a stimulus is present and subsequently what sensory information that stimulus contains. One of the core characteristics of that information is which sensory modality(ies) are being represented. How information regarding both the presence and modal identity of a given stimulus is represented and transformed within the brain remains poorly understood. In this study, we investigated how the brain represents the presence and modal identity of a given stimulus while tactile, audio, and audio-tactile stimuli were passively presented to non-human primates. We recorded spiking activity from primary somatosensory (S1) and ventral pre-motor (PMv) cortices, two areas known to be instrumental in transforming sensory information into motor commands for action. Using multivariate analyses to decode stimulus presence and identity, we found that information regarding stimulus presence and modal identity were found in both S1 and PMv and extended beyond the duration of significant evoked spiking activity, and that this information followed different time-courses in these two areas. Further, we combined time-generalization decoding with cross-area decoding to demonstrate that while signaling the presence of a stimulus involves a feedforward-feedback coupling between S1-PMv, the processing of modal identity is largely restricted to S1. Together, these results highlight the differing spatiotemporal dynamics of information flow regarding stimulus presence and modal identity in two nodes of an important cortical sensorimotor circuit.