REVIEW article Front. Psychol., 19 May 2011Sec. Perception Science volume 2 - 2011 | https://doi.org/10.3389/fpsyg.2011.00099

Abstract Inherent correlations between visual and semantic features in real-world scenes make it difficult to determine how different scene properties contribute to neural representations. Here, we assessed the contributions of multiple properties to scene representation by partitioning the variance explained in human behavioral and brain measurements by three feature models whose inter-correlations were minimized a priori through stimulus preselection. Behavioral assessments of scene similarity reflected unique contributions from a functional feature model indicating potential actions in scenes as well as high-level visual features from a deep neural network (DNN). In contrast, similarity of cortical responses in scene-selective areas was uniquely explained by mid- and high-level DNN features only, while an object label model did not contribute uniquely to either domain. The striking dissociation between functional and DNN features in their contribution to behavioral and brain representations of scenes indicates that scene-selective cortex represents only a subset of behaviorally relevant scene information.

Abstract Predictive coding models can simulate known perceptual or neuronal phenomena, but there have been fewer attempts to identify a reliable neural signature of predictive coding for complex stimuli. In a pair of studies, we test whether the N300 component of the event-related potential, occurring 250-350 ms post-stimulus-onset, has the response properties expected for such a signature of perceptual hypothesis testing at the level of whole objects and scenes. We show that N300 amplitudes are smaller to representative (“good exemplars”) compared to less representative (“bad exemplars”) items from natural scene categories. Integrating these results with patterns observed for objects, we establish that, across a variety of visual stimuli, the N300 is responsive to statistical regularity, or the degree to which the input is “expected” (either explicitly or implicitly) based on prior knowledge, with statistically regular images evoking a reduced response. Moreover, we show that the measure exhibits context-dependency; that is, we find the N300 sensitivity to category representativeness when stimuli are congruent with, but not when they are incongruent with, a category pre-cue. Thus, we argue that the N300 is the best candidate to date for an index of perceptual hypotheses testing for complex visual objects and scenes.

Abstract Over the years a number of researchers have reported enhanced performance of targets located horizontally to a cued location relative to those located vertically. However, many of these reports could stem from a known meridian asymmetry in which stimuli on the horizontal meridian show a performance advantage relative to those on the vertical meridian. Here we show a horizontal advantage for target and cue locations that reside outside the zone of asymmetry; that is, targets that appear horizontal to the cue, but above or below the horizontal meridian, are more accurate than those that appear vertical to the cue, but again either above or below the horizontal meridian (Experiments 1 and 4). This advantage does not extend to non-symmetrically located targets in the opposite hemifield (Experiment 2), nor horizontally located targets within the same hemifield (Experiment 3). These data raise the possibility that display designs in which the target and cue locations are positioned symmetrically across the vertical midline may be underestimating the cue validity effect.

Abstract In the face of multiple sensory streams, there may be competition for processing resources in multimodal cortical area devoted to establishing representations. In such cases, alpha oscillations may serve to maintain the relevant representations and protect them from interference, whereas theta oscillations may facilitate their updating when needed. It can be hypothesized that these oscillations would differ in response to an auditory stimulus when the eyes are open or closed, as intermodal resource competition may be more prominent in the former than in the latter case. Across two studies we investigated the role of alpha and theta power in multimodal competition using an auditory task with the eyes open and closed, respectively enabling and disabling visual processing in parallel with the incoming auditory stream. In a passive listening task (Study 1a), we found alpha suppression following a pip tone with both eyes open and closed, but subsequent alpha enhancement only with closed eyes. We replicated this eyes-closed alpha enhancement in an independent sample (Study 1b). In an active auditory oddball task (Study 2), we again observed the eyes open/eyes closed alpha pattern found in Study 1 and also demonstrated that the more attentionally demanding oddball trials elicit the largest oscillatory effects. Theta power did not interact with eye status in either study. We propose a hypothesis to account for the findings in which alpha may be endemic to multimodal cortical areas in addition to visual ones.

Abstract Strikingly, some images are consistently more likely to be remembered compared to others— a stable, intrinsic image property that has been termed image memorability. However, the properties that afford this memory advantage have remained elusive. In prior work, we showed that more memorable images are easier to perceive, and modeling work further suggests that semantic properties contribute to variance in memorability. Thus, we hypothesize that image memorability effects arise at the interface between perception and semantic memory. To test this hypothesis, we used event-related potentials (ERPs) to measure perceptual template matching (N300) and semantic access (N400) processes in a continuous recognition memory task using high and low memorability images, each repeated once. On initial presentation, both N300 and N400 amplitudes were less negative for high memorability images, showing that memorability is linked to both facilitated high-level perceptual processing and more efficient semantic activation. High memorability images also elicited a larger N300 repetition effect compared to low memorability images, revealing that their perceptual processing benefits more from the prior exposure. The results support the idea that images that better match visual templates and elicit more targeted semantic activations are easier to identify when encountered again, and further point to a potential interplay between semantic activation and perceptual matching in supporting image memorability.

Decision-making requires continuous adaptation to internal and external contexts. Changes in decision-making are reliable transdiagnostic symptoms of neuropsychiatric disorders. We created a computational model demonstrating how the striosome compartment of the striatum constructs a mathematical space for decision-making computations depending on context, and how the matrix compartment defines action value depending on the space. The model explains multiple experimental results and unifies other theories like reward prediction error, roles of the direct versus indirect pathways, and roles of the striosome versus matrix, under one framework. We also found, through new analyses, that striosome and matrix neurons increase their synchrony during difficult tasks, caused by a necessary increase in dimensionality of the space. The model makes testable predictions about individual differences in disorder susceptibility, decision-making symptoms shared among neuropsychiatric disorders, and differences in neuropsychiatric disorder symptom presentation. The model reframes the role of the striosomal circuit in neuroeconomic and disorder-affected decision-making.

Abstract EEG alpha power varies under many circumstances requiring visual attention. However, mounting evidence indicates that alpha may not only serve visual processing, but also the processing of stimuli presented in other sensory modalities, including hearing. We previously showed that alpha dynamics during an auditory task vary as a function of competition from the visual modality (Clements et al., 2022) suggesting that alpha may be engaged in multimodal processing. Here we assessed the impact of allocating attention to the visual or auditory modality on alpha dynamics, during the preparatory period of a bimodal-cued conflict task. In this task, precues indicated the modality (vision, hearing) relevant to a subsequent reaction stimulus. This task afforded us the opportunity to assess alpha during modality-specific preparation and while switching between modalities. Alpha suppression following the precue occurred in all conditions indicating that it may reflect general preparatory mechanisms. However, we observed a switch effect when preparing to attend to the auditory modality, in which greater alpha suppression was elicited when switching to the auditory modality compared to repeating. No switch effect was evident when preparing to attend to visual information (although robust suppression did occur in both conditions). In addition, waning alpha suppression preceded error trials, irrespective of sensory modality. These findings indicate that alpha can be used to monitor the level of preparatory attention to process both visual and auditory information. These results support the emerging view that alpha band activity may index a general attention control mechanism used across modalities, at least vision and hearing.

A number of regions in the human brain are known to be involved in processing natural scenes, but the field has lacked a unifying framework for understanding how these different regions are organized and interact. We provide evidence from functional connectivity and meta-analyses for a new organizational principle, in which scene processing relies on two distinct networks that split the classically defined Parahippocampal Place Area (PPA). The first network consists of the Occipital Place Area (OPA/TOS) and posterior PPA, which contain retinotopic maps and are related primarily to visual features. The second network consists of the caudal Inferior Parietal Lobule (cIPL), Retrosplenial Cortex (RSC), and anterior PPA, which connect to the hippocampus and are involved in a much broader set of tasks involving episodic memory and navigation. This new framework for understanding the neural substrates of scene processing bridges results from many lines of research, and makes specific functional predictions.