A number of studies have shown that pupil size increases transiently during effortful decisions. These decision-related changes in pupil size are mediated by central neuromodulatory systems, which also influence the internal state of brain regions engaged in decision making. It has been proposed that pupil-linked neuromodulatory systems are activated by the termination of decision processes, and, consequently, that these systems primarily affect the postdecisional brain state. Here, we present pupil results that run contrary to this proposal, suggesting an important intradecisional role. We measured pupil size while subjects formed protracted decisions about the presence or absence ("yes" vs. "no") of a visual contrast signal embedded in dynamic noise. Linear systems analysis revealed that the pupil was significantly driven by a sustained input throughout the course of the decision formation. This sustained component was larger than the transient component during the final choice (indicated by button press). The overall amplitude of pupil dilation during decision formation was bigger before yes than no choices, irrespective of the physical presence of the target signal. Remarkably, the magnitude of this pupil choice effect (yes > no) reflected the individual criterion: it was strongest in conservative subjects choosing yes against their bias. We conclude that the central neuromodulatory systems controlling pupil size are continuously engaged during decision formation in a way that reveals how the upcoming choice relates to the decision maker's attitude. Changes in brain state seem to interact with biased decision making in the face of uncertainty.

Decision-makers often arrive at different choices when faced with repeated presentations of the same evidence. Variability of behavior is commonly attributed to noise in the brain’s decision-making machinery. We hypothesized that phasic responses of brainstem arousal systems are a significant source of this variability. We tracked pupil responses (a proxy of phasic arousal) during sensory-motor decisions in humans, across different sensory modalities and task protocols. Large pupil responses generally predicted a reduction in decision bias. Using fMRI, we showed that the pupil-linked bias reduction was (i) accompanied by a modulation of choice-encoding pattern signals in parietal and prefrontal cortex and (ii) predicted by phasic, pupil-linked responses of a number of neuromodulatory brainstem centers involved in the control of cortical arousal state, including the noradrenergic locus coeruleus. We conclude that phasic arousal suppresses decision bias on a trial-by-trial basis, thus accounting for a significant component of the variability of choice behavior.

Abstract The initial encoding of visual information primarily from the contralateral visual field is a fundamental organizing principle of the primate visual system. Recently, the presence of such retinotopic sensitivity has been shown to extend well beyond early visual cortex to regions not historically considered retinotopically sensitive. In particular, human scene-selective regions in parahippocampal and medial parietal cortex exhibit prominent biases for the contralateral visual field. Here we used fMRI to test the hypothesis that the human hippocampus, which is thought to be anatomically connected with these scene-selective regions, would also exhibit a biased representation of contralateral visual space. First, population receptive field mapping with scene stimuli revealed strong biases for the contralateral visual field in bilateral hippocampus. Second, the distribution of retinotopic sensitivity suggested a more prominent representation in anterior medial portions of the hippocampus. Finally, the contralateral bias was confirmed in independent data taken from the Human Connectome Project initiative. The presence of contralateral biases in the hippocampus – a structure considered by many as the apex of the visual hierarchy - highlights the truly pervasive influence of retinotopy. Moreover, this finding has important implications for understanding how this information relates to the allocentric global spatial representations known to be encoded therein. Significance Statement Retinotopic encoding of visual information is an organizing principle of visual cortex. Recent work demonstrates this sensitivity in structures far beyond early visual cortex, including those anatomically connected to the hippocampus. Here, using population receptive field modelling in two independent sets of data we demonstrate a consistent bias for the contralateral visual field in bilateral hippocampus. Such a bias highlights the truly pervasive influence of retinotopy, with important implications for understanding how the presence of retinotopy relates to more allocentric spatial representations.

Abstract Pupil responses have been used to track cognitive processes during decision-making. Studies have shown that in these cases the pupil reflects the joint activation of many cortical and subcortical brain regions, also those traditionally implicated in value-based learning. However, how the pupil tracks value-based decisions and reinforcement learning is unknown. We combined a reinforcement learning task with a computational model to study pupil responses during value-based decisions, and decision evaluations. We found that the pupil closely tracks reinforcement learning both across trials and participants. Prior to choice, the pupil dilated as a function of trial-by-trial fluctuations in value beliefs. After feedback, early dilation scaled with value uncertainty, whereas later constriction scaled with reward prediction errors. Our computational approach systematically implicates the pupil in value-based decisions, and the subsequent processing of violated value beliefs, ttese dissociable influences provide an exciting possibility to non-invasively study ongoing reinforcement learning in the pupil.

Abstract Spatial attention changes the sampling of visual space. Behavioral studies suggest that feature-based attention modulates this resampling to optimize the attended feature’s sampling. We investigate this hypothesis by estimating spatial sampling in visual cortex while independently varying both feature-based and spatial attention. Our results show that spatial and feature-based attention interacted: resampling of visual space depended on both the attended location and feature (color vs. temporal frequency). This interaction occurred similarly throughout visual cortex, regardless of an area’s overall feature preference. However, the interaction did depend on spatial sampling properties of voxels that prefer the attended feature. These findings are parsimoniously explained by variations in the precision of an attentional gain field. Our results demonstrate that the deployment of spatial attention is tailored to the spatial sampling properties of units that are sensitive to the attended feature.

Abstract Conscious perception alternates between the two eyes’ images during binocular rivalry. How hierarchical processes in our brain interact to resolve visual competition to generate conscious perception remains unclear. Here we investigated the mesoscale neural circuitry for binocular rivalry in human cortical and subcortical areas using high-resolution functional MRI at 7 Tesla. Eye-specific response modulation in binocular rivalry was strongest in the superficial layers of V1 ocular dominance columns (ODCs), and more synchronized in the superficial and deep layers. The intraparietal sulcus (IPS) generated stronger eye-specific response modulation and increased effective connectivity to the early visual cortex during binocular rivalry compared to monocular “replay” simulations. Although there was no evidence of eye-specific rivalry modulation in the lateral geniculate nucleus (LGN) of the thalamus, strong perceptual rivalry modulation can be found in its parvocellular (P) subdivision. Finally, IPS and ventral pulvinar showed robust perceptual rivalry modulation and increased connectivity to the early visual cortex. These findings demonstrate that local interocular competition arises from lateral mutual inhibition between V1 ODCs, and feedback signals from IPS to visual cortex and visual thalamus further synchronize and resolve visual competition to generate conscious perception. Graphical abstract Highlights Eye-specific rivalry modulation is strongest in the superficial layers of V1 ODCs and more synchronized in superficial and deep layers IPS generates stronger eye-specific response modulation and increases connectivity to V1 during rivalry compared to replay LGN activity shows no evidence of eye-specific rivalry modulation but strong perceptual rivalry modulation in its P subdivision IPS and ventral pulvinar show robust perceptual rivalry modulation and increased connectivity to the early visual cortex

Abstract Ultra-high field MRI can functionally image the cerebral cortex of human subjects at the submillimeter scale of cortical columns and laminae. Here, we investigate both in concert, by, for the first time, imaging ocular dominance columns (ODCs) in primary visual cortex (V1) across different cortical depths. We ensured that putative ODC patterns in V1 (a) are stable across runs, sessions, and scanners located in different continents (b) have a width (∼1.3 mm) expected from post-mortem and animal work and (c) are absent at the retinotopic location of the blind spot. We then dissociated the effects of bottom-up thalamo-cortical input and attentional feedback processes on activity in V1 across cortical depth. Importantly, the separation of bottom-up information flows into ODCs allowed us to validly compare attentional conditions while keeping the stimulus identical throughout the experiment. We find that, when correcting for draining vein effects and using both model-based and model-free approaches, the effect of monocular stimulation is largest at deep and middle cortical depths. Conversely, spatial attention influences BOLD activity exclusively near the pial surface. Our findings show that simultaneous interrogation of columnar and laminar dimensions of the cortical fold can dissociate thalamocortical inputs from top-down processing, and allow the investigation of their interactions without any stimulus manipulation. Significance Statement The advent of ultra-high field fMRI allows for the study of the human brain non-invasively at submillimeter resolution, bringing the scale of cortical columns and laminae into focus. De Hollander et al imaged the ocular dominance columns and laminae of V1 in concert, while manipulating top-down attention. This allowed them to separate feedforward from feedback processes in the brain itself, without resorting to the manipulation of incoming information. Their results show how feedforward and feedback processes interact in the primary visual cortex, highlighting the different computational roles separate laminae play.

The human visual system is organized as a hierarchy of maps that share the retina's topography. Although retinotopic maps have been identified throughout the brain, how much of the brain is visually organized remains unknown. Here we demonstrate widespread stable visual organization beyond the traditional visual system by analyzing topographic connectivity with primary visual cortex during moviewatching, rest, and retinotopic mapping. Detailed visual-spatial organization derived from retinotopic connectivity is modulated by experimental condition. Specifically, traditionally visual regions alternate with default mode network and hippocampus in preferentially representing the center of the visual field. This visual role of hippocampus would allow it to implement sensory predictions by interfacing between abstract memories and concrete perceptions. These results indicate that pervasive sensory coding facilitates the communication between far-flung brain regions.

Abstract Despite the importance of audition in spatial, semantic, and social function, there is no consensus regarding the detailed organisation of human auditory cortex. Using a novel computational model to analyse a high-powered naturalistic audiovisual movie-watching dataset, we simultaneously estimate spectral tuning properties and category selectivity to reveal the modes of organisation and computational motifs that characterise human auditory cortex. We find that regions more remote from the auditory core exhibit more compressive, non-linear response properties and finely-tuned, speech-selective receptive fields in low frequency portions of the tonotopic map. These patterns of organisation mirror aspects of the visual cortical hierarchy, wherein tuning properties progress from a stimulus category-agnostic ‘front end’ towards more advanced regions increasingly optimised for behaviorally relevant stimulus categories.

The pupil provides a rich, non-invasive measure of the neural bases of perception and cognition. It can particularly inform about the role of arousal-linked neuromodulation, which alters both cortical processing and pupil size. But a multitude of factors influence pupil size, which complicates interpretation. We measured pupil signals accompanying changes in multistable perception, i.e. accompanying endogenously-generated perceptual changes in the face of inconclusive sensory input. Perceptual changes were marked by a complex pupil response that could be decomposed into two components: a dilation tied to task execution and plausibly reflecting arousal-linked noradrenaline, and an overlapping constriction tied to the perceptual transient and plausibly reflecting altered cortical responses. Constriction, but not dilation, amplitude depended on the timing of perceptual changes, possibly providing an index of neural adaptation. We conclude that pupil size reflects several dissociable processes during perceptual multistability, and that arousal-linked neuromodulation shapes action but not perception in these circumstances.