Perceptual processing along the ventral visual pathway to the hippocampus is hypothesized to be substantiated by signal transformation from retinotopic space to relational space, which represents interrelations among constituent visual elements. However, our visual perception necessarily reflects the first person’s perspective based on the retinotopic space. To investigate this two-facedness of visual perception, we compared neural activities in the temporal lobe (anterior inferotemporal cortex, perirhinal and parahippocampal cortices, and hippocampus) between when monkeys gazed on an object and when they fixated on the screen center with an object in their peripheral vision. We found that in addition to the spatially invariant object signal, the temporal lobe areas automatically represent a large-scale background image, which specify the subject’s viewing location. These results suggest that a combination of two distinct visual signals on relational space and retinotopic space may provide the first person’s perspective serving for perception and presumably subsequent episodic memory.

Neural dynamics reflect canonical computations that relay and transform information in the brain. Previous studies have identified the neural population dynamics in many individual brain regions as a trajectory geometry in a low-dimensional neural space. However, whether these populations share particular geometric patterns across brain-wide neural populations remains unclear. Here, by mapping neural dynamics widely across temporal/frontal/limbic regions in the cortical and subcortical structures of monkeys, we show that 10 neural populations, including 2,500 neurons, propagate visual item information in a stochastic manner. We found that the visual inputs predominantly evoked rotational dynamics in the higher-order visual area, the TE and its downstream striatum tail, while curvy/straight dynamics appeared more frequently downstream in the orbitofrontal/hippocampal network. These geometric changes were not deterministic but rather stochastic according to their respective emergence rates. These results indicated that visual information propagates as a heterogeneous mixture of stochastic neural population signals in the brain.

Neural population dynamics, presumably fundamental computational units in the brain, provide a key framework for understanding information processing in the sensory, cognitive, and motor functions. However, neural population dynamics is not explicitly related to the conventional analytic framework for single-neuron activity, i.e., representational models that analyze neuronal modulations associated with cognitive and motor parameters. In this study, we applied a recently developed state-space analysis to incorporate the representational models into the dynamic model in combination with these parameters. We compared neural population dynamics between continuous and categorical task parameters during two visual recognition tasks, using the datasets originally designed for a single-neuron approach. We successfully extracted neural population dynamics in the regression subspace, which represent modulation dynamics for both continuous and categorical task parameters with reasonable temporal characteristics. Furthermore, we combined the classical optimal-stimulus analysis paradigm for the single-neuron approach (i.e., stimulus identified as maximum neural responses) into the dynamic model, and found that the most prominent modulation dynamics at the lower dimension were derived from these optimal responses. Thus, our approach provides a unified framework for incorporating knowledge acquired with the single-neuron approach into the dynamic model as a standard procedure for describing neural modulation dynamics in the brain.