Abstract Extensive sampling of neural activity during rich cognitive phenomena is critical for robust understanding of brain function. We present the Natural Scenes Dataset (NSD), in which high-resolution fMRI responses to tens of thousands of richly annotated natural scenes are measured while participants perform a continuous recognition task. To optimize data quality, we develop and apply novel estimation and denoising techniques. Simple visual inspections of the NSD data reveal clear representational transformations along the ventral visual pathway. Further exemplifying the inferential power of the dataset, we use NSD to build and train deep neural network models that predict brain activity more accurately than state-of-the-art models from computer vision. NSD also includes substantial resting-state and diffusion data, enabling network neuroscience perspectives to constrain and enhance models of perception and memory. Given its unprecedented scale, quality, and breadth, NSD opens new avenues of inquiry in cognitive and computational neuroscience.

Abstract Deep neural networks (DNNs) trained to perform visual tasks learn representations that align with the hierarchy of visual areas in the primate brain. This finding has been taken to imply that the primate visual system forms representations by passing them through a hierarchical sequence of brain areas, just as DNNs form representations by passing them through a hierarchical sequence of layers. To test the validity of this assumption, we optimized DNNs not to perform visual tasks but to directly predict brain activity in human visual areas V1–V4. Using a massive sampling of human brain activity, we constructed brain-optimized networks that predict brain activity even more accurately than task-optimized networks. We show that brain-optimized networks can learn representations that diverge from those formed in a strict hierarchy. Brain-optimized networks do not need to align representations in V1–V4 with layer depth; moreover, they are able to accurately model anterior brain areas (e.g., V4) without computing intermediary representations associated with posterior brain areas (e.g., V1). Our results challenge the view that human visual areas V1–V4 act—like the early layers of a DNN—as a serial pre-processing sequence for higher areas, and suggest they may subserve their own independent functions.

ABSTRACT Converging, cross-species evidence indicates that memory for time is supported by hippocampal area CA1 and entorhinal cortex. However, limited evidence characterizes how these regions preserve temporal memories over long timescales (e.g., months). At long timescales, memoranda may be encountered in multiple temporal contexts, potentially creating interference. Here, using 7T fMRI, we measured CA1 and entorhinal activity patterns as human participants viewed thousands of natural scene images distributed, and repeated, across many months. We show that memory for an image’s original temporal context was predicted by the degree to which CA1/entorhinal activity patterns from the first encounter with an image were re-expressed during re-encounters occurring minutes to months later. Critically, temporal memory signals were dissociable from predictors of recognition confidence, which were carried by distinct medial temporal lobe expressions. These findings suggest that CA1 and entorhinal cortex preserve temporal memories across long timescales by coding for and reinstating temporal context information.

ABSTRACT The ventral visual pathway is well known to be involved in recognizing and categorizing objects (Kanwisher and Dilks, 2013). Three color-biased areas have also been found between face and place selective areas in the ventral visual pathway (Lafer-Sousa et al., 2016). To understand the function of these color-biased areas in a region known for object recognition, we analyzed the Natural Scenes Dataset (NSD; Allen et al., 2022), a large 7T fMRI dataset from 8 participants who viewed up to 30,000 trials of images of colored natural scenes. In a whole-brain analysis, we correlated the average color saturation of the images and the voxel responses, revealing color-biased areas that diverge into two streams in the ventral visual pathway, beginning in V4 and extending medially and laterally of the Fusiform Face Area in both hemispheres. We drew regions of interest (ROIs) for the two streams and found that the images for each ROI that evoked the largest responses had certain characteristics: They contained food, contained circular objects, had higher color saturation, contained warmer hues, and had more luminance entropy. A multiple linear regression showed that the presence of food in images was the strongest predictor of voxel responses in the medial and lateral color-biased regions for all eight participants, but that color saturation also contributed independently to voxel responses. Our results show that these areas are food-selective and color biased. We suggest that these streams might be involved in using color to recognize and judge the properties of food.

Abstract Quantitative assessment of the brain’s structural connectivity in the perinatal stage is useful for studying normal and abnormal neurodevelopment. However, estimation of the structural connectome from diffusion MRI data involves a series of complex and ill-posed computations. For the perinatal period, this analysis is further challenged by the rapid brain development and difficulties of imaging subjects at this stage. These factors, along with high inter-subject variability, have made it difficult to chart the normative development of the structural connectome. Hence, there is a lack of baseline trends in connectivity metrics that can be used as reliable references for assessing normal and abnormal brain development at this critical stage. In this paper we propose a computational framework, based on spatio-temporal atlases, for determining such baselines. We apply the framework on data from 169 subjects between 33 and 45 postmenstrual weeks. We show that this framework can unveil clear and strong trends in the development of structural connectivity in the perinatal stage. Some of our interesting findings include that connection weighting based on neurite density produces more consistent trends and that the trends in global efficiency, local efficiency, and characteristic path length are more consistent than in other metrics.