Abstract 3D electron microscopy (EM) has been successful at mapping invertebrate nervous systems, but the approach has been limited to small chunks of mammalian brains. To scale up to larger volumes, we have built a computational pipeline for processing petascale image datasets acquired by serial section EM, a popular form of 3D EM. The pipeline employs convolutional nets to compute the nonsmooth transformations required to align images of serial sections containing numerous cracks and folds, detect neuronal boundaries, label voxels as axon, dendrite, soma, and other semantic categories, and detect synapses and assign them to presynaptic and postsynaptic segments. The output of neuronal boundary detection is segmented by mean affinity agglomeration with semantic and size constraints. Pipeline operations are implemented by leveraging distributed and cloud computing. Intermediate results of the pipeline are held in cloud storage, and can be effortlessly viewed as images, which aids debugging. We applied the pipeline to create an automated reconstruction of an EM image volume spanning four visual cortical areas of a mouse brain. Code for the pipeline is publicly available, as is the reconstructed volume.

Abstract Serial-section electron microscopy (ssEM) is the method of choice for studying macroscopic biological samples at extremely high resolution in three dimensions. In the nervous system, nanometer-scale images are necessary to reconstruct dense neural wiring diagrams in the brain, so called connectomes . In order to use this data, consisting of up to 10 8 individual EM images, it must be assembled into a volume, requiring seamless 2D stitching from each physical section followed by 3D alignment of the stitched sections. The high throughput of ssEM necessitates 2D stitching to be done at the pace of imaging, which currently produces tens of terabytes per day. To achieve this, we present a modular volume assembly software pipeline ASAP (Assembly Stitching and Alignment Pipeline) that is scalable to datasets containing petabytes of data and parallelized to work in a distributed computational environment. The pipeline is built on top of the Render [18] services used in the volume assembly of the brain of adult Drosophila melanogaster [2]. It achieves high throughput by operating on the meta-data and transformations of each image stored in a database, thus eliminating the need to render intermediate output. ASAP is modular, allowing for easy incorporation of new algorithms without significant changes in the workflow. The entire software pipeline includes a complete set of tools for stitching, automated quality control, 3D section alignment, and final rendering of the assembled volume to disk. ASAP has been deployed for continuous processing of several large-scale datasets of the mouse visual cortex and human brain samples including one cubic millimeter of mouse visual cortex [1, 25] at speeds that exceed imaging. The pipeline also has multi-channel processing capabilities and can be applied to fluorescence and multi-modal datasets like array tomography.

Abstract To understand the brain we must relate neurons’ functional responses to the circuit architecture that shapes them. Here, we present a large functional connectomics dataset with dense calcium imaging of a millimeter scale volume. We recorded activity from approximately 75,000 neurons in primary visual cortex (VISp) and three higher visual areas (VISrl, VISal and VISlm) in an awake mouse viewing natural movies and synthetic stimuli. The functional data were co-registered with a volumetric electron microscopy (EM) reconstruction containing more than 200,000 cells and 0.5 billion synapses. Subsequent proofreading of a subset of neurons in this volume yielded reconstructions that include complete dendritic trees as well the local and inter-areal axonal projections that map up to thousands of cell-to-cell connections per neuron. Here, we release this dataset as an open-access resource to the scientific community including a set of tools that facilitate data retrieval and downstream analysis. In accompanying papers we describe our findings using the dataset to provide a comprehensive structural characterization of cortical cell types 1–3 and the most detailed synaptic level connectivity diagram of a cortical column to date 2 , uncovering unique cell-type specific inhibitory motifs that can be linked to gene expression data 4 . Functionally, we identify new computational principles of how information is integrated across visual space 5 , characterize novel types of neuronal invariances 6 and bring structure and function together to decipher a general principle that wires excitatory neurons within and across areas 7, 8 .

Mammalian cortex features a large diversity of neuronal cell types, each with characteristic anatomical, molecular and functional properties. Synaptic connectivity rules powerfully shape how each cell type participates in the cortical circuit, but comprehensively mapping connectivity at the resolution of distinct cell types remains difficult. Here, we used millimeter-scale volumetric electron microscopy to investigate the connectivity of inhibitory neurons across a dense neuronal population spanning all layers of mouse visual cortex with synaptic resolution. We classified all 1183 excitatory neurons within a 100 micron column into anatomical subclasses using quantitative morphological and synapse features based on full dendritic reconstructions, finding both familiar subclasses corresponding to axonal projections and novel intralaminar distinctions based on synaptic properties. To relate these subclasses to single-cell connectivity, we reconstructed all 164 inhibitory interneurons in the same column, producing a wiring diagram of inhibition with more than 70,000 synapses. We found widespread cell-type-specific inhibition, including interneurons selectively targeting certain excitatory subpopulations among spatially intermingled neurons in layer 2/3, layer 5, and layer 6. Globally, inhibitory connectivity was organized into "motif groups," heterogeneous collections of cells that collectively target both perisomatic and dendritic compartments of the same combinations of excitatory subtypes. We also discovered a novel category of disinhibitory-specialist interneuron that preferentially targets basket cells. Collectively, our analysis revealed new organizing principles for cortical inhibition and will serve as a powerful foundation for linking modern multimodal neuronal atlases with the cortical wiring diagram.

Serial-section electron microscopy is the method of choice for studying cellular structure and network connectivity in the brain. We have built a pipeline of parallel imaging using transmission electron automated microscopes (piTEAM) that scales this technology and enables the acquisition of petascale datasets containing local cortical microcircuits. The distributed platform is composed of multiple transmission electron microscopes that image, in parallel, different sections from the same block of tissue, all under control of a custom acquisition software (pyTEM) that implements 24/7 continuous autonomous imaging. The suitability of this architecture for large scale electron microscopy imaging was demonstrated by acquiring a volume of more than 1 mm3 of mouse neocortex spanning four different visual areas. Over 26,500 ultrathin tissue sections were imaged, yielding a dataset of more than 2 petabytes. Our current burst imaging rate is 500 Mpixel/s (image capture only) per microscope and net imaging rate is 100 Mpixel/s (including stage movement, image capture, quality control, and post processing). This brings the combined burst acquisition rate of the pipeline to 3 Gpixel/s and the net rate to 600 Mpixel/s with six microscopes running acquisition in parallel, which allowed imaging a cubic millimeter of mouse visual cortex at synaptic resolution in less than 6 months.

The neocortex is one of the most critical structures that makes us human, and it is involved in a variety of cognitive functions from perception to sensory integration and motor control. Composed of repeated modules, or microcircuits, the neocortex relies on distinct cell types as its fundamental building blocks. Despite significant progress in characterizing these cell types , an understanding of the complete synaptic partners associated with individual excitatory cell types remain elusive. Here, we investigate the connectivity of arguably the most well recognized and studied excitatory neuron in the neocortex: the large thick tufted layer 5 pyramidal cell also known as extra telencephalic cell (ET) . Although the synaptic interactions of ET neurons have been extensively explored, a comprehensive quantitative characterization of their local connectivity and their projections to other cortical areas remains lacking. To address this knowledge gap, we leveraged a 1 mm3 electron microscopic (EM) dataset encompassing primary and higher order visual areas. Our findings provide unexpected insights, as we observed that ETs formed the majority of their local synapses with inhibitory targets and the majority of their inter-areal synapses with excitatory targets. Locally, recurrent synapses with other ET neurons are sparse (~3%) and we identify previously undisclosed excitatory synaptic partners. We further reveal that ET neurons preferentially target specific inhibitory cell types in a feedback loop. These findings provide a novel view of the role of ET pyramidal cells in the cortex, highlighting their limited local recurrent connections while exerting widespread inhibition to regulate local ET networks as they transmit the information subcortically. Our results also highlight a circuit motif where a subclass of excitatory cells forms a sub-circuit with specific inhibitory cell types, providing a framework to investigate other excitatory cell types.

Advances in Electron Microscopy, image segmentation and computational infrastructure have given rise to large-scale and richly annotated connectomic datasets which are increasingly shared across communities. To enable collaboration, users need to be able to concurrently create new annotations and correct errors in the automated segmentation by proofreading. In large datasets, every proofreading edit relabels cell identities of millions of voxels and thousands of annotations like synapses. For analysis, users require immediate and reproducible access to this constantly changing and expanding data landscape. Here, we present the Connectome Annotation Versioning Engine (CAVE), a computational infrastructure for immediate and reproducible connectome analysis in up-to petascale datasets (~1mm3) while proofreading and annotating is ongoing. For segmentation, CAVE provides a distributed proofreading infrastructure for continuous versioning of large reconstructions. Annotations in CAVE are defined by locations such that they can be quickly assigned to the underlying segment which enables fast analysis queries of CAVE's data for arbitrary time points. CAVE supports schematized, extensible annotations, so that researchers can readily design novel annotation types. CAVE is already used for many connectomics datasets, including the largest datasets available to date.

The detection of novel stimuli is critical to learn and survive in a dynamic environment. Though novel stimuli powerfully affect brain activity, their impact on specific cell types and circuits is not well understood. Disinhibition is one candidate mechanism for novelty-induced enhancements in activity. Here we characterize the impact of stimulus novelty on disinhibitory circuit components using longitudinal 2-photon calcium imaging of Vip, Sst, and excitatory populations in the mouse visual cortex. Mice learn a behavioral task with stimuli that become highly familiar, then are tested on both familiar and novel stimuli. Mice consistently perform the task with novel stimuli, yet responses to stimulus presentations and stimulus omissions are dramatically altered. Further, we find that novelty modifies coding of visual as well as behavioral and task information. At the population level, the direction of these changes is consistent with engagement of the Vip-Sst disinhibitory circuit. At the single cell level, we identify separate clusters of Vip, Sst, and excitatory cells with unique patterns of novelty-induced coding changes. This study and the accompanying open-access dataset reveals the impact of novelty on sensory and behavioral representations in visual cortical circuits and establishes novelty as a key driver of cellular functional diversity.