Abstract Learning from experience depends at least in part on changes in neuronal connections. We present the largest map of connectivity to date between cortical neurons of a defined type (L2/3 pyramidal cells), which was enabled by automated analysis of serial section electron microscopy images with improved handling of image defects. We used the map to identify constraints on the learning algorithms employed by the cortex. Previous cortical studies modeled a continuum of synapse sizes (Arellano et al. 2007) by a log-normal distribution (Loewenstein, Kuras, and Rumpel 2011; de Vivo et al. 2017; Santuy et al. 2018). A continuum is consistent with most neural network models of learning, in which synaptic strength is a continuously graded analog variable. Here we show that synapse size, when restricted to synapses between L2/3 pyramidal cells, is well-modeled by the sum of a binary variable and an analog variable drawn from a log-normal distribution. Two synapses sharing the same presynaptic and postsynaptic cells are known to be correlated in size (Sorra and Harris 1993; Koester and Johnston 2005; Bartol et al. 2015; Kasthuri et al. 2015; Dvorkin and Ziv 2016; Bloss et al. 2018; Motta et al. 2019). We show that the binary variables of the two synapses are highly correlated, while the analog variables are not. Binary variation could be the outcome of a Hebbian or other synaptic plasticity rule depending on activity signals that are relatively uniform across neuronal arbors, while analog variation may be dominated by other influences. We discuss the implications for the stability-plasticity dilemma.

Summary We present a semi-automated reconstruction of L2/3 mouse primary visual cortex from 3 million cubic microns of electron microscopic images, including pyramidal and inhibitory neurons, astrocytes, microglia, oligodendrocytes and precursors, pericytes, vasculature, mitochondria, and synapses. Visual responses of a subset of pyramidal cells are included. The data are being made publicly available, along with tools for programmatic and 3D interactive access. The density of synaptic inputs onto inhibitory neurons varies across cell classes and compartments. We uncover a compartment-specific correlation between mitochondrial coverage and synapse density. Frequencies of connectivity motifs in the graph of pyramidal cells are predicted quite accurately from node degrees using the configuration model of random graphs. Cells receiving more connections from nearby cells exhibit stronger and more reliable visual responses. These example findings illustrate the resource’s utility for relating structure and function of cortical circuits as well as for neuronal cell biology.

Abstract 3D electron microscopy (EM) has been successful at mapping invertebrate nervous systems, but the approach has been limited to small chunks of mammalian brains. To scale up to larger volumes, we have built a computational pipeline for processing petascale image datasets acquired by serial section EM, a popular form of 3D EM. The pipeline employs convolutional nets to compute the nonsmooth transformations required to align images of serial sections containing numerous cracks and folds, detect neuronal boundaries, label voxels as axon, dendrite, soma, and other semantic categories, and detect synapses and assign them to presynaptic and postsynaptic segments. The output of neuronal boundary detection is segmented by mean affinity agglomeration with semantic and size constraints. Pipeline operations are implemented by leveraging distributed and cloud computing. Intermediate results of the pipeline are held in cloud storage, and can be effortlessly viewed as images, which aids debugging. We applied the pipeline to create an automated reconstruction of an EM image volume spanning four visual cortical areas of a mouse brain. Code for the pipeline is publicly available, as is the reconstructed volume.

ABSTRACT Neurons in the developing brain undergo extensive structural refinement as nascent circuits adopt their mature form 1 . This transformation is facilitated by the engulfment and degradation of excess axonal branches and inappropriate synapses by surrounding glial cells, including microglia and astrocytes 2,3 . However, the small size of phagocytic organelles and the complex, highly ramified morphology of glia has made it difficult to determine the contribution of these and other glial cell types to this process. Here, we used large scale, serial electron microscopy (ssEM) with computational volume segmentation to reconstruct the complete 3D morphologies of distinct glial types in the mouse visual cortex. Unexpectedly, we discovered that the fine processes of oligodendrocyte precursor cells (OPCs), a population of abundant, highly dynamic glial progenitors 4 , frequently surrounded terminal axon branches and included numerous phagolysosomes (PLs) containing fragments of axons and presynaptic terminals. Single- nucleus RNA sequencing indicated that cortical OPCs express key phagocytic genes, as well as neuronal transcripts, consistent with active axonal engulfment. PLs were ten times more abundant in OPCs than in microglia in P36 mice, and declined with age and lineage progression, suggesting that OPCs contribute very substantially to refinement of neuronal circuits during later phases of cortical development.

Mammalian neocortex contains a highly diverse set of cell types. These types have been mapped systematically using a variety of molecular, electrophysiological and morphological approaches. Each modality offers new perspectives on the variation of biological processes underlying cell type specialization. Cellular scale electron microscopy (EM) provides dense ultrastructural examination and an unbiased perspective into the subcellular organization of brain cells, including their synaptic connectivity and nanometer scale morphology. It also presents a clear challenge for analysis to identify cell-types in data that contains tens of thousands of neurons, most of which have incomplete reconstructions. To address this challenge, we present the first systematic survey of the somatic region of all cells within a cubic millimeter of cortex using quantitative features obtained from EM. This analysis demonstrates a surprising sufficiency of the perisomatic region to identify cell-types, including types defined primarily based on their connectivity patterns. We then describe how this classification facilitates cell type specific connectivity characterization and locating cells with rare connectivity patterns in the dataset.

We are now in the era of millimeter-scale electron microscopy (EM) volumes collected at nanometer resolution (Shapson-Coe et al., 2021; Consortium et al., 2021). Dense reconstruction of cellular compartments in these EM volumes has been enabled by recent advances in Machine Learning (ML) (Lee et al., 2017; Wu et al., 2021; Lu et al., 2021; Macrina et al., 2021). Automated segmentation methods can now yield exceptionally accurate reconstructions of cells, but despite this accuracy, laborious post-hoc proofreading is still required to generate large connectomes free of merge and split errors. The elaborate 3-D meshes of neurons produced by these segmentations contain detailed morphological information, from the diameter, shape, and branching patterns of axons and dendrites, down to the fine-scale structure of dendritic spines. However, extracting information about these features can require substantial effort to piece together existing tools into custom workflows. Building on existing open-source software for mesh manipulation, here we present "NEURD", a software package that decomposes each meshed neuron into a compact and extensively-annotated graph representation. With these feature-rich graphs, we implement workflows for state of the art automated post-hoc proofreading of merge errors, cell classification, spine detection, axon-dendritic proximities, and other features that can enable many downstream analyses of neural morphology and connectivity. NEURD can make these new massive and complex datasets more accessible to neuroscience researchers focused on a variety of scientific questions.

Abstract Neurons in the neocortex exhibit astonishing morphological diversity which is critical for properly wiring neural circuits and giving neurons their functional properties. However, the organizational principles underlying this morphological diversity remain an open question. Here, we took a data-driven approach using graph-based machine learning methods to obtain a low-dimensional morphological “bar code” describing more than 30,000 excitatory neurons in mouse visual areas V1, AL and RL that were reconstructed from the millimeter scale MICrONS serial-section electron microscopy volume. Contrary to previous classifications into discrete morphological types (m-types), our data-driven approach suggests that the morphological landscape of cortical excitatory neurons is better described as a continuum, with a few notable exceptions in layers 5 and 6. Dendritic morphologies in layers 2–3 exhibited a trend towards a decreasing width of the dendritic arbor and a smaller tuft with increasing cortical depth. Inter-area differences were most evident in layer 4, where V1 contained more atufted neurons than higher visual areas. Moreover, we discovered neurons in V1 on the border to layer 5 which avoided deeper layers with their dendrites. In summary, we suggest that excitatory neurons’ morphological diversity is better understood by considering axes of variation than using distinct m-types.

Abstract Serial-section electron microscopy (ssEM) is the method of choice for studying macroscopic biological samples at extremely high resolution in three dimensions. In the nervous system, nanometer-scale images are necessary to reconstruct dense neural wiring diagrams in the brain, so called connectomes . In order to use this data, consisting of up to 10 8 individual EM images, it must be assembled into a volume, requiring seamless 2D stitching from each physical section followed by 3D alignment of the stitched sections. The high throughput of ssEM necessitates 2D stitching to be done at the pace of imaging, which currently produces tens of terabytes per day. To achieve this, we present a modular volume assembly software pipeline ASAP (Assembly Stitching and Alignment Pipeline) that is scalable to datasets containing petabytes of data and parallelized to work in a distributed computational environment. The pipeline is built on top of the Render [18] services used in the volume assembly of the brain of adult Drosophila melanogaster [2]. It achieves high throughput by operating on the meta-data and transformations of each image stored in a database, thus eliminating the need to render intermediate output. ASAP is modular, allowing for easy incorporation of new algorithms without significant changes in the workflow. The entire software pipeline includes a complete set of tools for stitching, automated quality control, 3D section alignment, and final rendering of the assembled volume to disk. ASAP has been deployed for continuous processing of several large-scale datasets of the mouse visual cortex and human brain samples including one cubic millimeter of mouse visual cortex [1, 25] at speeds that exceed imaging. The pipeline also has multi-channel processing capabilities and can be applied to fluorescence and multi-modal datasets like array tomography.

Understanding the evolution of the bilaterian brain requires a detailed exploration of the precise nature of cellular and subcellular differences between related brains. To define the anatomical substrates of evolutionary change in the nervous system, we undertook an electron micrographic reconstruction of the brain of the predatory nematode Pristionchus pacificus. A comparison with the brain of Caenorhabditis elegans, which diverged at least 100 million years ago, reveals a conserved nematode core connectome and a wide range of specific substrates of evolutionary change. These changes include differences in neuronal cell death, neuronal cell position, axo-dendritic projection patterns and many changes in synaptic connectivity of homologous neurons that display no obvious changes in overall neurite morphology and projection patterns. Differences in connectivity are distributed throughout the nervous system arguing against specific hot spots of evolutionary change and extend to differences in neuro/glia connectivity. We observed examples of apparent circuit drift, where changes in morphology and connectivity of a neuron do not appear to alter its behavioral output. In conclusion, our comprehensive comparison of distantly related nematode species provides novel vistas on patterns of conservation as well as the substrates of evolutionary change in the brain that span multiple organizational levels.

The neocortex is one of the most critical structures that makes us human, and it is involved in a variety of cognitive functions from perception to sensory integration and motor control. Composed of repeated modules, or microcircuits, the neocortex relies on distinct cell types as its fundamental building blocks. Despite significant progress in characterizing these cell types , an understanding of the complete synaptic partners associated with individual excitatory cell types remain elusive. Here, we investigate the connectivity of arguably the most well recognized and studied excitatory neuron in the neocortex: the large thick tufted layer 5 pyramidal cell also known as extra telencephalic cell (ET) . Although the synaptic interactions of ET neurons have been extensively explored, a comprehensive quantitative characterization of their local connectivity and their projections to other cortical areas remains lacking. To address this knowledge gap, we leveraged a 1 mm3 electron microscopic (EM) dataset encompassing primary and higher order visual areas. Our findings provide unexpected insights, as we observed that ETs formed the majority of their local synapses with inhibitory targets and the majority of their inter-areal synapses with excitatory targets. Locally, recurrent synapses with other ET neurons are sparse (~3%) and we identify previously undisclosed excitatory synaptic partners. We further reveal that ET neurons preferentially target specific inhibitory cell types in a feedback loop. These findings provide a novel view of the role of ET pyramidal cells in the cortex, highlighting their limited local recurrent connections while exerting widespread inhibition to regulate local ET networks as they transmit the information subcortically. Our results also highlight a circuit motif where a subclass of excitatory cells forms a sub-circuit with specific inhibitory cell types, providing a framework to investigate other excitatory cell types.