We are now in the era of millimeter-scale electron microscopy (EM) volumes collected at nanometer resolution (Shapson-Coe et al., 2021; Consortium et al., 2021). Dense reconstruction of cellular compartments in these EM volumes has been enabled by recent advances in Machine Learning (ML) (Lee et al., 2017; Wu et al., 2021; Lu et al., 2021; Macrina et al., 2021). Automated segmentation methods can now yield exceptionally accurate reconstructions of cells, but despite this accuracy, laborious post-hoc proofreading is still required to generate large connectomes free of merge and split errors. The elaborate 3-D meshes of neurons produced by these segmentations contain detailed morphological information, from the diameter, shape, and branching patterns of axons and dendrites, down to the fine-scale structure of dendritic spines. However, extracting information about these features can require substantial effort to piece together existing tools into custom workflows. Building on existing open-source software for mesh manipulation, here we present "NEURD", a software package that decomposes each meshed neuron into a compact and extensively-annotated graph representation. With these feature-rich graphs, we implement workflows for state of the art automated post-hoc proofreading of merge errors, cell classification, spine detection, axon-dendritic proximities, and other features that can enable many downstream analyses of neural morphology and connectivity. NEURD can make these new massive and complex datasets more accessible to neuroscience researchers focused on a variety of scientific questions.

Abstract To understand the brain we must relate neurons’ functional responses to the circuit architecture that shapes them. Here, we present a large functional connectomics dataset with dense calcium imaging of a millimeter scale volume. We recorded activity from approximately 75,000 neurons in primary visual cortex (VISp) and three higher visual areas (VISrl, VISal and VISlm) in an awake mouse viewing natural movies and synthetic stimuli. The functional data were co-registered with a volumetric electron microscopy (EM) reconstruction containing more than 200,000 cells and 0.5 billion synapses. Subsequent proofreading of a subset of neurons in this volume yielded reconstructions that include complete dendritic trees as well the local and inter-areal axonal projections that map up to thousands of cell-to-cell connections per neuron. Here, we release this dataset as an open-access resource to the scientific community including a set of tools that facilitate data retrieval and downstream analysis. In accompanying papers we describe our findings using the dataset to provide a comprehensive structural characterization of cortical cell types 1–3 and the most detailed synaptic level connectivity diagram of a cortical column to date 2 , uncovering unique cell-type specific inhibitory motifs that can be linked to gene expression data 4 . Functionally, we identify new computational principles of how information is integrated across visual space 5 , characterize novel types of neuronal invariances 6 and bring structure and function together to decipher a general principle that wires excitatory neurons within and across areas 7, 8 .

The ongoing pursuit to map detailed brain structures at high resolution using electron microscopy (EM) has led to advancements in imaging that enable the generation of connectomic volumes that have reached the petabyte scale and are soon expected to reach the exascale for whole mouse brain collections. To tackle the high costs of managing these large-scale datasets, we have developed a data compression approach employing Variational Autoencoders (VAEs) to significantly reduce data storage requirements. Due to their ability to capture the complex patterns of EM images, our VAE models notably decrease data size while carefully preserving important image features pertinent to connectomics-based image analysis. Through a comprehensive study using human EM volumes (H01 dataset), we demonstrate how our approach can reduce data to as little as 1/128th of the original size without significantly compromising the ability to subsequently segment the data, outperforming standard data size reduction methods. This performance suggests that this method can greatly alleviate requirements for data management for connectomics applications, and enable more efficient data access and sharing. Additionally, we developed a cloud-based application named EM-Compressor on top of this work to enable on-the-fly interactive visualization: https://em-compressor-demonstration.s3.amazonaws.com/EM-Compressor+App.mp4.

The immense scale and complexity of neuronal electron microscopy (EM) datasets pose significant challenges in data processing, validation, and interpretation, necessitating the development of efficient, automated, and scalable error-detection methodologies. This paper proposes a novel approach that employs mesh processing techniques to identify potential error locations near neuronal tips. Error detection at tips is a particularly important challenge since these errors usually indicate that many synapses are falsely split from their parent neuron, injuring the integrity of the connectomic reconstruction. Additionally, we draw implications and results from an implementation of this error detection in a semi-automated proofreading pipeline. Manual proofreading is a laborious, costly, and currently necessary method for identifying the errors in the machine learning based segmentation of neural tissue. This approach streamlines the process of proofreading by systematically highlighting areas likely to contain inaccuracies and guiding proofreaders towards potential continuations, accelerating the rate at which errors are corrected.