Abstract Neuroscience has long been an essential driver of progress in artificial intelligence (AI). We propose that to accelerate progress in AI, we must invest in fundamental research in NeuroAI. A core component of this is the embodied Turing test, which challenges AI animal models to interact with the sensorimotor world at skill levels akin to their living counterparts. The embodied Turing test shifts the focus from those capabilities like game playing and language that are especially well-developed or uniquely human to those capabilities – inherited from over 500 million years of evolution – that are shared with all animals. Building models that can pass the embodied Turing test will provide a roadmap for the next generation of AI.

Abstract Lipids are fundamental building blocks of cells and their organelles, yet nanoscale resolution imaging of lipids has been largely limited to electron microscopy techniques. We introduce and validate a chemical tag that enables lipid membranes to be imaged optically at nanoscale resolution via a lipid-optimized form of expansion microscopy, which we call membrane expansion microscopy (mExM). mExM, via a novel post-expansion antibody labeling protocol, enables protein-lipid relationships to be imaged in organelles such as mitochondria, the endoplasmic reticulum, the nuclear membrane, and the Golgi apparatus. mExM may be of use in a variety of biological contexts, including the study of cell-cell interactions, intracellular transport, and neural connectomics.

Neuroscience has long been an essential driver of progress in artificial intelligence (AI). We propose that to accelerate progress in AI, we must invest in fundamental research in NeuroAI. A core component of this is the embodied Turing test, which challenges AI animal models to interact with the sensorimotor world at skill levels akin to their living counterparts. The embodied Turing test shifts the focus from those capabilities like game playing and language that are especially well-developed or uniquely human to those capabilities, inherited from over 500 million years of evolution, that are shared with all animals. Building models that can pass the embodied Turing test will provide a roadmap for the next generation of AI.

Based on a survey of the literature, we attempt to answer Frequently Asked Questions on issues of cortical uniformity vs. non-uniformity, the neural mechanisms of symbolic variable binding, and other issues highlighted in (Marcus, Marblestone and Dean. "The Atoms of Neural Computation". Science. 31 October 2014. Vol 346. Issue 6209).

Lipid membranes are key to the nanoscale compartmentalization of biological systems, but fluorescent visualization of them in intact tissues, with nanoscale precision, is challenging to do with high labeling density. Here, we report ultrastructural membrane expansion microscopy (umExM), which combines a novel membrane label and optimized expansion microscopy protocol, to support dense labeling of membranes in tissues for nanoscale visualization. We validated the high signal-to-background ratio, and uniformity and continuity, of umExM membrane labeling in brain slices, which supported the imaging of membranes and proteins at a resolution of ~60 nm on a confocal microscope. We demonstrated the utility of umExM for the segmentation and tracing of neuronal processes, such as axons, in mouse brain tissue. Combining umExM with optical fluctuation imaging, or iterating the expansion process, yielded ~35 nm resolution imaging, pointing towards the potential for electron microscopy resolution visualization of brain membranes on ordinary light microscopes.

We propose and theoretically study an approach to massively parallel single molecule peptide sequencing, based on single molecule measurement of the kinetics of probe binding to the N-termini of immobilized peptides. Unlike previous proposals, this method is robust to both weak and non-specific probe-target affinities, which we demonstrate by applying the method to a range of randomized affinity matrices consisting of relatively low-quality binders. This suggests a novel principle for proteomic measurement whereby highly non-optimized sets of low-affinity binders could be applicable for protein sequencing, thus shifting the burden of amino acid identification from biomolecular design to readout. Measurement of probe occupancy times, or of time-averaged fluorescence, should allow high-accuracy determination of N-terminal amino acid identity for realistic probe sets. The time-averaged fluorescence method scales well to extremely weak-binding probes. We argue that this method could lead to an approach with single amino acid resolution and the ability to distinguish many canonical and modified amino acids, even using highly non-optimized probe sets. This readout method should expand the design space for single molecule peptide sequencing by removing constraints on the properties of the fluorescent binding probes.

Abstract Mapping and molecularly annotating mammalian neural circuits is challenging due to the inability to uniquely label cells while also resolving subcellular features such as synaptic proteins or fine cellular processes. We argue that an ideal technology for connectomics would have the following characteristics: the capacity for robust distance-independent labeling, synaptic resolution, molecular interrogation, and scalable computational methods . The recent development of high-diversity cellular barcoding with RNA has provided a way to overcome the labeling limitations associated with spectral dyes, however performing all-optical circuit mapping has not been demonstrated because no method exists to image barcodes throughout cells at synaptic-resolution. Here we show ExBarSeq, an integrated method combining in situ sequencing of RNA barcodes, immunostaining, and Expansion Microscopy coupled with an end-to-end software pipeline that automatically extracts barcode identities from large imaging datasets without data processing bottlenecks. As a proof of concept, we applied ExBarSeq to thick tissue sections from mice virally infected with MAPseq viral vectors and demonstrated the extraction of 50 barcoded cells in the visual cortex as well as cell morphologies uncovered via immunostaining. The current work demonstrates high resolution multiplexing of exogenous barcodes and endogenous synaptic proteins and outlines a roadmap for molecularly annotated connectomics at a brain-wide scale.

Neuroscience has focused on the detailed implementation of computation, studying neural codes, dynamics and circuits. In machine learning, however, artificial neural networks tend to eschew precisely designed codes, dynamics or circuits in favor of brute force optimization of a cost function, often using simple and relatively uniform initial architectures. Two recent developments have emerged within machine learning that create an opportunity to connect these seemingly divergent perspectives. First, structured architectures are used, including dedicated systems for attention, recursion and various forms of short- and long-term memory storage. Second, cost functions and training procedures have become more complex and are varied across layers and over time. Here we think about the brain in terms of these ideas. We hypothesize that (1) the brain optimizes cost functions, (2) these cost functions are diverse and differ across brain locations and over development, and (3) optimization operates within a pre-structured architecture matched to the computational problems posed by behavior. Such a heterogeneously optimized system, enabled by a series of interacting cost functions, serves to make learning data-efficient and precisely targeted to the needs of the organism. We suggest directions by which neuroscience could seek to refine and test these hypotheses.

Abstract: Methods for highly multiplexed RNA imaging are limited in spatial resolution, and thus in their ability to localize transcripts to nanoscale and subcellular compartments. We adapt expansion microscopy, which physically expands biological specimens, for long-read untargeted and targeted in situ RNA sequencing. We applied untargeted expansion sequencing (ExSeq) to mouse brain, yielding readout of thousands of genes, including splice variants and novel transcripts. Targeted ExSeq yielded nanoscale-resolution maps of RNAs throughout dendrites and spines in neurons of the mouse hippocampus, revealing patterns across multiple cell types; layer-specific cell types across mouse visual cortex; and the organization and position-dependent states of tumor and immune cells in a human metastatic breast cancer biopsy. Thus ExSeq enables highly multiplexed mapping of RNAs, from nanoscale to system scale. One Sentence Summary In situ sequencing of physically expanded specimens enables multiplexed mapping of RNAs at nanoscale, subcellular resolution.