Abstract The Spatial Molecular Imaging platform (CosMx TM SMI, NanoString Technologies, Seattle, WA) utilizes high-plex in-situ imaging chemistry for both RNA and protein detection. This automated instrument provides 1000’s of plex, at high sensitivity (1 to 2 copies/cell), very low error rate (0.0092 false calls/cell) and background (∼0.04 counts/cell). The imaging system generates three-dimensional super-resolution localization of analytes at ∼2 million cells per sample, four samples per run. Cell segmentation is morphology-based using antibodies, compatible with FFPE samples. Multiomic data (980 RNAs, 108 proteins) were measured at subcellular resolution using FFPE tissues (non-small cell lung (NSCLC) and breast cancer) and allowed identification of over 18 distinct cell types, 10 unique tumor microenvironments, and 100 pairwise ligand-receptor interactions. Over 800,000 single cells and ∼260 million transcripts data are released into the public domain allowing extended data analysis by the entire spatial biology research community.

Abstract Recent technological advancements have enabled spatially resolved transcriptomic profiling but at multi-cellular resolution. The task of cell type deconvolution has been introduced to disentangle discrete cell types from such multi-cellular spots. However, existing datasets for cell type deconvolution are limited in scale, predominantly encompassing data on mice, and are not designed for human immuno-oncology. In order to overcome these limitations and promote comprehensive investigation of cell type deconvolution for human immuno-oncology, we introduce a large-scale spatial transcriptomic dataset named S patial CTD, encompassing 1.8 million cells from the human tumor microenvironment across the lung, kidney, and liver. Distinct from existing approaches that primarily depend on single-cell RNA sequencing data as a reference without incorporating spatial information, we introduce Graph Neural Network-based method (i.e., GNND econvolver ) that effectively utilize the spatial information from reference samples, and extensive experiments show that GNND econvolver often outperforms existing state-of-the-art methods by a substantial margin, without requiring single-cell RNA-seq data. To enable comprehensive evaluations on spatial transcriptomics data from flexible protocols, we provide an online tool capable of converting spatial transcriptomic data from other platforms (e.g., 10x Visium, MERFISH and sci-Space) into pseudo spots, featuring adjustable spot size. The S patial CTD dataset and GNND econvolver implementation are available at https://github.com/OmicsML/SpatialCTD , and the online converter tool can be accessed at https://omicsml.github.io/SpatialCTD/ .

Motivation: Fluorescent microscopy imaging is vital to capturing single-cell spatial data, characterizing tissue organization and facilitating comprehensive analysis of cellular state. Advancements in fluorescent microscopy imaging technologies have enabled precise downstream cellular analysis, particularly in cell segmentation. Accurate segmentation of individual cells allows better profiling and understanding of cell properties and behaviors. The majority of existing segmentation methods predominantly concentrate on enhancing segmentation algorithms, and their effectiveness strongly relies on the input stained image quality. Factors such as high cellular density, indistinct cell boundaries, and staining artifacts can result in uneven and low-quality staining, particularly causing missing or unclear membrane staining. These artifacts adversely impact the efficacy of the subsequent cell segmentation methods.Results: To tackle this insufficient membrane staining, we propose a novel approach, MEM-GAN, to generate high-quality membranes for cells with missing or weak membranes. Inspired by advanced style transfer techniques in computer vision, MEM-GAN styles the content of the cells with missing or weak membranes into cells with integrated membrane staining. Considering the differences in membrane morphology between epithelial/tumor cells and immune cells, MEM-GAN deals with tumor and immune cells separately, not only enhancing membrane staining for cells with partially weak membrane signals but also generating membranes for cells with only nuclear channels. The proposed MEM-GAN is evaluated using the publicly available CosMx dataset. Experimental results demonstrate significant improvements in image staining quality, more accurate representation of membrane morphology characteristics, and better performance in downstream segmentation tasks. MEM-GAN is flexibly adapted and applied to other spatially resolved transcriptomics datasets, such as MERFISH and FISHseq. Our work provides a new perspective on tackling the challenges in cell segmentation from fluorescent microscopy image restoration. Availability and implementation: The implementation of MEM-GAN is open-source and available at the github repository https://github.com/OmicsML/Mem-GAN. The interactive webserver-based demo of MEM-GAN can be accessed at https://omicsml.ai/memgan.

Recent technological advancements have enabled spatially resolved transcriptomic profiling but at a multicellular resolution that is more cost-effective. The task of cell type deconvolution has been introduced to disentangle discrete cell types from such multicellular spots. However, existing benchmark datasets for cell type deconvolution are either generated from simulation or limited in scale, predominantly encompassing data on mice and are not designed for human immuno-oncology. To overcome these limitations and promote comprehensive investigation of cell type deconvolution for human immuno-oncology, we introduce a large-scale spatial transcriptomic deconvolution benchmark dataset named SpatialCTD, encompassing 1.8 million cells and 12,900 pseudo spots from the human tumor microenvironment across the lung, kidney, and liver. In addition, SpatialCTD provides more realistic reference than those generated from single-cell RNA sequencing (scRNA-seq) data for most reference-based deconvolution methods. To utilize the location-aware SpatialCTD reference, we propose a graph neural network-based deconvolution method (i.e., GNNDeconvolver). Extensive experiments show that GNNDeconvolver often outperforms existing state-of-the-art methods by a substantial margin, without requiring scRNA-seq data. To enable comprehensive evaluations of spatial transcriptomics data from flexible protocols, we provide an online tool capable of converting spatial transcriptomic data from various platforms (e.g., 10× Visium, MERFISH, and sci-Space) into pseudo spots, featuring adjustable spot size. The SpatialCTD dataset and GNNDeconvolver implementation are available at https://github.com/OmicsML/SpatialCTD, and the online converter tool can be accessed at https://omicsml.github.io/SpatialCTD/.