Abstract In COVID-19 caused by SARS-CoV-2 infection, the relationship between disease severity and the host immune response is not fully understood. Here we performed single-cell RNA sequencing in peripheral blood samples of five healthy donors and 13 COVID-19 patients including moderate, severe and convalescent cases. Through determining the transcriptional profiles of immune cells, coupled with assembled T cell receptor and B cell receptor sequences, we analyzed the functional properties of immune cells. Most cell types in COVID-19 patients showed a strong interferon-alpha response, and an overall acute inflammatory response. Moreover, intensive expansion of highly cytotoxic effector T cell subsets, such as CD4 + Effector-GNLY (Granulysin), CD8 + Effector-GNLY and NKT CD160, was associated with convalescence in moderate patients. In severe patients, the immune landscape featured a deranged interferon response, profound immune exhaustion with skewed T cell receptor repertoire and broad T cell expansion. These findings illustrate the dynamic nature of immune responses during the disease progression.

Abstract The Human Reference Atlas (HRA) is defined as a comprehensive, three-dimensional (3D) atlas of all the cells in the healthy human body. It is compiled by an international team of experts that develop standard terminologies linked to 3D reference objects describing anatomical structures. The third HRA release (v1.2) covers spatial reference data and ontology annotations for 26 organs. Experts access the HRA annotations via spreadsheets and view reference models in 3D editing tools. This paper introduces the Common Coordinate Framework Ontology (CCFO) v2.0.1 that interlinks specimen, biological structure, and spatial data together with the CCF API which makes the HRA programmatically accessible and interoperable with Linked Open Data (LOD). We detail how real-world user needs and experimental data guide CCFO design and implementation, present CCFO classes and properties together with examples of their usage, and report on technical validation performed. The CCFO graph database and API are used in the HuBMAP portal, Virtual Reality Organ Gallery, and other applications that support data queries across multiple, heterogeneous sources.

SUMMARY Dysfunctional immune response in the COVID-19 patients is a recurrent theme impacting symptoms and mortality, yet the detailed understanding of pertinent immune cells is not complete. We applied single-cell RNA sequencing to 284 samples from 205 COVID-19 patients and controls to create a comprehensive immune landscape. Lymphopenia and active T and B cell responses were found to coexist and associated with age, sex and their interactions with COVID-19. Diverse epithelial and immune cell types were observed to be virus-positive and showed dramatic transcriptomic changes. Elevation of ANXA1 and S100A9 in virus-positive squamous epithelial cells may enable the initiation of neutrophil and macrophage responses via the ANXA1-FPR1 and S100A8/9-TLR4 axes. Systemic upregulation of S100A8/A9, mainly by megakaryocytes and monocytes in the peripheral blood, may contribute to the cytokine storms frequently observed in severe patients. Our data provide a rich resource for understanding the pathogenesis and designing effective therapeutic strategies for COVID-19. HIGHLIGHTS Large-scale scRNA-seq analysis depicts the immune landscape of COVID-19 Lymphopenia and active T and B cell responses coexist and are shaped by age and sex SARS-CoV-2 infects diverse epithelial and immune cells, inducing distinct responses Cytokine storms with systemic S100A8/A9 are associated with COVID-19 severity

Predicting pathological complete response (pCR) to neoadjuvant chemotherapy (NAC) in triple-negative breast cancer (TNBC) patients accurately is direly needed for clinical decision making. pCR is also regarded as a strong predictor of overall survival. In this work, we propose a deep learning system to predict pCR to NAC based on serial pathology images stained with hematoxylin and eosin (H&E) and two immunohistochemical biomarkers (Ki67 and PHH3). To support human prior domain knowledge based guidance and enhance interpretability of the deep learning system, we introduce a human knowledge derived spatial attention mechanism to inform deep learning models of informative tissue areas of interest. For each patient, three serial breast tumor tissue sections from biopsy blocks were sectioned, stained in three different stains, and integrated. The resulting comprehensive attention information from the image triplets is used to guide our prediction system for prognostic tissue regions. The experimental dataset consists of 26,419 pathology image patches of 1,000 × 1,000 pixels from 73 TNBC patients treated with NAC. Image patches from randomly selected 43 patients are used as a training dataset and images patches from the rest 30 are used as a testing dataset. By the maximum voting from patch-level results, our proposed model achieves a 93% patient-level accuracy, outperforming baselines and other state-of-the-art systems, suggesting its high potential for clinical decision making. The codes, the documentation, and example data are available on an open source at: https://github.com/jkonglab/PCR_Prediction_Serial_WSIs_biomarkers

Abstract Background Retinal pigment epithelium (RPE) aging is an important cause of vision loss. As RPE aging is accompanied by changes in cell morphological features, an accurate segmentation of RPE cells is a prerequisite to such morphology analyses. Due the overwhelmingly large cell number, manual annotations of RPE cell borders are time-consuming. Computer based methods do not work well on cells with weak or missing borders in the impaired RPE sheet regions. Method To address such a challenge, we develop a semi-supervised deep learning approach, namely MultiHeadGAN, to segment low contrast cells from impaired regions in RPE flatmount images. The developed deep learning model has a multi-head structure that allows model training with only a small scale of human annotated data. To strengthen model learning effect, we further train our model with RPE cells without ground truth cell borders by generative adversarial networks. Additionally, we develop a new shape loss to guide the network to produce closed cell borders in the segmentation results. Results In this study, 155 annotated and 1,640 unlabeled image patches are included for model training. The testing dataset consists of 200 image patches presenting large impaired RPE regions. The average RPE segmentation performance of the developed model MultiHeadGAN is 85.4 (correct rate), 88.8 (weighted correct rate), 87.3 (precision), and 80.1 (recall), respectively. Compared with other state-of-the-art deep learning approaches, our method demonstrates superior qualitative and quantitative performance. Conclusions Suggested by our extensive experiments, our developed deep learning method can accurately segment cells from RPE flatmount microscopy images and is promising to support large scale cell morphological analyses for RPE aging investigations.

ABSTRACT For routine pathology diagnosis and imaging based biomedical research, Whole-Slide Image (WSI) analyses have been largely limited to a 2D tissue image space. For a more definitive tissue representation to support fine-resolution spatial and integrative analyses, it is critical to extend such tissue based investigations to a 3D tissue space with spatially aligned serial tissue WSIs in different stains, such as Hematoxylin and Eosin (H&E) and Immunohistochemistry (IHC) biomarkers. However, such WSI registration is technically challenged by the overwhelming image scale, the complex histology structure change, and the significant difference in tissue appearances in different stains. We propose a novel translation based deep learning registration network CycGANRegNet that spatially aligns serial WSIs stained in H&E and by IHC biomarkers without prior deformation information for the model training. First, synthetic IHC images are produced from H&E slides through a robust image synthesis algorithm. Next, the synthetic and the real IHC images are registered through a Fully Convolutional Network with multi-scaled deformable vector fields and a joint loss optimization. We perform the registration at the full image resolution, retaining the tissue details in the results. Evaluated with a dataset of 76 breast cancer patients with one H&E and two IHC serial WSIs for each patient, CycGANRegNet outperforms multiple state-of-the-art deep learning based and conventional pathology image registration methods. Our results suggest that CycGAN-RegNet can produce promising registration results with serial WSIs in different stains, enabling integrative 3D tissue-based biomedical investigations.

Abstract In the era of precision medicine, human tumor atlas oriented studies have been significantly facilitated by high-resolution, multi-modal tissue based microscopic pathology image analytics. To better support such tissue-based investigations, we develop Digital Pathology Laboratory (DPLab), a publicly available web-based platform, to assist biomedical research groups, non-technical end users, and clinicians for pathology Whole-Slide Image (WSI) visualization, annotation, analysis, and sharing via web browsers. A major advance of this work is the easy-to-follow methods to reconstruct three-dimension (3D) tissue image volumes by registering two-dimension (2D) whole-slide pathology images of serial tissue sections stained by hematoxylin and eosin (H&E), and immunohistochemistry (IHC). The integration of these serial slides stained by different methods provides cellular phenotype and pathophysiologic states in the context of a 3D tissue micro-environment. DPLab is hosted on a publicly accessible server and connected to a backend computational cluster for intensive image analysis computations, with results visualized, downloaded, and shared via a web interface. Equipped with an analysis toolbox of numerous image processing algorithms, DPLab supports continued integration of community-contributed algorithms and presents an effective solution to improve the accessibility and dissemination of image analysis algorithms by research communities. It represents the first step in making next generation tissue investigation tools widely available to the research community, enabling and facilitating discovery of clinically relevant disease mechanisms in a digital 3D tissue space.

Abstract Introduction Prevalently considered as the “gold-standard” for diagnosis of hepatic fibrosis and cirrhosis, the clinical liver needle biopsy is known to be subject to inadequate sampling and a high mis-sampling rate. However, quantifying such sampling bias has been difficult as generating a large number of needle biopsies from the same living patient is practically infeasible. We construct a three-dimension (3D) virtual liver tissue volume by spatially registered high resolution Whole Slide Images (WSIs) of serial liver tissue sections with a novel dynamic registration method. We further develop a Virtual Needle Biopsy Sampling (VNBS) method that mimics the needle biopsy sampling process. We apply the VNBS method to the reconstructed digital liver volume at different tissue locations and angles. Additionally, we quantify Collagen Proportionate Area (CPA) in all resulting virtual needle biopsies in 2D and 3D. Results The staging score of the center 2D longitudinal image plane from each 3D biopsy is used as the biopsy staging score, and the highest staging score of all sampled needle biopsies is the diagnostic staging score. The Mean Absolute Difference (MAD) in reference to the Scheuer and Ishak diagnostic staging scores are 0.22 and 1.00, respectively. The absolute Scheuer staging score difference in 22.22% of sampled biopsies is 1. By the Ishak staging method, 55.56% and 22.22% of sampled biopsies present score difference 1 and 2, respectively. There are 4 (Scheuer) and 6 (Ishak) out of 18 3D virtual needle biopsies with intra-needle variations. Additionally, we find a positive correlation between CPA and fibrosis stages by Scheuer but not Ishak method. Overall, CPA measures suffer large intra- and inter-needle variations. Conclusions The developed virtual liver needle biopsy sampling pipeline provides a computational avenue for investigating needle biopsy sampling bias with 3D virtual tissue volumes. This method can be applied to other tissue-based disease diagnoses where the needle biopsy sampling bias substantially affects the diagnostic results.

Abstract Liver fibrosis staging is clinically important for liver disease progression prediction. As the portal tract fibrotic quantity and size in a liver biopsy correlate with the fibrosis stage, an accurate analysis of portal tract regions is clinically critical. Manual annotations of portal tract regions, however, are time-consuming and subject to large inter- and intra-observer variability. To address such a challenge, we develop a Multiple Up-sampling and Spatial Attention guided UNet model (MUSA-UNet) to segment liver portal tract regions in whole-slide images of liver tissue slides. To enhance the segmentation performance, we propose to use depth-wise separable convolution, the spatial attention mechanism, the residual connection, and multiple up-sampling paths in the developed model. This study includes 53 histopathology whole slide images from patients who received liver transplantation. In total, 6,012 patches derived from 30 images are used for our deep learning model training and validation. The remaining 23 whole slide images are utilized for the model testing. The average liver portal tract segmentation performance of the developed MUSA-UNet is 0.94 (Precision), 0.85 (Recall), 0.89 (F1 Score), 0.89 (Accuracy), 0.80 (Jaccard Index), and 0.91 (Fowlkes–Mallows Index), respectively. The clinical Scheuer fibrosis stage presents a strong correlation with the resulting average portal tract fibrotic area (R=0.681, p<0.001) and portal tract percentage (R=0.335, p=0.02) computed from the MUSA-UNet segmentation results. In conclusion, our developed deep learning model MUSA-UNet can accurately segment portal tract regions from whole-slide images of liver tissue biopsies, presenting its promising potential to assist liver disease diagnosis in a computational manner.