Nuclei mymargin segmentation is a fundamental task for various computational pathology applications including nuclei morphology analysis, cell type classification, and cancer grading. Deep learning has emerged as a powerful approach to segmenting nuclei but the accuracy of convolutional neural networks (CNNs) depends on the volume and the quality of labeled histopathology data for training. In particular, conventional CNN-based approaches lack structured prediction capabilities, which are required to distinguish overlapping and clumped nuclei. Here, we present an approach to nuclei segmentation that overcomes these challenges by utilizing a conditional generative adversarial network (cGAN) trained with synthetic and real data. We generate a large dataset of H&E training images with perfect nuclei segmentation labels using an unpaired GAN framework. This synthetic data along with real histopathology data from six different organs are used to train a conditional GAN with spectral normalization and gradient penalty for nuclei segmentation. This adversarial regression framework enforces higher-order spacial-consistency when compared to conventional CNN models. We demonstrate that this nuclei segmentation approach generalizes across different organs, sites, patients and disease states, and outperforms conventional approaches, especially in isolating individual and overlapping nuclei.

Abstract Histological assessment is essential for the diagnosis and management of celiac disease. Current scoring systems, including modified Marsh (Marsh–Oberhuber) score, lack inter-pathologist agreement. To address this unmet need, we aimed to develop a fully automated, quantitative approach for histology characterisation of celiac disease. Convolutional neural network models were trained using pathologist annotations of hematoxylin and eosin-stained biopsies of celiac disease mucosa and normal duodenum to identify cells, tissue and artifact regions. Biopsies of duodenal mucosa of varying celiac disease severity, and normal duodenum were collected from a large central laboratory. Celiac disease slides ( N = 318) were split into training ( n = 230; 72.3%), validation ( n = 60; 18.9%) and test ( n = 28; 8.8%) datasets. Normal duodenum slides ( N = 58) were similarly divided into training ( n = 40; 69.0%), validation ( n = 12; 20.7%) and test ( n = 6; 10.3%) datasets. Human interpretable features were extracted and the strength of their correlation with Marsh scores were calculated using Spearman rank correlations. Our model identified cells, tissue regions and artifacts, including distinguishing intraepithelial lymphocytes and differentiating villous epithelium from crypt epithelium. Proportional area measurements representing villous atrophy negatively correlated with Marsh scores ( r = − 0.79), while measurements indicative of crypt hyperplasia positively correlated ( r = 0.71). Furthermore, features distinguishing celiac disease from normal duodenum were identified. Our novel model provides an explainable and fully automated approach for histology characterisation of celiac disease that correlates with modified Marsh scores, potentially facilitating diagnosis, prognosis, clinical trials and treatment response monitoring.