Abstract Self-supervised learning (SSL) automates the extraction and interpretation of histopathology features on unannotated hematoxylin-and-eosin-stained whole-slide images (WSIs). We trained an SSL Barlow Twins-encoder on 435 TCGA colon adenocarcinoma WSIs to extract features from small image patches. Leiden community detection then grouped tiles into histomorphological phenotype clusters (HPCs). HPC reproducibility and predictive ability for overall survival was confirmed in an independent clinical trial cohort (N=1213 WSIs). This unbiased atlas resulted in 47 HPCs displaying unique and sharing clinically significant histomorphological traits, highlighting tissue type, quantity, and architecture, especially in the context of tumor stroma. Through in-depth analysis of these HPCs, including immune landscape and gene set enrichment analysis, and association to clinical outcomes, we shed light on the factors influencing survival and responses to treatments like standard adjuvant chemotherapy and experimental therapies. Further exploration of HPCs may unveil new insights and aid decision-making and personalized treatments for colon cancer patients.

Abstract Cancer diagnosis and management depend upon the extraction of complex information from microscopy images by pathologists, which requires time-consuming expert interpretation prone to human bias. Supervised deep learning approaches have proven powerful, but are inherently limited by the cost and quality of annotations used for training. Therefore, we present Histomorphological Phenotype Learning, a self-supervised methodology requiring no labels and operating via the automatic discovery of discriminatory features in image tiles. Tiles are grouped into morphologically similar clusters which constitute an atlas of histomorphological phenotypes (HP-Atlas), revealing trajectories from benign to malignant tissue via inflammatory and reactive phenotypes. These clusters have distinct features which can be identified using orthogonal methods, linking histologic, molecular and clinical phenotypes. Applied to lung cancer, we show that they align closely with patient survival, with histopathologically recognised tumor types and growth patterns, and with transcriptomic measures of immunophenotype. These properties are maintained in a multi-cancer study.

Abstract Purpose: Necrosis quantification in the neoadjuvant setting using pathology slide review is the most important validated prognostic marker in conventional osteosarcoma. Herein, we explored three deep learning strategies on histology samples to predict outcome for OSA in the neoadjuvant setting. Experimental Design: Our study relies on a training cohort from New York University (New York, NY) and an external cohort from Charles university (Prague, Czechia). We trained and validated the performance of a supervised approach that integrates neural network predictions of necrosis/tumor content, and compared predicted overall survival (OS) using Kaplan-Meier curves. Furthermore, we explored morphology-based supervised and self-supervised approaches to determine whether intrinsic histomorphological features could serve as a potential marker for OS in the setting of neoadjuvant. Results: Excellent correlation between the trained network and the pathologists was obtained for the quantification of necrosis content (R2=0.899, r=0.949, p < 0.0001). OS prediction cutoffs were consistent between pathologists and the neural network (22% and 30% of necrosis, respectively). Morphology-based supervised approach predicted OS with p-value=0.0028, HR=2.43 [1.10-5.38]. The self-supervised approach corroborated the findings with clusters enriched in necrosis, fibroblastic stroma, and osteoblastic morphology associating with better OS (lg2HR; -2.366; -1.164; -1.175; 95% CI=[-2.996; -0.514]). Viable/partially viable tumor and fat necrosis were associated with worse OS (lg2HR;1.287;0.822;0.828; 95% CI=[0.38-1.974]). Conclusions: Neural networks can be used to automatically estimate the necrosis to tumor ratio, a quantitative metric predictive of survival. Furthermore, we identified alternate histomorphological biomarkers specific to the necrotic and tumor regions themselves which can be used as predictors.