Abstract Colorectal cancers are the fourth most commonly diagnosed cancer and the second leading cancer in number of deaths. Many clinical variables, pathological features, and genomic signatures are associated with patient risk, but reliable patient stratification in the clinic remains a challenging task. Here we assess how image, clinical, and genomic features can be combined to predict risk. We first observe that deep learning models based only on whole slide images (WSIs) from The Cancer Genome Atlas accurately separate high risk (OS<3years, N=38) from low risk (OS>5years, N=25) patients (AUC=0.81±0.08, 5year survival p-value=2.13e-25, 5year relative risk=5.09±0.05) though such models are less effective at predicting OS for moderate risk (3years<OS<5years, N=45) patients (5year survival p-value=0.5, 5year relative risk=1.32±0.09). However, we find that novel integrative models combining whole slide images, clinical variables, and mutation signatures can improve patient stratification for moderate risk patients (5year survival p-value=6.69e-30, 5year relative risk=5.32±0.07). Our integrative model combining image and clinical variables is also effective on an independent pathology dataset generated by our team (3year survival p-value=1.14e-09, 5year survival p-value=2.15e-05, 3year relative risk=3.25±0.06, 5year relative-risk=3.07±0.08). The integrative model substantially outperforms models using only images or only clinical variables, indicating beneficial cross-talk between the data types. Pathologist review of image-based heatmaps suggests that nuclear shape, nuclear size pleomorphism, intense cellularity, and abnormal structures are associated with high risk, while low risk regions tend to have more regular and small cells. The improved stratification of colorectal cancer patients from our computational methods can be beneficial for preemptive development of management and treatment plans for individual patients, as well as for informed enrollment of patients in clinical trials.

Deep learning has revolutionized digital pathology, allowing for automatic analysis of hematoxylin and eosin (H&E) stained whole slide images (WSIs) for diverse tasks. In such analyses, WSIs are typically broken into smaller images called tiles, and a neural network backbone encodes each tile in a feature space. Many recent works have applied attention based deep learning models to aggregate tile-level features into a slide-level representation, which is then used for slide-level prediction tasks. However, training attention models is computationally intensive, necessitating hyperparameter optimization and specialized training procedures. Here, we propose SAMPLER, a fully statistical approach to generate efficient and informative WSI representations by encoding the empirical cumulative distribution functions (CDFs) of multiscale tile features. We demonstrate that SAMPLER-based classifiers are as accurate or better than state-of-the-art fully deep learning attention models for classification tasks including distinction of: subtypes of breast carcinoma (BRCA: AUC=0.911 ± 0.029); subtypes of non-small cell lung carcinoma (NSCLC: AUC=0.940±0.018); and subtypes of renal cell carcinoma (RCC: AUC=0.987±0.006). A major advantage of the SAMPLER representation is that predictive models are >100X faster compared to attention models. Histopathological review confirms that SAMPLER-identified high attention tiles contain tumor morphological features specific to the tumor type, while low attention tiles contain fibrous stroma, blood, or tissue folding artifacts. We further apply SAMPLER concepts to improve the design of attention-based neural networks, yielding a context aware multi-head attention model with increased accuracy for subtype classification within BRCA and RCC (BRCA: AUC=0.921±0.027, and RCC: AUC=0.988±0.010). Finally, we provide theoretical results identifying sufficient conditions for which SAMPLER is optimal. SAMPLER is a fast and effective approach for analyzing WSIs, with greatly improved scalability over attention methods to benefit digital pathology analysis.

Histopathological images are a rich but incompletely explored data type for studying cancer. Manual inspection is time consuming, making it challenging to use for image data mining. Here we show that convolutional neural networks (CNNs) can be systematically applied across cancer types, enabling comparisons to reveal shared spatial behaviors. We develop CNN architectures to analyze 27,815 hematoxylin and eosin slides from The Cancer Genome Atlas for tumor/normal, cancer subtype, and mutation classification. Our CNNs are able to classify tumor/normal status of whole slide images (WSIs) in 19 cancer types with consistently high AUCs (0.995±0.008), as well as subtypes with lower but significant accuracy (AUC 0.87±0.1). Remarkably, tumor/normal CNNs trained on one tissue are effective in others (AUC 0.88±0.11), with classifier relationships also recapitulating known adenocarcinoma, carcinoma, and developmental biology. Moreover, classifier comparisons reveal intra-slide spatial similarities, with average tile-level correlation of 0.45±0.16 between classifier pairs. Breast cancers, bladder cancers, and uterine cancers have spatial patterns that are particularly easy to detect, suggesting these cancers can be canonical types for image analysis. Patterns for TP53 mutations can also be detected, with WSI self- and cross-tissue AUCs ranging from 0.65-0.80. Finally, we comparatively evaluate CNNs on 170 breast and colon cancer images with pathologist-annotated nuclei, finding that both cellular and intercellular regions contribute to CNN accuracy. These results demonstrate the power of CNNs not only for histopathological classification, but also for cross-comparisons to reveal conserved spatial biology.

Abstract Patient-derived xenografts (PDXs) model human intra-tumoral heterogeneity in the context of the intact tissue of immunocompromised mice. Histological imaging via hematoxylin and eosin (H&E) staining is performed on PDX samples for routine assessment and, in principle, captures the complex interplay between tumor and stromal cells. Deep learning (DL)-based analysis of large human H&E image repositories has extracted inter-cellular and morphological signals correlated with disease phenotype and therapeutic response. Here, we present an extensive, pan-cancer repository of nearly 1,000 PDX and paired human progenitor H&E images. These images, curated from the PDXNet consortium, are associated with genomic and transcriptomic data, clinical metadata, pathological assessment of cell composition, and, in several cases, detailed pathological annotation of tumor, stroma, and necrotic regions. We demonstrate that DL can be applied to these images to classify tumor regions and to predict xenograft-transplant lymphoproliferative disorder, the unintended outgrowth of human lymphocytes at the transplantation site. This repository enables PDX-specific, investigations of cancer biology through histopathological analysis and contributes important model system data that expand on existing human histology repositories. We expect the PDXNet Image Repository to be valuable for controlled digital pathology analysis, both for the evaluation of technical issues such as stain normalization and for development of novel computational methods based on spatial behaviors within cancer tissues.

ABSTRACT Convolutional neural networks (CNNs) are revolutionizing digital pathology by enabling machine learning-based classification of a variety of phenotypes from hematoxylin and eosin (H&E) whole slide images (WSIs), but the interpretation of CNNs remains difficult. Most studies have considered interpretability in a post hoc fashion, e.g. by presenting example regions with strongly predicted class labels. However, such an approach does not explain the biological features that contribute to correct predictions. To address this problem, here we investigate the interpretability of H&E-derived CNN features (the feature weights in the final layer of a transfer-learning-based architecture), which we show can be construed as abstract morphological genes (“mones”) with strong independent associations to biological phenotypes. We observe that many mones are specific to individual cancer types, while others are found in multiple cancers especially from related tissue types. We also observe that mone-mone correlations are strong and robustly preserved across related cancers. Importantly, linear mone-based classifiers can very accurately separate 38 distinct classes (19 tumor types and their adjacent normals, AUC=97.1% ± 2.8% for each class prediction), and linear classifiers are also highly effective for universal tumor detection (AUC=99.2% ± 0.12%). This linearity provides evidence that individual mones or correlated mone clusters may be associated with interpretable histopathological features or other patient characteristics. In particular, the statistical similarity of mones to gene expression values allows integrative mone analysis via expression-based bioinformatics approaches. We observe strong correlations between individual mones and individual gene expression values, notably mones associated with collagen gene expression in ovarian cancer. Mone-expression comparisons also indicate that immunoglobulin expression can be identified using mones in colon adenocarcinoma and that immune activity can be identified across multiple cancer types, and we verify these findings by expert histopathological review. Our work demonstrates that mones provide a morphological H&E decomposition that can be effectively associated with diverse phenotypes, analogous to the interpretability of transcription via gene expression values.