Molecular alterations in cancer can cause phenotypic changes in tumor cells and their microenvironment. Routine histopathology tissue slides, which are ubiquitously available, can reflect such morphological changes. Here, we show that deep learning can consistently infer a wide range of genetic mutations, molecular tumor subtypes, gene expression signatures and standard pathology biomarkers directly from routine histology. We developed, optimized, validated and publicly released a one-stop-shop workflow and applied it to tissue slides of more than 5,000 patients across multiple solid tumors. Our findings show that a single deep learning algorithm can be trained to predict a wide range of molecular alterations from routine, paraffin-embedded histology slides stained with hematoxylin and eosin. These predictions generalize to other populations and are spatially resolved. Our method can be implemented on mobile hardware, potentially enabling point-of-care diagnostics for personalized cancer treatment. More generally, this approach could elucidate and quantify genotype–phenotype links in cancer. Two papers by Kather and colleagues and Gerstung and colleagues develop workflows to predict a wide range of molecular alterations from pan-cancer digital pathology slides.

Abstract Artificial intelligence (AI) can extract subtle visual information from digitized histopathology slides and yield scientific insight on genotype-phenotype interactions as well as clinically actionable recommendations. Classical weakly supervised pipelines use an end-to-end approach with residual neural networks (ResNets), modern convolutional neural networks such as EfficientNet, or non-convolutional architectures such as vision transformers (ViT). In addition, multiple-instance learning (MIL) and clustering-constrained attention MIL (CLAM) are being used for pathology image analysis. However, it is unclear how these different approaches perform relative to each other. Here, we implement and systematically compare all five methods in six clinically relevant end-to-end prediction tasks using data from N=4848 patients with rigorous external validation. We show that histological tumor subtyping of renal cell carcinoma is an easy task which approaches successfully solved with an area under the receiver operating curve (AUROC) of above 0.9 without any significant differences between approaches. In contrast, we report significant performance differences for mutation prediction in colorectal, gastric and bladder cancer. Weakly supervised ResNet-and ViT-based workflows significantly outperformed other methods, in particular MIL and CLAM for mutation prediction. As a reason for this higher performance we identify the ability of ResNet and ViT to assign high prediction scores to highly informative image regions with plausible histopathological image features. We make all source codes publicly available at https://github.com/KatherLab/HIA , allowing easy application of all methods on any end-to-end problem in computational pathology.

Abstract The interpretation of digitized histopathology images has been transformed thanks to artificial intelligence (AI). End-to-end AI algorithms can infer high-level features directly from raw image data, extending the capabilities of human experts. In particular, AI can predict tumor subtypes, genetic mutations and gene expression directly from hematoxylin and eosin (H&E) stained pathology slides. However, existing end-to-end AI workflows are poorly standardized and not easily adaptable to new tasks. Here, we introduce DeepMed, a Python library for predicting any high-level attribute directly from histopathological whole slide images alone, or from images coupled with additional meta-data ( https://github.com/KatherLab/deepmed ). Unlike earlier computational pipelines, DeepMed is highly developer-friendly: its structure is modular and separates preprocessing, training, deployment, statistics, and visualization in such a way that any one of these processes can be altered without affecting the others. Also, DeepMed scales easily from local use on laptop computers to multi-GPU clusters in cloud computing services and therefore can be used for teaching, prototyping and for large-scale applications. Finally, DeepMed is user-friendly and allows researchers to easily test multiple hypotheses in a single dataset (via cross-validation) or in multiple datasets (via external validation). Here, we demonstrate and document DeepMed’s abilities to predict molecular alterations, histopathological subtypes and molecular features from routine histopathology images, using a large benchmark dataset which we release publicly. In summary, DeepMed is a fully integrated and broadly applicable end-to-end AI pipeline for the biomedical research community.

Precision treatment of cancer relies on genetic alterations which are diagnosed by molecular biology assays. 1 These tests can be a bottleneck in oncology workflows because of high turnaround time, tissue usage and costs. 2 Here, we show that deep learning can predict point mutations, molecular tumor subtypes and immune-related gene expression signatures 3,4 directly from routine histological images of tumor tissue. We developed and systematically optimized a one-stop-shop workflow and applied it to more than 4000 patients with breast 5 , colon and rectal 6 , head and neck 7 , lung 8,9 , pancreatic 10 , prostate 11 cancer, melanoma 12 and gastric 13 cancer. Together, our findings show that a single deep learning algorithm can predict clinically actionable alterations from routine histology data. Our method can be implemented on mobile hardware 14 , potentially enabling point-of-care diagnostics for personalized cancer treatment in individual patients.

Abstract The histopathological phenotype of tumors reflects the underlying genetic makeup. Deep learning can predict genetic alterations from tissue morphology, but it is unclear how well these predictions generalize to external datasets. Here, we present a deep learning pipeline based on self-supervised feature extraction which achieves a robust predictability of genetic alterations in two large multicentric datasets of seven tumor types.

Abstract Classical mathematical models of tumor growth have shaped our understanding of cancer and have broad practical implications for treatment scheduling and dosage. However, even the simplest textbook models have been barely validated in real world-data of human patients. In this study, we fitted a range of differential equation models to tumor volume measurements of patients undergoing chemotherapy or cancer immunotherapy for solid tumors. We used a large dataset of 1472 patients with three or more measurements per target lesion, of which 652 patients had six or more data points. We show that the early treatment response shows only moderate correlation with the final treatment response, demonstrating the need for nuanced models. We then perform a head-to-head comparison of six classical models which are widely used in the field: the Exponential, Logistic, Classic Bertalanffy, General Bertalanffy, Classic Gompertz and General Gompertz model. Several models provide a good fit to tumor volume measurements, with the Gompertz model providing the best balance between goodness of fit and number of parameters. Similarly, when fitting to early treatment data, the general Bertalanffy and Gompertz models yield the lowest mean absolute error to forecasted data, indicating that these models could potentially be effective at predicting treatment outcome. In summary, we provide a quantitative benchmark for classical textbook models and state-of-the art models of human tumor growth. We publicly release an anonymized version of our original data, providing the first benchmark set of human tumor growth data for evaluation of mathematical models. Author Summary Mathematical oncology uses quantitative models for prediction of tumor growth and treatment response. The theoretical foundation of mathematical oncology is provided by six classical mathematical models: the Exponential, Logistic, Classic Bertalanffy, General Bertalanffy, Classic Gompertz and General Gompertz model. These models have been introduced decades ago, have been used in thousands of scientific articles and are part of textbooks and curricula in mathematical oncology. However, these models have not been systematically tested in clinical data from actual patients. In this study, we have collected quantitative tumor volume measurements from thousands of patients in five large clinical trials of cancer immunotherapy. We use this dataset to systematically investigate how accurately mathematical models can describe tumor growth, showing that there are pronounced differences between models. In addition, we show that two of these models can predict tumor response to immunotherapy and chemotherapy at later time points when trained on early tumor growth dynamics. Thus, our article closes a conceptual gap in the literature and at the same time provides a simple tool to predict response to chemotherapy and immunotherapy on the level of individual patients.

Oncogenic viruses like human papilloma virus (HPV) or Epstein Barr virus (EBV) are a major cause of human cancer. Viral oncogenesis has a direct impact on treatment decisions because virus-associated tumors can demand a lower intensity of chemotherapy and radiation or can be more susceptible to immune checkpoint inhibition. However, molecular tests for HPV and EBV are not ubiquitously available. We hypothesized that the histopathological features of virus-driven and non-virus driven cancers are sufficiently different to be detectable by artificial intelligence (AI) through deep learning-based analysis of images from routine hematoxylin and eosin (HE) stained slides. We show that deep transfer learning can predict presence of HPV in head and neck cancer with a patient-level 3-fold cross validated area-under-the-curve (AUC) of 0.89 [0.82; 0.94]. The same workflow was used for Epstein-Barr virus (EBV) driven gastric cancer achieving a cross-validated AUC of 0.80 [0.70; 0.92] and a similar performance in external validation sets. Reverse-engineering our deep neural networks, we show that the key morphological features can be made understandable to humans. This workflow could enable a fast and low-cost method to identify virus-induced cancer in clinical trials or clinical routine. At the same time, our approach for feature visualization allows pathologists to look into the black box of deep learning, enabling them to check the plausibility of computer-based image classification.

Abstract For patients with hormone receptor-positive, early breast cancer without HER2 amplification, multigene expression assays including Oncotype DX ® recurrence score (RS) have been clinically validated to identify patients who stand to derive added benefit from adjuvant cytotoxic chemotherapy. However, cost and turnaround time have limited its global adoption despite recommendation by practice guidelines. We investigated if routinely available hematoxylin and eosin (H&E)-stained pathology slides could act as a surrogate triaging data substrate by predicting RS using machine learning methods. We trained and validated a multimodal transformer model, Orpheus, using 6,203 patients across three independent cohorts, taking both H&E images and their corresponding synoptic text reports as input. We showed accurate inference of recurrence score from whole-slide images (r = 0.63 (95% C.I. 0.58 - 0.68); n = 1,029), the raw text of their corresponding reports (r = 0.58 (95% C.I. 0.51 - 0.64); n = 972), and their combination (r = 0.68 (95% C.I. 0.64 - 0.73); n = 964) as measured by Pearson’s correlation. To predict high-risk disease (RS>25), our model achieved an area under the receiver operating characteristic curve (AUROC) of 0.89 (95% C.I. 0.83 - 0.94), and area under the precision recall curve (AUPRC) of 0.64 (95% C.I. 0.60 - 0.82), compared to 0.49 (95% C.I. 0.36 - 0.64) for an existing nomogram based on clinical and pathologic features. Moreover, our model generalizes well to external international cohorts, effectively identifying recurrence risk (r = 0.61, p < 10 -4 , n = 452; r = 0.60, p < 10 -4 , n = 575) and high-risk status (AUROC = 0.80, p < 10 -4 , AUPRC = 0.68, p < 10 -4 , n = 452; AUROC = 0.83, p < 10 -4 , AUPRC = 0.73, p < 10 -4 , n = 575) from whole-slide images. Probing the biologic underpinnings of the model decisions uncovered tumor cell size heterogeneity, immune cell infiltration, a proliferative transcription program, and stromal fraction as correlates of higher-risk predictions. We conclude that at an operating point of 94.4% precision and 33.3% recall, this model could help increase global adoption and shorten lag between resection and adjuvant therapy.

3069 Background: Breast cancer (BCa) is a heterogeneous disease requiring precise diagnostic tools to guide effective treatment strategies. Current diagnostic assays, including various multigene assays, often fail to adequately address the complex biology of BCa subtypes. To address these limitations and enhance the understanding of BCa biology, we developed and validated a novel diagnostic, prognostic, and predictive tool, called mFISHseq. Methods: Our approach, mFISHseq, integrates multiplexed fluorescent in situ hybridization (FISH) of the four main BCa biomarkers, estrogen ( ESR1)/progesterone ( PGR)/Her2 ( ERBB2) receptors and Ki67 ( MKI67), which are used to guide laser capture microdissection (LCM) of regions of interest followed by RNA-sequencing. This technique ensures tumor purity, facilitates interrogation of tumor heterogeneity, consequently permitting unbiased analysis of whole transcriptome profiling data and explicitly quantifying the variability between different tumor regions. We validated mFISHseq on a retrospective cohort study involving 1,082 FFPE breast tumors with detailed clinicopathological data, informed consent, and ethical committee approval. Results: mFISHseq demonstrated excellent analytical validity with a 93% accuracy rate compared to standard immunohistochemistry (IHC), while providing more quantitative biomarker expression. Prespecified threshold values for mFISHseq derived from a split 70:30 training/test set showed exceptional concordance with IHC as demonstrated by area under the receiver operating characteristic (ROC) curves for all markers (AUC: MKI67=0.98, ERBB2=0.95, ESR1=0.95, PGR=0.93). Both RNA-FISH and -SEQ showed moderate to very strong correlations (Spearman’s r; ERBB2=0.41, MKI67=0.61, PGR=0.66, ESR1=0.75), thus highlighting the potential to use both orthogonal methodologies to cross-validate results. To demonstrate clinical validity, we developed a 293-gene intrinsic subtype classifier, showing substantial agreement to established classifiers like PAM50 and AIMS (Cohen’s κ= 0.75 and 0.73, respectively) and superior prognostic performance. We also report that LCM is an essential component of the mFISHseq workflow, since samples that did not undergo LCM showed reduced biomarker expression, elevated non-tumor gene expression, and misclassification of samples into less aggressive molecular subtypes (e.g., normal-like) and prognostic risk groups (e.g., high to low). Conclusions: The mFISHseq method showed excellent concordance with IHC and the use of LCM provides tumor-enriched samples that are devoid of contamination from non-tumor elements, thus providing unbiased spatially resolved interrogation of tumor heterogeneity. Altogether, mFISHseq solves a long-standing challenge in the precise diagnosis and classification of breast cancer subtypes.