Precision treatment of cancer relies on genetic alterations which are diagnosed by molecular biology assays. 1 These tests can be a bottleneck in oncology workflows because of high turnaround time, tissue usage and costs. 2 Here, we show that deep learning can predict point mutations, molecular tumor subtypes and immune-related gene expression signatures 3,4 directly from routine histological images of tumor tissue. We developed and systematically optimized a one-stop-shop workflow and applied it to more than 4000 patients with breast 5 , colon and rectal 6 , head and neck 7 , lung 8,9 , pancreatic 10 , prostate 11 cancer, melanoma 12 and gastric 13 cancer. Together, our findings show that a single deep learning algorithm can predict clinically actionable alterations from routine histology data. Our method can be implemented on mobile hardware 14 , potentially enabling point-of-care diagnostics for personalized cancer treatment in individual patients.

Oncogenic viruses like human papilloma virus (HPV) or Epstein Barr virus (EBV) are a major cause of human cancer. Viral oncogenesis has a direct impact on treatment decisions because virus-associated tumors can demand a lower intensity of chemotherapy and radiation or can be more susceptible to immune checkpoint inhibition. However, molecular tests for HPV and EBV are not ubiquitously available. We hypothesized that the histopathological features of virus-driven and non-virus driven cancers are sufficiently different to be detectable by artificial intelligence (AI) through deep learning-based analysis of images from routine hematoxylin and eosin (HE) stained slides. We show that deep transfer learning can predict presence of HPV in head and neck cancer with a patient-level 3-fold cross validated area-under-the-curve (AUC) of 0.89 [0.82; 0.94]. The same workflow was used for Epstein-Barr virus (EBV) driven gastric cancer achieving a cross-validated AUC of 0.80 [0.70; 0.92] and a similar performance in external validation sets. Reverse-engineering our deep neural networks, we show that the key morphological features can be made understandable to humans. This workflow could enable a fast and low-cost method to identify virus-induced cancer in clinical trials or clinical routine. At the same time, our approach for feature visualization allows pathologists to look into the black box of deep learning, enabling them to check the plausibility of computer-based image classification.