Microsatellite instability determines whether patients with gastrointestinal cancer respond exceptionally well to immunotherapy. However, in clinical practice, not every patient is tested for MSI, because this requires additional genetic or immunohistochemical tests. Here we show that deep residual learning can predict MSI directly from H&E histology, which is ubiquitously available. This approach has the potential to provide immunotherapy to a much broader subset of patients with gastrointestinal cancer. A deep residual learning framework identifies microsatellite instability in histology slides from patients with cancer and can be used to guide immunotherapy.

Background: Colonoscopy with detection and removal of adenomas is considered a powerful tool to reduce colorectal cancer (CRC) incidence. However, the degree of protection achievable in a population setting with high-quality colonoscopy resources remains to be quantified. Objective: To assess the association between previous colonoscopy and risk for CRC. Design: Population-based case–control study. Setting: Rhine-Neckar region of Germany. Patients: A total of 1688 case patients with colorectal cancer and 1932 control participants aged 50 years or older. Measurements: A detailed lifetime history of CRC risk factors and preventive factors, including history and results of previous colonoscopies, and of medical data obtained by self-reports and medical records. Odds ratios of CRC associated with colonoscopy in the preceding 10 years were estimated, after adjustment for sex, age, education level, participation in a general health screening examination, family history of CRC, smoking status, body mass index, and use of nonsteroidal anti-inflammatory drugs or hormone replacement therapy. Results: Overall, colonoscopy in the preceding 10 years was associated with 77% lower risk for CRC. Adjusted odds ratios for any CRC, right-sided CRC, and left-sided CRC were 0.23 (95% CI, 0.19 to 0.27), 0.44 (CI, 0.35 to 0.55), and 0.16 (CI, 0.12 to 0.20), respectively. Strong risk reduction was observed for all cancer stages and all ages, except for right-sided cancer in persons aged 50 to 59 years. Risk reduction increased over the years in both the right and the left colon. Limitation: The study was observational, with potential for residual confounding and selection bias. Conclusion: Colonoscopy with polypectomy can be associated with strongly reduced risk for CRC in the population setting. Aside from strong risk reduction with respect to left-sided CRC, risk reduction of more than 50% was also seen for right-sided colon cancer. Primary Funding Source: German Research Council and German Federal Ministry of Education and Research.

Background For virtually every patient with colorectal cancer (CRC), hematoxylin–eosin (HE)–stained tissue slides are available. These images contain quantitative information, which is not routinely used to objectively extract prognostic biomarkers. In the present study, we investigated whether deep convolutional neural networks (CNNs) can extract prognosticators directly from these widely available images. Methods and findings We hand-delineated single-tissue regions in 86 CRC tissue slides, yielding more than 100,000 HE image patches, and used these to train a CNN by transfer learning, reaching a nine-class accuracy of >94% in an independent data set of 7,180 images from 25 CRC patients. With this tool, we performed automated tissue decomposition of representative multitissue HE images from 862 HE slides in 500 stage I–IV CRC patients in the The Cancer Genome Atlas (TCGA) cohort, a large international multicenter collection of CRC tissue. Based on the output neuron activations in the CNN, we calculated a “deep stroma score,” which was an independent prognostic factor for overall survival (OS) in a multivariable Cox proportional hazard model (hazard ratio [HR] with 95% confidence interval [CI]: 1.99 [1.27–3.12], p = 0.0028), while in the same cohort, manual quantification of stromal areas and a gene expression signature of cancer-associated fibroblasts (CAFs) were only prognostic in specific tumor stages. We validated these findings in an independent cohort of 409 stage I–IV CRC patients from the “Darmkrebs: Chancen der Verhütung durch Screening” (DACHS) study who were recruited between 2003 and 2007 in multiple institutions in Germany. Again, the score was an independent prognostic factor for OS (HR 1.63 [1.14–2.33], p = 0.008), CRC-specific OS (HR 2.29 [1.5–3.48], p = 0.0004), and relapse-free survival (RFS; HR 1.92 [1.34–2.76], p = 0.0004). A prospective validation is required before this biomarker can be implemented in clinical workflows. Conclusions In our retrospective study, we show that a CNN can assess the human tumor microenvironment and predict prognosis directly from histopathological images.

In a genome-wide association study to identify loci associated with colorectal cancer (CRC) risk, we genotyped 555,510 SNPs in 1,012 early-onset Scottish CRC cases and 1,012 controls (phase 1). In phase 2, we genotyped the 15,008 highest-ranked SNPs in 2,057 Scottish cases and 2,111 controls. We then genotyped the five highest-ranked SNPs from the joint phase 1 and 2 analysis in 14,500 cases and 13,294 controls from seven populations, and identified a previously unreported association, rs3802842 on 11q23 (OR = 1.1; P = 5.8 × 10−10), showing population differences in risk. We also replicated and fine-mapped associations at 8q24 (rs7014346; OR = 1.19; P = 8.6 × 10−26) and 18q21 (rs4939827; OR = 1.2; P = 7.8 × 10−28). Risk was greater for rectal than for colon cancer for rs3802842 (P < 0.008) and rs4939827 (P < 0.009). Carrying all six possible risk alleles yielded OR = 2.6 (95% CI = 1.75–3.89) for CRC. These findings extend our understanding of the role of common genetic variation in CRC etiology.

BackgroundColonoscopy is used for early detection and prevention of colorectal cancer, but evidence on the magnitude of overall protection and protection according to anatomical site through colonoscopy performed in the community setting is sparse. We assessed whether receiving a colonoscopy in the preceding 10-year period, compared with no colonoscopy, was associated with prevalence of advanced colorectal neoplasms (defined as cancers or advanced adenomas) at various anatomical sites.

Molecular alterations in cancer can cause phenotypic changes in tumor cells and their microenvironment. Routine histopathology tissue slides, which are ubiquitously available, can reflect such morphological changes. Here, we show that deep learning can consistently infer a wide range of genetic mutations, molecular tumor subtypes, gene expression signatures and standard pathology biomarkers directly from routine histology. We developed, optimized, validated and publicly released a one-stop-shop workflow and applied it to tissue slides of more than 5,000 patients across multiple solid tumors. Our findings show that a single deep learning algorithm can be trained to predict a wide range of molecular alterations from routine, paraffin-embedded histology slides stained with hematoxylin and eosin. These predictions generalize to other populations and are spatially resolved. Our method can be implemented on mobile hardware, potentially enabling point-of-care diagnostics for personalized cancer treatment. More generally, this approach could elucidate and quantify genotype–phenotype links in cancer. Two papers by Kather and colleagues and Gerstung and colleagues develop workflows to predict a wide range of molecular alterations from pan-cancer digital pathology slides.

To derive age and sex specific estimates of transition rates from advanced adenomas to colorectal cancer by combining data of a nationwide screening colonoscopy registry and national data on colorectal cancer (CRC) incidence.Registry based study.National screening colonoscopy programme in Germany.Participants of screening colonoscopy in 2003 and 2004 (n = 840,149).Advanced adenoma prevalence, colorectal cancer incidence, annual and 10 year cumulative risk of developing CRC among carriers of advanced adenomas according to sex and age (range 55-80+ years)The age gradient is much stronger for CRC incidence than for advanced adenoma prevalence. As a result, projected annual transition rates from advanced adenomas to CRC strongly increase with age (from 2.6% in age group 55-59 years to 5.6% in age group >or=80 years among women, and from 2.6% in age group 55-59 years to 5.1% in age group >or=80 years among men). Projections of 10 year cumulative risk increase from 25.4% at age 55 years to 42.9% at age 80 years in women, and from 25.2% at age 55 years to 39.7% at age 80 years in men.Advanced adenoma transition rates are similar in both sexes, but there is a strong age gradient for both sexes. Our estimates of transition rates in older age groups are in line with previous estimates derived from small case series in the pre-colonoscopy era independent of age. However, our projections for younger age groups are considerably lower. These findings may have important implications for the design of CRC screening programmes.

Abstract Artificial Intelligence (AI) can extract clinically actionable information from medical image data. In cancer histopathology, AI can be used to predict the presence of molecular alterations directly from routine histopathology slides. However, training robust AI systems requires large datasets whose collection faces practical, ethical and legal obstacles. These obstacles could be overcome with swarm learning (SL) where partners jointly train AI models, while avoiding data transfer and monopolistic data governance. Here, for the first time, we demonstrate the successful use of SL in large, multicentric datasets of gigapixel histopathology images comprising over 5000 patients. We show that AI models trained using Swarm Learning can predict BRAF mutational status and microsatellite instability (MSI) directly from hematoxylin and eosin (H&E)-stained pathology slides of colorectal cancer (CRC). We trained AI models on three patient cohorts from Northern Ireland, Germany and the United States of America and validated the prediction performance in two independent datasets from the United Kingdom using SL-based AI models. Our data show that SL enables us to train AI models which outperform most locally trained models and perform on par with models which are centrally trained on the merged datasets. In addition, we show that SL-based AI models are data efficient and maintain a robust performance even if only subsets of local datasets are used for training. In the future, SL can be used to train distributed AI models for any histopathology image analysis tasks, overcoming the need for data transfer and without requiring institutions to give up control of the final AI model.

Abstract Artificial intelligence (AI) can extract subtle visual information from digitized histopathology slides and yield scientific insight on genotype-phenotype interactions as well as clinically actionable recommendations. Classical weakly supervised pipelines use an end-to-end approach with residual neural networks (ResNets), modern convolutional neural networks such as EfficientNet, or non-convolutional architectures such as vision transformers (ViT). In addition, multiple-instance learning (MIL) and clustering-constrained attention MIL (CLAM) are being used for pathology image analysis. However, it is unclear how these different approaches perform relative to each other. Here, we implement and systematically compare all five methods in six clinically relevant end-to-end prediction tasks using data from N=4848 patients with rigorous external validation. We show that histological tumor subtyping of renal cell carcinoma is an easy task which approaches successfully solved with an area under the receiver operating curve (AUROC) of above 0.9 without any significant differences between approaches. In contrast, we report significant performance differences for mutation prediction in colorectal, gastric and bladder cancer. Weakly supervised ResNet-and ViT-based workflows significantly outperformed other methods, in particular MIL and CLAM for mutation prediction. As a reason for this higher performance we identify the ability of ResNet and ViT to assign high prediction scores to highly informative image regions with plausible histopathological image features. We make all source codes publicly available at https://github.com/KatherLab/HIA , allowing easy application of all methods on any end-to-end problem in computational pathology.

Precision treatment of cancer relies on genetic alterations which are diagnosed by molecular biology assays. 1 These tests can be a bottleneck in oncology workflows because of high turnaround time, tissue usage and costs. 2 Here, we show that deep learning can predict point mutations, molecular tumor subtypes and immune-related gene expression signatures 3,4 directly from routine histological images of tumor tissue. We developed and systematically optimized a one-stop-shop workflow and applied it to more than 4000 patients with breast 5 , colon and rectal 6 , head and neck 7 , lung 8,9 , pancreatic 10 , prostate 11 cancer, melanoma 12 and gastric 13 cancer. Together, our findings show that a single deep learning algorithm can predict clinically actionable alterations from routine histology data. Our method can be implemented on mobile hardware 14 , potentially enabling point-of-care diagnostics for personalized cancer treatment in individual patients.