Image-based machine learning and deep learning in particular has recently shown expert-level accuracy in medical image classification. In this study, we combine convolutional and recurrent architectures to train a deep network to predict colorectal cancer outcome based on images of tumour tissue samples. The novelty of our approach is that we directly predict patient outcome, without any intermediate tissue classification. We evaluate a set of digitized haematoxylin-eosin-stained tumour tissue microarray (TMA) samples from 420 colorectal cancer patients with clinicopathological and outcome data available. The results show that deep learning-based outcome prediction with only small tissue areas as input outperforms (hazard ratio 2.3; CI 95% 1.79–3.03; AUC 0.69) visual histological assessment performed by human experts on both TMA spot (HR 1.67; CI 95% 1.28–2.19; AUC 0.58) and whole-slide level (HR 1.65; CI 95% 1.30–2.15; AUC 0.57) in the stratification into low- and high-risk patients. Our results suggest that state-of-the-art deep learning techniques can extract more prognostic information from the tissue morphology of colorectal cancer than an experienced human observer.

ABSTRACT Tumor-resident immune cells play a crucial role in eliciting anti-tumor immunity and immunomodulatory drug responses, yet these functions have been difficult to study without tractable models of tumor immune microenvironment (TIME). Patient-derived ex vivo models contain authentic resident immune cells and therefore, could provide new mechanistic insights into how TIME responds to tumor or immune cell-directed therapies. Here, we assessed the reproducibility and robustness of immunomodulatory drug responses across two different ex vivo models of breast cancer TIME and one of renal cell carcinoma. These independently developed TIME models were treated with a panel of clinically relevant immunomodulators, revealing remarkably similar changes in gene expression and cytokine profiles among the three models in response to T cell activation and STING-agonism while still preserving individual patient-specific response patterns. Moreover, we found two common core signatures of adaptive or innate immune responses present across all three models and both types of cancer, potentially serving as a benchmark for drug-induced immune activation in ex vivo models of TIME. The robust reproducibility of immunomodulatory drug responses observed across diverse ex vivo models of TIME underscores the significance of human patient-derived models in elucidating the complexities of antitumor immunity and therapeutic interventions.

Abstract In myelodysplastic syndrome (MDS), bone marrow (BM) histopathology is visually assessed to identify dysplastic cellular morphology, cellularity, and blast excess. Yet, many morphological findings elude the human eye. Here, we extracted visual features of 236 MDS, 87 MDS/MPN, and 10 control BM biopsies with convolutional neural networks. Unsupervised analysis distinguished underlying correlations between tissue composition, leukocyte metrics, and clinical characteristics. We applied morphological features in elastic net-regularized regression models to predict genetic and cytogenetic aberrations, prognosis, and clinical variables. By parallelizing tile, pixel, and leukocyte-level image analysis, we deconvoluted each model to texture and cellular composition to dissect their pathobiological context. Model-based mutation predictions correlated with variant allele frequency and number of affected genes per pathway, demonstrating the models’ ability to identify relevant visual patterns. In summary, this study highlights the potential of deep histopathology in hematology by unveiling the fundamental association of BM morphology with genetic and clinical determinants.

ABSTRACT Combining cytotoxic chemotherapy or novel anticancer drugs with T-cell modulators holds great promise in treating advanced cancers. However, the response varies depending on the tumor immune microenvironment (TIME). Therefore, there is a clear need for pharmacologically tractable models of the TIME to dissect its influence on mono- and combination treatment response at the individual level. Here we establish a Patient-Derived Explant Culture (PDEC) model of breast cancer, which retains the immune contexture of the primary tumor, recapitulating cytokine profiles and CD8+ T cell cytotoxic activity. We explored the immunomodulatory action of a synthetic lethal BCL2 inhibitor venetoclax + metformin drug combination ex vivo , discovering metformin cannot overcome the lymphocyte-depleting action of venetoclax. Instead, metformin promotes dendritic cell maturation through inhibition of mitochondrial complex I, increasing their capacity to co-stimulate CD4+ T cells and thus facilitating anti-tumor immunity. Our results establish PDECs as a feasible model to identify immunomodulatory functions of anticancer drugs in the context of patient-specific TIME.