QuPath is new bioimage analysis software designed to meet the growing need for a user-friendly, extensible, open-source solution for digital pathology and whole slide image analysis. In addition to offering a comprehensive panel of tumor identification and high-throughput biomarker evaluation tools, QuPath provides researchers with powerful batch-processing and scripting functionality, and an extensible platform with which to develop and share new algorithms to analyze complex tissue images. Furthermore, QuPath’s flexible design makes it suitable for a wide range of additional image analysis applications across biomedical research.

Molecular alterations in cancer can cause phenotypic changes in tumor cells and their microenvironment. Routine histopathology tissue slides, which are ubiquitously available, can reflect such morphological changes. Here, we show that deep learning can consistently infer a wide range of genetic mutations, molecular tumor subtypes, gene expression signatures and standard pathology biomarkers directly from routine histology. We developed, optimized, validated and publicly released a one-stop-shop workflow and applied it to tissue slides of more than 5,000 patients across multiple solid tumors. Our findings show that a single deep learning algorithm can be trained to predict a wide range of molecular alterations from routine, paraffin-embedded histology slides stained with hematoxylin and eosin. These predictions generalize to other populations and are spatially resolved. Our method can be implemented on mobile hardware, potentially enabling point-of-care diagnostics for personalized cancer treatment. More generally, this approach could elucidate and quantify genotype–phenotype links in cancer. Two papers by Kather and colleagues and Gerstung and colleagues develop workflows to predict a wide range of molecular alterations from pan-cancer digital pathology slides.

Regeneration of CNS myelin involves differentiation of oligodendrocytes from oligodendrocyte progenitor cells. In multiple sclerosis, remyelination can fail despite abundant oligodendrocyte progenitor cells, suggesting impairment of oligodendrocyte differentiation. T cells infiltrate the CNS in multiple sclerosis, yet little is known about T cell functions in remyelination. We report that regulatory T cells (Treg) promote oligodendrocyte differentiation and (re)myelination. Treg-deficient mice exhibited substantially impaired remyelination and oligodendrocyte differentiation, which was rescued by adoptive transfer of Treg. In brain slice cultures, Treg accelerated developmental myelination and remyelination, even in the absence of overt inflammation. Treg directly promoted oligodendrocyte progenitor cell differentiation and myelination in vitro. We identified CCN3 as a Treg-derived mediator of oligodendrocyte differentiation and myelination in vitro. These findings reveal a new regenerative function of Treg in the CNS, distinct from immunomodulation. Although the cells were originally named 'Treg' to reflect immunoregulatory roles, this also captures emerging, regenerative Treg functions.

Abstract Deep learning-based approaches are revolutionizing imaging-driven scientific research. However, the accessibility and reproducibility of deep learning-based workflows for imaging scientists remain far from sufficient. Several tools have recently risen to the challenge of democratizing deep learning by providing user-friendly interfaces to analyze new data with pre-trained or fine-tuned models. Still, few of the existing pre-trained models are interoperable between these tools, critically restricting a model’s overall utility and the possibility of validating and reproducing scientific analyses. Here, we present the BioImage Model Zoo ( https://bioimage.io ): a community-driven, fully open resource where standardized pre-trained models can be shared, explored, tested, and downloaded for further adaptation or direct deployment in multiple end user-facing tools (e.g., ilastik, deepImageJ, QuPath, StarDist, ImJoy, ZeroCostDL4Mic, CSBDeep). To enable everyone to contribute and consume the Zoo resources, we provide a model standard to enable cross-compatibility, a rich list of example models and practical use-cases, developer tools, documentation, and the accompanying infrastructure for model upload, download and testing. Our contribution aims to lay the groundwork to make deep learning methods for microscopy imaging findable, accessible, interoperable, and reusable (FAIR) across software tools and platforms.

Precision treatment of cancer relies on genetic alterations which are diagnosed by molecular biology assays. 1 These tests can be a bottleneck in oncology workflows because of high turnaround time, tissue usage and costs. 2 Here, we show that deep learning can predict point mutations, molecular tumor subtypes and immune-related gene expression signatures 3,4 directly from routine histological images of tumor tissue. We developed and systematically optimized a one-stop-shop workflow and applied it to more than 4000 patients with breast 5 , colon and rectal 6 , head and neck 7 , lung 8,9 , pancreatic 10 , prostate 11 cancer, melanoma 12 and gastric 13 cancer. Together, our findings show that a single deep learning algorithm can predict clinically actionable alterations from routine histology data. Our method can be implemented on mobile hardware 14 , potentially enabling point-of-care diagnostics for personalized cancer treatment in individual patients.

Abstract Analysis of Imaging Mass Cytometry (IMC) data and other low-resolution multiplexed tissue imaging technologies is often confounded by poor single cell segmentation and sub-optimal approaches for data visualisation and exploration. This can lead to inaccurate identification of cell phenotypes, states or spatial relationships compared to reference data from single cell suspension technologies. To this end we have developed the “OPTIMAL” framework to benchmark any approaches for cell segmentation, parameter transformation, batch effect correction, data visualisation/clustering and spatial neighbourhood analysis. Using a panel of 27 metal-tagged antibodies recognising well characterised phenotypic and functional markers to stain the same FFPE human tonsil sample Tissue Microarray (TMA) over 12 temporally distinct batches we tested several cell segmentation models, a range of different arcsinh cofactor parameter transformation values, five different dimensionality reduction algorithms and two clustering methods. Finally we assessed the optimal approach for performing neighbourhood analysis. We found that single cell segmentation was improved by the use of an Ilastik-derived probability map but that issues with poor segmentation were only really evident after clustering and cell type/state identification and not always evident when using “classical” bi-variate data display techniques. The optimal arcsinh cofactor for parameter transformation was 1 as it maximised the statistical separation between negative and positive signal distributions and a simple Z-score normalisation step after arcsinh transformation eliminated batch effects. Of the five different dimensionality reduction approaches tested, PacMap gave the best data structure with FLOWSOM clustering out-performing Phenograph in terms of cell type identification. We also found that neighbourhood analysis was influenced by the method used for finding neighbouring cells with a “disc” pixel expansion outperforming a “bounding box” approach combined with the need for filtering objects based on size and image-edge location. Importantly OPTIMAL can be used to assess and integrate with any existing approach to IMC data analysis and, as it creates .FCS files from the segmentation output, allows for single cell exploration to be conducted using a wide variety of accessible software and algorithms familiar to conventional flow cytometrists.

Abstract Tumor budding is an established prognostic feature in multiple cancers but routine assessment has not yet been incorporated into clinical pathology practice. Recent efforts to standardize and automate assessment have shifted away from haematoxylin and eosin (H&E)-stained images towards cytokeratin (CK) immunohistochemistry. In this study, we compare established manual H&E and cytokeratin budding assessment methods with a new, semi-automated approach built within the QuPath open-source software. We applied our method to tissue cores from the advancing tumor edge in a cohort of stage II/III colon cancers (n=186). The total number of buds detected by each method, over the 186 TMA cores, were as follows; manual H&E (n=503), manual CK (n=2290) and semi-automated (n=5138). More than four times the number of buds were detected using CK compared to H&E. A total of 1734 individual buds were identified both using manual assessment and semi-automated detection on CK images, representing 75.7% of the total buds identified manually (n=2290) and 33.7% of the total buds detected using our proposed semi-automated method (n=5138). Higher bud scores by the semi-automated method were due to any discrete area of CK immunopositivity within an accepted area range being identified as a bud, regardless of shape or crispness of definition, and to inclusion of tumor cell clusters within glandular lumina (“luminal pseudobuds”). Although absolute numbers differed, semi-automated and manual bud counts were strongly correlated across cores (ρ=0.81, p<0.0001). Despite the random, rather than “hotspot”, nature of tumor core sampling, all methods of budding assessment demonstrated poorer survival associated with higher budding scores. In conclusion, we present a new QuPath-based approach to tumor budding assessment, which compares favorably to current established methods and offers a freely-available, rapid and transparent tool that is also applicable to whole slide images.

Oncogenic viruses like human papilloma virus (HPV) or Epstein Barr virus (EBV) are a major cause of human cancer. Viral oncogenesis has a direct impact on treatment decisions because virus-associated tumors can demand a lower intensity of chemotherapy and radiation or can be more susceptible to immune checkpoint inhibition. However, molecular tests for HPV and EBV are not ubiquitously available. We hypothesized that the histopathological features of virus-driven and non-virus driven cancers are sufficiently different to be detectable by artificial intelligence (AI) through deep learning-based analysis of images from routine hematoxylin and eosin (HE) stained slides. We show that deep transfer learning can predict presence of HPV in head and neck cancer with a patient-level 3-fold cross validated area-under-the-curve (AUC) of 0.89 [0.82; 0.94]. The same workflow was used for Epstein-Barr virus (EBV) driven gastric cancer achieving a cross-validated AUC of 0.80 [0.70; 0.92] and a similar performance in external validation sets. Reverse-engineering our deep neural networks, we show that the key morphological features can be made understandable to humans. This workflow could enable a fast and low-cost method to identify virus-induced cancer in clinical trials or clinical routine. At the same time, our approach for feature visualization allows pathologists to look into the black box of deep learning, enabling them to check the plausibility of computer-based image classification.

Abstract Accurate phenotyping of cells in the tumor microenvironment is crucial for understanding cancer biology and developing effective therapies. However, current methods require precise cell segmentations and struggle to generalize across different imaging modalities, limiting their utility in digital pathology. Here, we show that Contrastive Learning Enabled Accurate Registration of Immune and Tumor Cells (CLEAR-IT) overcomes these limitations, providing a robust and versatile tool for cell phenotyping. CLEAR-IT accurately phenotypes cells comparable to state-of-the-art methods, generalizes across multiplex imaging modalities, maintains high performance even with limited number of labels, and enables the extraction of prognostic markers. Additionally, CLEAR-IT can be combined with existing methods to boost their performance, whereas its lack of need for precise cell segmentations significantly reduces training efforts. This method enhances the robustness and efficiency of digital pathology workflows, making it a valuable tool for cancer research and diagnostics.

ABSTRACT Localized prostate cancer exhibits multiple genomic alterations and heterogeneity at the proteomic level. Single-cell technologies capture important cell-to-cell variability responsible for heterogeneity in biomarker expression that may be overlooked when molecular alterations are based on bulk tissue samples. The aim of this study was to identify novel prognostic biomarkers and describe the heterogeneity of prostate cancer and the associated immune cell infiltrates by simultaneously quantifying 36 proteins using single-cell mass cytometry analysis of over 1,6 million cells from 58 men with localized prostate cancer. To perform this task, we proposed a novel computational pipeline, Franken, which showed unprecedented combination of performance, sensitivity and scalability for high dimensional clustering compared to state of the art methods. We were able to describe subpopulations of immune, stromal, and prostate cells, including unique changes occurring in tumor tissues and high grade disease providing insights into the coordinated progression of prostate cancer. Our results further indicated that men with localized disease already harbor rare subpopulations that typically occur in castration-resistant and metastatic disease, which were confirmed through imaging. Our methodology could be used to discover novel prognostic biomarkers to personalize treatment and improve outcomes.