Abstract Image-based cell phenotyping relies on quantitative measurements as encoded representations of cells; however, defining suitable representations that capture complex imaging features is challenged by the lack of robust methods to segment cells, identify subcellular compartments, and extract relevant features. Variational autoencoder (VAE) approaches produce encouraging results by mapping an image to a representative descriptor, and outperform classical hand-crafted features for morphology, intensity, and texture at differentiating data. Although VAEs show promising results for capturing morphological and organizational features in tissue, single cell image analyses based on VAEs often fail to identify biologically informative features due to uninformative technical variation. Herein, we propose a multi-encoder VAE (ME-VAE) in single cell image analysis using transformed images as a self-supervised signal to extract transform-invariant biologically meaningful features, including emergent features not obvious from prior knowledge. We show that the proposed architecture improves analysis by making distinct cell populations more separable compared to traditional VAEs and intensity measurements by enhancing phenotypic differences between cells and by improving correlations to other analytic modalities.

Abstract Triple-negative breast cancer (TNBC) patients have a poor prognosis and few treatment options. Mouse models of TNBC are important for development of new targeted therapies, but few TNBC mouse models exist. Here, we developed a novel TNBC murine model by mimicking two common TNBC mutations with high co-occurrence: amplification of the oncogene MYC and deletion of the tumor suppressor PTEN. This Myc;Ptenfl murine model develops TN mammary tumors that display histological and molecular features commonly found in human TNBC. We performed deep omic analyses on Myc;Ptenfl tumors including machine learning for morphologic features, bulk and single-cell RNA-sequencing, multiplex immunohistochemistry and single-cell phenotyping. Through comparison with human TNBC, we demonstrated that this new genetic mouse model develops mammary tumors with differential survival that closely resemble the inter- and intra-tumoral and microenvironmental heterogeneity of human TNBC; providing a unique pre-clinical tool for assessing the spectrum of patient TNBC biology and drug response. Statement of significance The development of cancer models that mimic triple-negative breast cancer (TNBC) microenvironment complexities is critical to develop effective drugs and enhance disease understanding. This study addresses a critical need in the field by identifying a murine model that faithfully mimics human TNBC heterogeneity and establishing a foundation for translating preclinical findings into effective human clinical trials.

ABSTRACT Recent state-of-the-art multiplex imaging techniques have expanded the depth of information that can be captured within a single tissue sample by allowing for panels with dozens of markers. Despite this increase in capacity, space on the panel is still limited due to technical artifacts, tissue loss, and long imaging acquisition time. As such, selecting which markers to include on a panel is important, since removing important markers will result in a loss of biologically relevant information, but identifying redundant markers will provide a room for other markers. To address this, we propose computational approaches to determine the amount of shared information between markers and select an optimally reduced panel that captures maximum amount of information with the fewest markers. Here we examine several panel selection approaches and evaluate them based on their ability to reconstruct the full panel images and information within breast cancer tissue microarray datasets using cyclic immunofluorescence as a proof of concept. We show that all methods perform adequately and can re-capture cell types using only 18 of 25 markers (72% of the original panel size). The correlation-based selection methods achieved the best single-cell marker mean intensity predictions with a Spearman correlation of 0.90 with the reduced panel. Using the proposed methods shown here, it is possible for researchers to design more efficient multiplex imaging panels that maximize the amount of information retained with the limited number of markers with respect to certain evaluation metrics and architecture biases. Author Summary Multiplex tissue imaging techniques utilize large panels of markers that attempt to gather as much information as possible, but increasing the number of stains does come with the downsides of increased autofluorescence and tissue degradation. There exists a theoretical subsampling of markers that is able to recreate the same information as a full panel; therefore, removing the self-correlating information with such a subset would increase the efficiency of the imaging process and maximize the information collected. By selecting an idealized subsample of markers, a deep learning model can be trained to predict the same information as a full dataset with fewer rounds of staining. Here we evaluate several methods of subsample marker selection and demonstrate their ability to reconstruct the full panel’s information.

ABSTRACT Tissue-based sampling and diagnosis are defined as the extraction of information from certain limited spaces and its diagnostic significance of a certain object. Pathologists deal with issues related to tumor heterogeneity since analyzing a single sample does not necessarily capture a representative depiction of cancer, and a tissue biopsy usually only presents a small fraction of the tumor. Many multiplex tissue imaging platforms (MTIs) make the assumption that tissue microarrays (TMAs) containing small core samples of 2-dimensional (2D) tissue sections are a good approximation of bulk tumors although tumors are not 2D. However, emerging whole slide imaging (WSI) or 3D tumor atlases that employ MTIs like cyclic immunofluorescence (CyCIF) strongly challenge this assumption. In spite of the additional insight gathered by measuring the tumor microenvironment in WSI or 3D, it can be prohibitively expensive and time-consuming to process tens or hundreds of tissue sections with CyCIF. Even when resources are not limited, the criteria for region-of-interest (ROI) selection in tissues for downstream analysis remain largely qualitative and subjective as stratified sampling requires the knowledge of objects and evaluates their features. Despite the fact TMAs fail to adequately approximate whole tissue features, a theoretical subsampling of tissue exists that can best represent the tumor in the whole slide image. To address these challenges, we propose deep learning approaches to learn multi-modal image translation tasks from two aspects: 1) generative modeling approach to reconstruct 3D CyCIF representation and 2) co-embedding CyCIF image and Hematoxylin and Eosin (H&E) section to learn multi-modal mappings by a cross-domain translation for minimum representative ROI selection. We demonstrate that generative modeling enables a 3D virtual CyCIF reconstruction of a colorectal cancer specimen given a small subset of the imaging data at training time. By co-embedding histology and MTI features, we propose a simple convex optimization for objective ROI selection. We demonstrate the potential application of ROI selection and the efficiency of its performance with respect to cellular heterogeneity.

Mechanistic studies of pancreatic disease progression using animal models require objective and quantifiable assessment of tissue changes among animal cohorts. Disease state quantification, however, relies heavily on tissue immunostaining, which can be expensive, labor- and time-intensive, and all too often produces uneven staining that is prone to variable interpretation between experts and inaccurate quantification. Here we develop a fully automated semantic segmentation tool using deep learning for the rapid and objective quantification of histologic features using hematoxylin and eosin (H&E) stained pancreatic tissue sections acquired from murine pancreatic cancer models. The tool was successfully trained to segment and quantify multiple histopathologic features of pancreatic pre-cancer evolution, including normal acinar structures, the ductal phenotype of acinar-to ductal metaplasia (ADM), dysplasia, and the expanding stromal compartment. Disease quantifications produced by our computational tool were highly correlated to the results obtained by immunostaining markers of normal and diseased tissue (DAPI, amylase, and cytokeratins; correlation score= 0.9, 0.95, and 0.91, respectively) and were able to accurately reproduce immunostain patterns. Moreover, our tool was able to distinguish ADM from dysplasia, which are not reliably distinguished by immunostaining, and avoid the pitfalls of uneven or poor-quality staining. Using this tool, we quantified the changes in histologic feature abundance for murine cohorts with oncogenic Kras-driven disease at 2 months and 5 months of age (n=12, n=13). The calculated changes in histologic feature abundance were consistent with biological expectations, showing an expansion of the stromal compartment, a reduction of normal acinar tissue, and an increase in both ADM and dysplasia as disease progresses (p= 2e-6, 6e-7, 4e-4, and 3e-5, respectively). These results demonstrate the tool's efficacy for accurate and rapid quantification of multiple histologic features using an objective and automated platform. Our tool promises to rapidly accelerate and improve the quantification of altered pancreatic disease progression in animal studies.

The National Cancer Institute (NCI) supports many research programs and consortia, many of which use imaging as a major modality for characterizing cancerous tissue. A trans-consortia Image Analysis Working Group (IAWG) was established in 2019 with a mission to disseminate imaging-related work and foster collaborations. In 2022, the IAWG held a virtual hackathon focused on addressing challenges of analyzing high dimensional datasets from fixed cancerous tissues. Standard image processing techniques have automated feature extraction, but the next generation of imaging data requires more advanced methods to fully utilize the available information. In this perspective, we discuss current limitations of the automated analysis of multiplexed tissue images, the first steps toward deeper understanding of these limitations, what possible solutions have been developed, any new or refined approaches that were developed during the Image Analysis Hackathon 2022, and where further effort is required. The outstanding problems addressed in the hackathon fell into three main themes: 1) challenges to cell type classification and assessment, 2) translation and visual representation of spatial aspects of high dimensional data, and 3) scaling digital image analyses to large (multi-TB) datasets. We describe the rationale for each specific challenge and the progress made toward addressing it during the hackathon. We also suggest areas that would benefit from more focus and offer insight into broader challenges that the community will need to address as new technologies are developed and integrated into the broad range of image-based modalities and analytical resources already in use within the cancer research community.