A principal challenge in the analysis of tissue imaging data is cell segmentation-the task of identifying the precise boundary of every cell in an image. To address this problem we constructed TissueNet, a dataset for training segmentation models that contains more than 1 million manually labeled cells, an order of magnitude more than all previously published segmentation training datasets. We used TissueNet to train Mesmer, a deep-learning-enabled segmentation algorithm. We demonstrated that Mesmer is more accurate than previous methods, generalizes to the full diversity of tissue types and imaging platforms in TissueNet, and achieves human-level performance. Mesmer enabled the automated extraction of key cellular features, such as subcellular localization of protein signal, which was challenging with previous approaches. We then adapted Mesmer to harness cell lineage information in highly multiplexed datasets and used this enhanced version to quantify cell morphology changes during human gestation. All code, data and models are released as a community resource.

Understanding tissue structure and function requires tools that quantify the expression of multiple proteins while preserving spatial information. Here, we describe MIBI-TOF (multiplexed ion beam imaging by time of flight), an instrument that uses bright ion sources and orthogonal time-of-flight mass spectrometry to image metal-tagged antibodies at subcellular resolution in clinical tissue sections. We demonstrate quantitative, full periodic table coverage across a five-log dynamic range, imaging 36 labeled antibodies simultaneously with histochemical stains and endogenous elements. We image fields of view up to 800 μm × 800 μm at resolutions down to 260 nm with sensitivities approaching single-molecule detection. We leverage these properties to interrogate intrapatient heterogeneity in tumor organization in triple-negative breast cancer, revealing regional variability in tumor cell phenotypes in contrast to a structured immune response. Given its versatility and sample back-compatibility, MIBI-TOF is positioned to leverage existing annotated, archival tissue cohorts to explore emerging questions in cancer, immunology, and neurobiology.

We describe the preclinical pharmacology and antitumor activity of GDC-0068, a novel highly selective ATP-competitive pan-Akt inhibitor currently in clinical trials for the treatment of human cancers.The effect of GDC-0068 on Akt signaling was characterized using specific biomarkers of the Akt pathway, and response to GDC-0068 was evaluated in human cancer cell lines and xenograft models with various genetic backgrounds, either as a single agent or in combination with chemotherapeutic agents.GDC-0068 blocked Akt signaling both in cultured human cancer cell lines and in tumor xenograft models as evidenced by dose-dependent decrease in phosphorylation of downstream targets. Inhibition of Akt activity by GDC-0068 resulted in blockade of cell-cycle progression and reduced viability of cancer cell lines. Markers of Akt activation, including high-basal phospho-Akt levels, PTEN loss, and PIK3CA kinase domain mutations, correlate with sensitivity to GDC-0068. Isogenic PTEN knockout also sensitized MCF10A cells to GDC-0068. In multiple tumor xenograft models, oral administration of GDC-0068 resulted in antitumor activity ranging from tumor growth delay to regression. Consistent with the role of Akt in a survival pathway, GDC-0068 also enhanced antitumor activity of classic chemotherapeutic agents.GDC-0068 is a highly selective, orally bioavailable Akt kinase inhibitor that shows pharmacodynamic inhibition of Akt signaling and robust antitumor activity in human cancer cells in vitro and in vivo. Our preclinical data provide a strong mechanistic rationale to evaluate GDC-0068 in cancers with activated Akt signaling.

Ductal carcinoma in situ (DCIS) is a pre-invasive lesion that is thought to be a precursor to invasive breast cancer (IBC). To understand the changes in the tumor microenvironment (TME) accompanying transition to IBC, we used multiplexed ion beam imaging by time of flight (MIBI-TOF) and a 37-plex antibody staining panel to interrogate 79 clinically annotated surgical resections using machine learning tools for cell segmentation, pixel-based clustering, and object morphometrics. Comparison of normal breast with patient-matched DCIS and IBC revealed coordinated transitions between four TME states that were delineated based on the location and function of myoepithelium, fibroblasts, and immune cells. Surprisingly, myoepithelial disruption was more advanced in DCIS patients that did not develop IBC, suggesting this process could be protective against recurrence. Taken together, this HTAN Breast PreCancer Atlas study offers insight into drivers of IBC relapse and emphasizes the importance of the TME in regulating these processes.

Abstract Understanding the spatial organization of tissues is of critical importance for both basic and translational research. While recent advances in tissue imaging are opening an exciting new window into the biology of human tissues, interpreting the data that they create is a significant computational challenge. Cell segmentation, the task of uniquely identifying each cell in an image, remains a substantial barrier for tissue imaging, as existing approaches are inaccurate or require a substantial amount of manual curation to yield useful results. Here, we addressed the problem of cell segmentation in tissue imaging data through large-scale data annotation and deep learning. We constructed TissueNet, an image dataset containing >1 million paired whole-cell and nuclear annotations for tissue images from nine organs and six imaging platforms. We created Mesmer, a deep learning-enabled segmentation algorithm trained on TissueNet that performs nuclear and whole-cell segmentation in tissue imaging data. We demonstrated that Mesmer has better speed and accuracy than previous methods, generalizes to the full diversity of tissue types and imaging platforms in TissueNet, and achieves human-level performance for whole-cell segmentation. Mesmer enabled the automated extraction of key cellular features, such as subcellular localization of protein signal, which was challenging with previous approaches. We further showed that Mesmer could be adapted to harness cell lineage information present in highly multiplexed datasets. We used this enhanced version to quantify cell morphology changes during human gestation. All underlying code and models are released with permissive licenses as a community resource.

Abstract Ductal carcinoma in situ (DCIS) is a pre-invasive lesion that is thought to be a precursor to invasive breast cancer (IBC). To understand how the tumor microenvironment (TME) changes with transition to IBC, we used Multiplexed Ion Beam Imaging by time of flight (MIBI-TOF) and a 37-plex antibody staining panel to analyze 140 clinically annotated surgical resections covering the full spectrum of breast cancer progression. We compared normal, DCIS, and IBC tissues using machine learning tools for multiplexed cell segmentation, pixel-based clustering, and object morphometrics. Transition from DCIS to IBC was found to occur along a trajectory marked by coordinated shifts in location and function of myoepithelium, fibroblasts, and infiltrating immune cells in the surrounding stroma. Taken together, this comprehensive study within the HTAN Breast PreCancer Atlas offers insight into the etiologies of DCIS, its transition to IBC, and emphasizes the importance of the TME stroma in promoting these processes.

Recent advancements in transcriptomics and proteomics have opened the possibility for spatially resolved molecular characterization of tissue architecture with the promise of enabling a deeper understanding of tissue biology in either homeostasis or disease. The wealth of data generated by these technologies has recently driven the development of computational pipelines that, nevertheless, have the requirement of coding fluency to be applied. To remove this hurdle, we present SPEX (Spatial Expression Explorer), a comprehensive image analysis software implemented as a userfriendly web-based application with modules that can be put together by the user as pipelines conveniently through a graphical user interface. SPEX’s infrastructure allows for streamlined access to open source image data management systems and analysis modules for cell segmentation, cell phenotyping, cell-cell co-occurrence and spatially informed omics analyses. We demonstrate SPEX’s ability to facilitate the discovery of biological insights in spatially resolved omics datasets from healthy tissue to tumor samples.

SUMMARY Ductal carcinoma in situ (DCIS) is the most common precursor of invasive breast cancer (IBC), with variable propensity for progression. We have performed the first multiscale, integrated profiling of DCIS with clinical outcomes by analyzing 677 DCIS samples from 481 patients with 7.1 years median follow-up from the Translational Breast Cancer Research Consortium (TBCRC) 038 study and the Resource of Archival Breast Tissue (RAHBT) cohorts. We identified 812 genes associated with ipsilateral recurrence within 5 years from treatment and developed a classifier that was predictive of DCIS or IBC recurrence in both cohorts. Pathways associated with recurrence include proliferation, immune response, and metabolism. Distinct stromal expression patterns and immune cell compositions were identified. Our multiscale approach employed in situ methods to generate a spatially resolved atlas of breast precancers, where complementary modalities can be directly compared and correlated with conventional pathology findings, disease states, and clinical outcome. HIGHLIGHTS ⍰ Development of a new classifier for DCIS recurrence or progression ⍰ Outcome associated pathways identified across multiple data types and compartments ⍰ Four stroma-specific signatures identified ⍰ CNAs characterize DCIS subgroups associated with high risk invasive cancers

Spatial profiling of tissues promises to elucidate tumor-microenvironment interactions and generate prognostic and predictive biomarkers. We analyzed single-cell, spatial data from three multiplex imaging technologies: cyclic immunofluorescence (CycIF) data we generated from 102 breast cancer patients with clinical follow-up, and publicly available imaging mass cytometry and multiplex ion-beam imaging datasets. Similar single-cell phenotyping results across imaging platforms enabled combined analysis of epithelial phenotypes to delineate prognostic subtypes among estrogen-receptor positive (ER+) patients. We utilized discovery and validation cohorts to identify biomarkers with prognostic value. Increased lymphocyte infiltration was independently associated with longer survival in triple-negative (TN) and high-proliferation ER+ breast tumors. An assessment of ten spatial analysis methods revealed robust spatial biomarkers. In ER+ disease, quiescent stromal cells close to tumor were abundant in good prognosis tumors, while tumor cell neighborhoods containing mixed fibroblast phenotypes were enriched in poor prognosis tumors. In TN disease, macrophage/tumor and B/T lymphocyte neighbors were enriched and lymphocytes were dispersed in good prognosis tumors, while tumor cell neighborhoods containing vimentin-positive fibroblasts were enriched in poor prognosis tumors. In conclusion, we generated comparable single-cell spatial proteomic data from several clinical cohorts to enable prognostic spatial biomarker identification and validation.