Purpose: Deep learning techniques excel at identifying tumor-infiltrating lymphocytes (TILs) and immune phenotypes in hematoxylin and eosin (H&E)-stained slides. However, their ability to elucidate detailed functional characteristics of diverse cellular phenotypes within tumor immune microenvironment (TME) is limited. We aimed to enhance our understanding of cellular composition and functional characteristics across TME regions and improve patient stratification by integrating H&E with adjacent immunohistochemistry (IHC) images. Methods: A retrospective study was conducted on patients with HPV(+) oropharyngeal squamous cell carcinoma (OPSCC). Using paired H&E and IHC slides for 11 proteins, a DL pipeline was used to quantify tumor, stroma, and TILs in the TME. Patients were classified into immune inflamed (IN), immune excluded (IE), or immune desert (ID) phenotypes. By registering the IHC and H&E slides, we integrated IHC data to capture protein expression in the corresponding tumor regions. We further stratified patients into specific immune subtypes, such as IN, with increased or reduced CD8+ cells, based on the abundance of these proteins. This characterization provided functional insight into the H&E-based subtypes. Results: Analysis of 88 primary tumors and 70 involved lymph node tissue images revealed an improved prognosis in patients classified as IN in primary tumors with high CD8 and low CD163 expression (p = 0.007). Multivariate Cox regression analysis confirmed a significantly better prognosis for these subtypes. Conclusions: Integrating H&E and IHC data enhances the functional characterization of immune phenotypes of the TME with biological interpretability, and improves patient stratification in HPV(+) OPSCC.

Abstract Patients with head and neck squamous cell carcinomas (HNSCC) often have poor outcomes due to suboptimal risk-management and treatment strategies; yet integrating novel prognostic biomarkers into clinical practice is challenging. Here, we report the presence of multinucleated giant cells (MGC) – a type of macrophages – in tumors from patients with HNSCC, which are associated with a favorable prognosis in treatment-naive and preoperative-chemotherapy-treated patients. Importantly, MGC density increased in tumors following preoperative therapy, suggesting a role of these cells in the anti-tumoral response. To enable clinical translation of MGC density as a prognostic marker, we developed a deep-learning model to automate its quantification on routinely stained pathological whole slide images. Finally, we used spatial transcriptomic and proteomic approaches to describe the MGC-related tumor microenvironment and observed an increase in central memory CD4 T cells. We defined an MGC-specific signature resembling to TREM2-expressing mononuclear tumor associated macrophages, which co-localized in keratin tumor niches.