ABSTRACT The recent development of highly multiplexed tissue imaging promises to substantially accelerate research into basic biology and human disease. Concurrently, histopathology in a clinical setting is undergoing a rapid transition to digital methods. Online tissue atlases involving highly multiplexed images of research and clinical specimens will soon join genomics as a systematic source of information on the molecular basis of disease and therapeutic response. However, even with recent advances in machine learning, experience with anatomic pathology shows that there is no immediate substitute for expert visual review, annotation, and description of tissue images. In this perspective we review the ecosystem of software available for analysis of tissue images and identify a need for interactive guides or “digital docents” that allow experts to help make complex images intelligible. We illustrate this idea using Minerva software and discuss how interactive image guides are being integrated into multi-omic browsers for effective dissemination of atlas data.

ABSTRACT Lymphocytes play a key role in immune surveillance of tumors, but our understanding of the spatial organization and physical interactions that facilitate lymphocyte anti-cancer functions is limited. Here, we used multiplexed imaging, quantitative spatial analysis, and machine learning to create high-definition maps of tumor-bearing lung tissues from a Kras/p53 (KP) mouse model and human resections. Networks of directly interacting lymphocytes (‘lymphonets’) emerge as a distinctive feature of the anti-cancer immune response. Lymphonets nucleate from small T-cell clusters and incorporate B cells with increasing size. CXCR3-mediated trafficking modulates lymphonet size and number, but neoantigen expression directs intratumoral localization. Lymphonets preferentially harbor TCF1+/PD1+ progenitor CD8 T cells involved in responses to immune checkpoint blockade (ICB). Upon treatment of mice with ICB therapy or a neoantigen-targeted vaccine, lymphonets retain progenitor and gain cytotoxic CD8 T-cell populations, likely via progenitor differentiation. These data show that lymphonets create a spatial environment supportive of CD8 T-cell anti-tumor responses.

Abstract New highly-multiplexed imaging technologies have enabled the study of tissues in unprecedented detail. These methods are increasingly being applied to understand how cancer cells and immune response change during tumor development, progression, and metastasis, as well as following treatment. Yet, existing analysis approaches focus on investigating small tissue samples on a per-cell basis, not taking into account the spatial proximity of cells, which indicates cell-cell interaction and specific biological processes in the larger cancer microenvironment. We present Visinity, a scalable visual analytics system to analyze cell interaction patterns across cohorts of whole-slide multiplexed tissue images. Our approach is based on a fast regional neighborhood computation, leveraging unsupervised learning to quantify, compare, and group cells by their surrounding cellular neighborhood. These neighborhoods can be visually analyzed in an exploratory and confirmatory workflow. Users can explore spatial patterns present across tissues through a scalable image viewer and coordinated views highlighting the neighborhood composition and spatial arrangements of cells. To verify or refine existing hypotheses, users can query for specific patterns to determine their presence and statistical significance. Findings can be interactively annotated, ranked, and compared in the form of small multiples. In two case studies with biomedical experts, we demonstrate that Visinity can identify common biological processes within a human tonsil and uncover novel white-blood cell networks and immune-tumor interactions.

Abstract Background When a randomized experimental study is not possible, Mendelian randomization studies use genetic variants or polygenic scores as instrumental variables to control for gene-environment correlation while estimating the association between an exposure and outcome. Polygenic scores have become increasingly potent predictors of their respective phenotypes, satisfying the relevance criteria of an instrumental variable. Evidence for pleiotropy, however, casts doubt on whether the exclusion criteria of an instrumental variable is likely to hold for polygenic scores of complex phenotypes, and a number of methods have been developed to adjust for pleiotropy in Mendelian randomization studies. Method Using multiple polygenic scores and path analysis we implement an extension of genetic instrumental variable regression, genetic path analysis, and use it to test whether educational attainment is associated with two health-related outcomes in adulthood, body mass index and smoking initiation, while estimating and controlling for both gene-environment correlations and pleiotropy. Results Genetic path analysis provides compelling evidence for a complex set of gene-environment transactions that undergird the relations between educational attainment and health-related outcomes in adulthood. Importantly, results are consistent with education having a protective effect on body mass index and smoking initiation, even after controlling for gene-environment correlations and pleiotropy. Conclusions The proposed method is capable of addressing the exclusion criteria for a sound instrumental variable and, consequently, has the potential to help advance Mendelian randomization studies of complex phenotypes.

Abstract Over the past century, multichannel fluorescence imaging has been pivotal in myriad scientific breakthroughs by enabling the spatial visualization of proteins within a biological sample. With the shift to digital methods and visualization software, experts can now flexibly pseudocolor and combine image channels, each corresponding to a different protein, to explore their spatial relationships. We thus propose psudo , an interactive system that allows users to create optimal color palettes for multichannel spatial data. In psudo , a novel optimization method generates palettes that maximize the perceptual differences between channels while mitigating confusing color blending in overlapping channels. We integrate this method into a system that allows users to explore multi-channel image data and compare and evaluate color palettes for their data. An interactive lensing approach provides on-demand feedback on channel overlap and a color confusion metric while giving context to the underlying channel values. Color palettes can be applied globally or, using the lens, to local regions of interest. We evaluate our palette optimization approach using three graphical perception tasks in a crowdsourced user study with 150 participants, showing that users are more accurate at discerning and comparing the underlying data using our approach. Additionally, we showcase psudo in a case study exploring the complex immune responses in cancer tissue data with a biologist. CCS Concepts Human-centered computing → Visualization systems and tools;

Subthreshold psychosis symptoms in the general population may be associated with genetic risk for schizophrenia. In this analysis, empirically-derived symptom factor scores led to a detection of significant and robust polygenic signal. This study sought to optimize genetic association with data-driven symptom factor scores, accounting for cohort factor structure and sex differences. EFA-derived symptom factor scores were regressed onto PRS for schizophrenia in models accounting for age and genetic ancestry principal components. Follow-up examination of symptom factor score associations with other related genetic risks included ADHD, autism, bipolar disorder, major depression, and neuroticism. This study examined the newly expanded symptom dataset from the Northern European ancestry cohort, Generation Scotland: Scottish Family Health Study (N = 9,105 individuals 18-65 years of age) comprising common variant and subthreshold psychosis symptom data. A total of 5,391 females and 3,713 males with age M[SD] = 45.2 [13] were included in the final analyses. Subthreshold psychosis symptoms were measured using the Schizotypal Personality Questionnaire-Brief (SPQ-B). Primary phenotypic factor scores and genome-wide polygenic risk scores (PRS) reflected weighted sum scores and were examined as continuous measures. Polygenic risk scores were calculated from genome-wide association summary statistics using 7,358,674 imputed common genetic variants passing quality control. In males, symptom factor scores were positively associated with polygenic risk for schizophrenia alone and implicated primarily interpersonal/negative symptoms. In females, symptom factor scores were positively associated with polygenic risks for ADHD and autism but not schizophrenia. Scores were robustly associated with genetic risk for neuroticism across both males and females. This study detected a significant association of subthreshold psychosis symptoms with genetic risk for schizophrenia and neuroticism in a population-based sample. Furthermore, important sex differences suggest a need for better understanding of schizophrenia risk assessment in females.

We conducted a genome-wide association study of subjective well-being (SWB) in 298,420 individuals. We also performed auxiliary analyses of depressive symptoms ("DS"; N = 161,460) and neuroticism (N = 170,910), both of which have a substantial genetic correlation with SWB (ρ≈-0.8). We identify three SNPs associated with SWB at genome-wide significance. Two of them are significantly associated with DS in an independent sample. In our auxiliary analyses, we identify 13 additional genome-wide-significant associations: two with DS and eleven with neuroticism, including two inversion polymorphisms. Across our phenotypes, loci regulating expression in central nervous system and adrenal/pancreas tissues are enriched. The discovery of genetic loci associated with the three phenotypes we study has proven elusive; our findings illustrate the payoffs from studying them jointly.

The National Cancer Institute (NCI) supports many research programs and consortia, many of which use imaging as a major modality for characterizing cancerous tissue. A trans-consortia Image Analysis Working Group (IAWG) was established in 2019 with a mission to disseminate imaging-related work and foster collaborations. In 2022, the IAWG held a virtual hackathon focused on addressing challenges of analyzing high dimensional datasets from fixed cancerous tissues. Standard image processing techniques have automated feature extraction, but the next generation of imaging data requires more advanced methods to fully utilize the available information. In this perspective, we discuss current limitations of the automated analysis of multiplexed tissue images, the first steps toward deeper understanding of these limitations, what possible solutions have been developed, any new or refined approaches that were developed during the Image Analysis Hackathon 2022, and where further effort is required. The outstanding problems addressed in the hackathon fell into three main themes: 1) challenges to cell type classification and assessment, 2) translation and visual representation of spatial aspects of high dimensional data, and 3) scaling digital image analyses to large (multi-TB) datasets. We describe the rationale for each specific challenge and the progress made toward addressing it during the hackathon. We also suggest areas that would benefit from more focus and offer insight into broader challenges that the community will need to address as new technologies are developed and integrated into the broad range of image-based modalities and analytical resources already in use within the cancer research community.

Facetto is a scalable visual analytics application that is used to discover single-cell phenotypes in high-dimensional multi-channel microscopy images of human tumors and tissues. Such images represent the cutting edge of digital histology and promise to revolutionize how diseases such as cancer are studied, diagnosed, and treated. Highly multiplexed tissue images are complex, comprising 10^9 or more pixels, 60-plus channels, and millions of individual cells. This makes manual analysis challenging and error-prone. Existing automated approaches are also inadequate, in large part, because they are unable to effectively exploit the deep knowledge of human tissue biology available to anatomic pathologists. To overcome these challenges, Facetto enables a semi-automated analysis of cell types and states. It integrates unsupervised and supervised learning into the image and feature exploration process and offers tools for analytical provenance. Experts can cluster the data to discover new types of cancer and immune cells and use clustering results to train a convolutional neural network that classifies new cells accordingly. Likewise, the output of classifiers can be clustered to discover aggregate patterns and phenotype subsets. We also introduce a new hierarchical approach to keep track of analysis steps and data subsets created by users; this assists in the identification of cell types. Users can build phenotype trees and interact with the resulting hierarchical structures of both high-dimensional feature and image spaces. We report on use-cases in which domain scientists explore various large-scale fluorescence imaging datasets. We demonstrate how Facetto assists users in steering the clustering and classification process, inspecting analysis results, and gaining new scientific insights into cancer biology.