Three experimental environments traditionally support network and distributed systems research: network emulators, network simulators, and live networks. The continued use of multiple approaches highlights both the value and inadequacy of each. Netbed, a descendant of Emulab, provides an experimentation facility that integrates these approaches, allowing researchers to configure and access networks composed of emulated, simulated, and wide-area nodes and links. Netbed's primary goals are ease of use, control , and realism , achieved through consistent use of virtualization and abstraction.By providing operating system-like services, such as resource allocation and scheduling, and by virtualizing heterogeneous resources, Netbed acts as a virtual machine for network experimentation. This paper presents Netbed's overall design and implementation and demonstrates its ability to improve experimental automation and efficiency. These, in turn, lead to new methods of experimentation, including automated parameter-space studies within emulation and straightforward comparisons of simulated, emulated, and wide-area scenarios.

The sensitivity of massively-parallel sequencing has confirmed that most cancers are oligoclonal, with subpopulations of neoplastic cells harboring distinct mutations. A fine resolution view of this clonal architecture provides insight into tumor heterogeneity, evolution, and treatment response, all of which may have clinical implications. Single tumor analysis already contributes to understanding these phenomena. However, cryptic subclones are frequently revealed by additional patient samples (e.g., collected at relapse or following treatment), indicating that accurately characterizing a tumor requires analyzing multiple samples from the same patient. To address this need, we present SciClone, a computational method that identifies the number and genetic composition of subclones by analyzing the variant allele frequencies of somatic mutations. We use it to detect subclones in acute myeloid leukemia and breast cancer samples that, though present at disease onset, are not evident from a single primary tumor sample. By doing so, we can track tumor evolution and identify the spatial origins of cells resisting therapy.

Abstract Deconvolution methods infer levels of immune and stromal infiltration from bulk expression of tumor samples. These methods allow projection of characteristics of the tumor microenvironment, known to affect patient outcome and therapeutic response, onto the millions of bulk transcriptional profiles in public databases, many focused on uniquely valuable and clinically-annotated cohorts. Despite the wide development of such methods, a standardized dataset with ground truth to evaluate their performance has been lacking. We generated and sequenced in vitro and in silico admixtures of tumor, immune, and stromal cells and used them as ground truth in a community-wide DREAM Challenge that provided an objective, unbiased assessment of six widely-used published deconvolution methods and of 22 new analytical approaches developed by international teams. Our results demonstrate that existing methods predict many cell types well, while team-contributed methods highlight the potential to resolve functional states of T cells that were either not covered by published reference signatures or estimated poorly by some published methods. Our assessment and the open-source implementations of top-performing methods will allow researchers to apply the deconvolution approach most appropriate to querying their cell type of interest. Further, our publicly-available admixed and purified expression profiles will be a valuable resource to those developing deconvolution methods, including in non-malignant settings involving immune cells.

Abstract While the past decade has seen meaningful improvements in clinical outcomes for multiple myeloma patients, a subset of patients do not benefit from current therapeutics for unclear reasons. Many gene expression-based models of risk have been developed, but each model uses a different combination of genes and often involve assaying many genes making them difficult to implement. We organized the Multiple Myeloma DREAM Challenge, a crowdsourced effort to develop models of rapid progression in newly diagnosed myeloma patients and to benchmark these against previously published models. This effort lead to more robust predictors and found that incorporating specific demographic and clinical features improved gene expression-based models of high risk. Furthermore, post challenge analysis identified a novel expression-based risk marker and histone modifier, PHF19 , which featured prominently in several independent models. Lastly, we show that a simple four feature predictor composed of age, International Staging System stage (ISS), and expression of PHF19 and MMSET performs similarly to more complex models with many more gene expression features included. Key points Most comprehensive and unbiased assessment of prognostic biomarkers in MM resulting in a robust and parsimonious model. Identification of PHF19 as the expression based biomarker most strongly associated with rapid progression in MM patients.

Abstract We evaluate deconvolution methods, which infer levels of immune infiltration from bulk expression of tumor samples, through a community-wide DREAM Challenge. We assess six published and 22 community-contributed methods using in vitro and in silico transcriptional profiles of admixed cancer and healthy immune cells. Several published methods predict most cell types well, though they either were not trained to evaluate all functional CD8+ T cell states or do so with low accuracy. Several community-contributed methods address this gap, including a deep learning-based approach, whose strong performance establishes the applicability of this paradigm to deconvolution. Despite being developed largely using immune cells from healthy tissues, deconvolution methods predict levels of tumor-derived immune cells well. Our admixed and purified transcriptional profiles will be a valuable resource for developing deconvolution methods, including in response to common challenges we observe across methods, such as sensitive identification of functional CD4+ T cell states.

Abstract We created the PDX Network (PDXNet) Portal ( https://portal.pdxnetwork.org/ ) to centralize access to the National Cancer Institute-funded PDXNet consortium resources (i.e., PDX models, sequencing data, treatment response data, and bioinformatics workflows), to facilitate collaboration among researchers, and to make resources easily available for research. The portal includes sections for resources, analysis results, metrics for PDXNet activities, data processing protocols, and training materials for processing PDX data. The initial portal release highlights PDXNet model and data resources, including 334 new models across 33 cancer types. Tissue samples of these models were deposited in the NCI’s Patient-Derived Model Repository (PDMR) for public access. These models have 2,822 associated sequencing files from 873 samples across 307 patients, which are hosted on the Cancer Genomics Cloud powered by Seven Bridges and the NCI Cancer Data Service for long-term storage and access with dbGaP permissions. The portal also includes results from standardized analysis workflows on PDXNet sequencing files and PDMR data (2,594 samples from 463 patients across 78 disease types). These 15 analysis workflows for whole-exome and RNA-Seq data are freely available, robust, validated, and standardized. The model and data lists will grow substantially over the next two years and will be continuously updated as new data are available. PDXNet models support multi-agent treatment studies, determination of sensitivity and resistance mechanisms, and preclinical trials. The PDXNet portal is a centralized location for these data and resources, which we expect to be of significant utility for the cancer research community.

ABSTRACT Convolutional neural networks (CNNs) are revolutionizing digital pathology by enabling machine learning-based classification of a variety of phenotypes from hematoxylin and eosin (H&E) whole slide images (WSIs), but the interpretation of CNNs remains difficult. Most studies have considered interpretability in a post hoc fashion, e.g. by presenting example regions with strongly predicted class labels. However, such an approach does not explain the biological features that contribute to correct predictions. To address this problem, here we investigate the interpretability of H&E-derived CNN features (the feature weights in the final layer of a transfer-learning-based architecture), which we show can be construed as abstract morphological genes (“mones”) with strong independent associations to biological phenotypes. We observe that many mones are specific to individual cancer types, while others are found in multiple cancers especially from related tissue types. We also observe that mone-mone correlations are strong and robustly preserved across related cancers. Importantly, linear mone-based classifiers can very accurately separate 38 distinct classes (19 tumor types and their adjacent normals, AUC=97.1% ± 2.8% for each class prediction), and linear classifiers are also highly effective for universal tumor detection (AUC=99.2% ± 0.12%). This linearity provides evidence that individual mones or correlated mone clusters may be associated with interpretable histopathological features or other patient characteristics. In particular, the statistical similarity of mones to gene expression values allows integrative mone analysis via expression-based bioinformatics approaches. We observe strong correlations between individual mones and individual gene expression values, notably mones associated with collagen gene expression in ovarian cancer. Mone-expression comparisons also indicate that immunoglobulin expression can be identified using mones in colon adenocarcinoma and that immune activity can be identified across multiple cancer types, and we verify these findings by expert histopathological review. Our work demonstrates that mones provide a morphological H&E decomposition that can be effectively associated with diverse phenotypes, analogous to the interpretability of transcription via gene expression values.

Abstract Emerging multiplexed imaging platforms provide an unprecedented view of an increasing number of molecular markers at subcellular resolution and the dynamic evolution of tumor cellular composition. As such, they are capable of elucidating cell-to-cell interactions within the tumor microenvironment that impact clinical outcome and therapeutic response. However, the rapid development of these platforms has far outpaced the computational methods for processing and analyzing the data they generate. While being technologically disparate, all imaging assays share many computational requirements for post-collection data processing. We convened a workshop to characterize these shared computational challenges and a follow-up hackathon to implement solutions for a selected subset of them. Here, we delineate these areas that reflect major axes of research within the field, including image registration, segmentation of cells and subcellular structures, and identification of cell types from their morphology. We further describe the logistical organization of these events, believing our lessons learned can aid others in uniting the imaging community around self-identified topics of mutual interest, in designing and implementing operational procedures to address those topics and in mitigating issues inherent in image analysis (e.g., sharing exemplar images of large datasets and disseminating baseline solutions to hackathon challenges through open-source code repositories).