The first report of the ICGC-TCGA DREAM Somatic Mutation Calling Challenge introduces the BAMSurgeon tool for accurate tumor simulation and reports the performance of 248 submissions in calling single-nucleotide variants from three pairs of synthetic tumor–normal genome benchmarks. The detection of somatic mutations from cancer genome sequences is key to understanding the genetic basis of disease progression, patient survival and response to therapy. Benchmarking is needed for tool assessment and improvement but is complicated by a lack of gold standards, by extensive resource requirements and by difficulties in sharing personal genomic information. To resolve these issues, we launched the ICGC-TCGA DREAM Somatic Mutation Calling Challenge, a crowdsourced benchmark of somatic mutation detection algorithms. Here we report the BAMSurgeon tool for simulating cancer genomes and the results of 248 analyses of three in silico tumors created with it. Different algorithms exhibit characteristic error profiles, and, intriguingly, false positives show a trinucleotide profile very similar to one found in human tumors. Although the three simulated tumors differ in sequence contamination (deviation from normal cell sequence) and in subclonality, an ensemble of pipelines outperforms the best individual pipeline in all cases. BAMSurgeon is available at https://github.com/adamewing/bamsurgeon/ .

It remains unclear whether causal, rather than merely correlational, relationships in molecular networks can be inferred in complex biological settings. Here we describe the HPN-DREAM network inference challenge, which focused on learning causal influences in signaling networks. We used phosphoprotein data from cancer cell lines as well as in silico data from a nonlinear dynamical model. Using the phosphoprotein data, we scored more than 2,000 networks submitted by challenge participants. The networks spanned 32 biological contexts and were scored in terms of causal validity with respect to unseen interventional data. A number of approaches were effective, and incorporating known biology was generally advantageous. Additional sub-challenges considered time-course prediction and visualization. Our results suggest that learning causal relationships may be feasible in complex settings such as disease states. Furthermore, our scoring approach provides a practical way to empirically assess inferred molecular networks in a causal sense.

Abstract Expanding access to precision medicine will increasingly require that patient biometrics can be measured in remote care settings. VO 2 max, the maximum volume of oxygen usable during intense exercise, is one of the most predictive biometric risk factors for cardiovascular disease, frailty, and overall mortality. 1,2 However, VO 2 max measurements are rarely performed in clinical care or large-scale epidemiologic studies due to the high cost, participant burden, and need for specialized laboratory equipment and staff. 3,4 To overcome these barriers, we developed two smartphone sensor-based protocols for estimating VO 2 max: a generalization of a 12-minute run test (12-MRT) and a submaximal 3-minute step test (3-MST). In laboratory settings, Lins concordance for these two tests relative to gold standard VO 2 max testing was p c =0.66 for 12-MRT and p c =0.61 for 3-MST. Relative to “silver standards” 5 (Cooper/Tecumseh protocols), concordance was p c =0.96 and p c =0.94, respectively. However, in remote settings, 12-MRT was significantly less concordant with gold standard ( p c =0.25) compared to 3-MST ( p c =0.61), though both had high test-retest reliability (ICC=0.88 and 0.86, respectively). These results demonstrate the importance of real-world evidence for validation of digital health measurements. In order to validate 3-MST in a broadly representative population in accordance with the All of Us Research Program 6 for which this measurement was developed, the camera-based heart rate measurement was investigated for potential bias. No systematic measurement error was observed that corresponded to skin pigmentation level, operating system, or cost of the phone used. The smartphone-based 3-MST protocol, here termed Heart Snapshot , maintained fidelity across demographic variation in age and sex, across diverse skin pigmentation, and between iOS and Android implementations of various smartphone models. The source code for these smartphone measurements, along with the data used to validate them, 6 are openly available to the research community.

Objective Psoriatic disease remains underdiagnosed and undertreated. We developed and validated a suite of novel, sensor-based smartphone assessments (Psorcast app) that can be self-administered to measure cutaneous and musculoskeletal signs and symptoms of psoriatic disease. Methods Participants with psoriasis (PsO) or psoriatic arthritis (PsA) and healthy controls were recruited between June 5, 2019, and November 10, 2021, at 2 academic medical centers. Concordance and accuracy of digital measures and image-based machine learning models were compared to their analogous clinical measures from trained rheumatologists and dermatologists. Results Of 104 study participants, 51 (49%) were female and 53 (51%) were male, with a mean age of 42.3 years (SD 12.6). Seventy-nine (76%) participants had PsA, 16 (15.4%) had PsO, and 9 (8.7%) were healthy controls. Digital patient assessment of percent body surface area (BSA) affected with PsO demonstrated very strong concordance (Lin concordance correlation coefficient [CCC] 0.94 [95% CI 0.91-0.96]) with physician-assessed BSA. The in-clinic and remote target plaque physician global assessments showed fair-to-moderate concordance (CCC erythema 0.72 [0.59-0.85]; CCC induration 0.72 [0.62-0.82]; CCC scaling 0.60 [0.48-0.72]). Machine learning models of hand photos taken by patients accurately identified clinically diagnosed nail PsO with an accuracy of 0.76. The Digital Jar Open assessment categorized physician-assessed upper extremity involvement, considering joint tenderness or enthesitis (AUROC 0.68 [0.47-0.85]). Conclusion The Psorcast digital assessments achieved significant clinical validity, although they require further validation in larger cohorts before use in evidence-based medicine or clinical trial settings. The smartphone software and analysis pipelines from the Psorcast suite are open source and freely available.

Abstract Background The phenotypes of cancer cells are driven in part by somatic structural variants. Structural variants can initiate tumors, enhance their aggressiveness and provide unique therapeutic opportunities. Whole-genome sequencing of tumors can allow exhaustive identification of the specific structural variants present in an individual cancer, facilitating both clinical diagnostics and the discovery of novel mutagenic mechanisms. A plethora of somatic structural variant detection algorithms have been created to enable these discoveries, however there are no systematic benchmarks of them. Rigorous performance evaluation of somatic structural variant detection methods has been challenged by the lack of gold-standards, extensive resource requirements and difficulties arising from the need to share personal genomic information. Results To facilitate structural variant detection algorithm evaluations, we create a robust simulation framework for somatic structural variants by extending the BAMSurgeon algorithm. We then organize and enable a crowd-sourced benchmarking within the ICGC-TCGA DREAM Somatic Mutation Calling Challenge (SMC-DNA). We report here the results of structural variant benchmarking on three different tumors, comprising 204 submissions from 15 teams. In addition to ranking methods, we identify characteristic error-profiles of individual algorithms and general trends across them. Surprisingly, we find that ensembles of analysis pipelines do not always outperform the best individual method, indicating a need for new ways to aggregate somatic structural variant detection approaches. Conclusions The synthetic tumors and somatic structural variant detection leaderboards remain available as a community benchmarking resource, and BAMSurgeon is available at https://github.com/adamewing/bamsurgeon .