Real-world evidence (RWE) includes data from retrospective or prospective observational studies and observational registries and provides insights beyond those addressed by randomized controlled trials. RWE studies aim to improve health care decision making.The International Society for Pharmacoeconomics and Outcomes Research (ISPOR) and the International Society for Pharmacoepidemiology (ISPE) created a task force to make recommendations regarding good procedural practices that would enhance decision makers' confidence in evidence derived from RWD studies. Peer review by ISPOR/ISPE members and task force participants provided a consensus-building iterative process for the topics and framing of recommendations.The ISPOR/ISPE Task Force recommendations cover seven topics such as study registration, replicability, and stakeholder involvement in RWE studies. These recommendations, in concert with earlier recommendations about study methodology, provide a trustworthy foundation for the expanded use of RWE in health care decision making.The focus of these recommendations is good procedural practices for studies that test a specific hypothesis in a specific population. We recognize that some of the recommendations in this report may not be widely adopted without appropriate incentives from decision makers, journal editors, and other key stakeholders.

In pharmacoepidemiology, routinely collected data from electronic health records (including primary care databases, registries, and administrative healthcare claims) are a resource for research evaluating the real world effectiveness and safety of medicines. Currently available guidelines for the reporting of research using non-randomised, routinely collected data—specifically the REporting of studies Conducted using Observational Routinely collected health Data (RECORD) and the Strengthening the Reporting of OBservational studies in Epidemiology (STROBE) statements—do not capture the complexity of pharmacoepidemiological research. We have therefore extended the RECORD statement to include reporting guidelines specific to pharmacoepidemiological research (RECORD-PE). This article includes the RECORD-PE checklist (also available on www.record-statement.org) and explains each checklist item with examples of good reporting. We anticipate that increasing use of the RECORD-PE guidelines by researchers and endorsement and adherence by journal editors will improve the standards of reporting of pharmacoepidemiological research undertaken using routinely collected data. This improved transparency will benefit the research community, patient care, and ultimately improve public health.

Real-world evidence (RWE) includes data from retrospective or prospective observational studies and observational registries and provides insights beyond those addressed by randomized controlled trials. RWE studies aim to improve health care decision making.The International Society for Pharmacoeconomics and Outcomes Research (ISPOR) and the International Society for Pharmacoepidemiology (ISPE) created a task force to make recommendations regarding good procedural practices that would enhance decision makers' confidence in evidence derived from RWD studies. Peer review by ISPOR/ISPE members and task force participants provided a consensus-building iterative process for the topics and framing of recommendations.The ISPOR/ISPE Task Force recommendations cover seven topics such as study registration, replicability, and stakeholder involvement in RWE studies. These recommendations, in concert with earlier recommendations about study methodology, provide a trustworthy foundation for the expanded use of RWE in health care decision making.The focus of these recommendations is good procedural practices for studies that test a specific hypothesis in a specific population. We recognize that some of the recommendations in this report may not be widely adopted without appropriate incentives from decision makers, journal editors, and other key stakeholders.

Importance

 Accurate risk stratification of patients with heart failure (HF) is critical to deploy targeted interventions aimed at improving patients’ quality of life and outcomes. 

Objectives

 To compare machine learning approaches with traditional logistic regression in predicting key outcomes in patients with HF and evaluate the added value of augmenting claims-based predictive models with electronic medical record (EMR)–derived information. 

Design, Setting, and Participants

 A prognostic study with a 1-year follow-up period was conducted including 9502 Medicare-enrolled patients with HF from 2 health care provider networks in Boston, Massachusetts (“providers” includes physicians, clinicians, other health care professionals, and their institutions that comprise the networks). The study was performed from January 1, 2007, to December 31, 2014; data were analyzed from January 1 to December 31, 2018. 

Main Outcomes and Measures

 All-cause mortality, HF hospitalization, top cost decile, and home days loss greater than 25% were modeled using logistic regression, least absolute shrinkage and selection operation regression, classification and regression trees, random forests, and gradient-boosted modeling (GBM). All models were trained using data from network 1 and tested in network 2. After selecting the most efficient modeling approach based on discrimination, Brier score, and calibration, area under precision-recall curves (AUPRCs) and net benefit estimates from decision curves were calculated to focus on the differences when using claims-only vs claims + EMR predictors. 

Results

 A total of 9502 patients with HF with a mean (SD) age of 78 (8) years were included: 6113 from network 1 (training set) and 3389 from network 2 (testing set). Gradient-boosted modeling consistently provided the highest discrimination, lowest Brier scores, and good calibration across all 4 outcomes; however, logistic regression had generally similar performance (C statistics for logistic regression based on claims-only predictors: mortality, 0.724; 95% CI, 0.705-0.744; HF hospitalization, 0.707; 95% CI, 0.676-0.737; high cost, 0.734; 95% CI, 0.703-0.764; and home days loss claims only, 0.781; 95% CI, 0.764-0.798; C statistics for GBM: mortality, 0.727; 95% CI, 0.708-0.747; HF hospitalization, 0.745; 95% CI, 0.718-0.772; high cost, 0.733; 95% CI, 0.703-0.763; and home days loss, 0.790; 95% CI, 0.773-0.807). Higher AUPRCs were obtained for claims + EMR vs claims-only GBMs predicting mortality (0.484 vs 0.423), HF hospitalization (0.413 vs 0.403), and home time loss (0.575 vs 0.521) but not cost (0.249 vs 0.252). The net benefit for claims + EMR vs claims-only GBMs was higher at various threshold probabilities for mortality and home time loss outcomes but similar for the other 2 outcomes. 

Conclusions and Relevance

 Machine learning methods offered only limited improvement over traditional logistic regression in predicting key HF outcomes. Inclusion of additional predictors from EMRs to claims-based models appeared to improve prediction for some, but not all, outcomes.

Pharmacoepidemiologic and pharmacoeconomic analysis of health care databases has become a vital source of evidence to support health care decision making and efficient management of health care organizations. However, decision makers often consider studies done in nonrandomized health care databases more difficult to review than randomized trials because many design choices need to be considered. This is perceived as an important barrier to decision making about the effectiveness and safety of medical products. Design flaws in longitudinal database studies are avoidable but can be unintentionally obscured in the convoluted prose of methods sections, which often lack specificity. We propose a simple framework of graphical representation that visualizes study design implementations in a comprehensive, unambiguous, and intuitive way; contains a level of detail that enables reproduction of key study design variables; and uses standardized structure and terminology to simplify review and communication to a broad audience of decision makers. Visualization of design details will make database studies more reproducible, quicker to review, and easier to communicate to a broad audience of decision makers.

Real-world evidence (RWE) studies are increasingly used to inform policy and clinical decisions. However, there remain concerns about the credibility and reproducibility of RWE studies. Observational researchers should highlight the level of transparency of their studies by providing a succinct statement addressing study transparency with the publication of every paper, poster, or presentation that reports on a RWE study. In this paper, we propose a framework for an explicit transparency statement that declares the level of transparency a given RWE study has achieved across five key domains: 1) protocol, 2) pre-registration, 3) data, 4) code sharing, and 5) reporting checklists.

TPS8668 Background: EGFR exon 20 insertion mutations (ex20ins) occur in approximately 2% of non-small cell lung cancer (NSCLC) and overall account for approximately 9% of all the EGFR mutations in NSCLC (Robichaux et al., 2021). Current first-line standard of care for NSCLC patients with these mutations is platinum-based chemotherapy (NCCN NSCLC, 2023). Furmonertinib is an oral, highly brain penetrant, broadly active mutant-selective EGFR inhibitor that targets EGFR exon 20 insertions and other EGFR mutations (1). Furmonertinib recently obtained FDA Breakthrough Therapy Designation for the first line treatment of patients with advanced NSCLC with EGFR ex20ins based on the data from the FAVOUR study. In FAVOUR, treatment naïve patients with locally advanced or metastatic NSCLC with EGFR ex20ins mutations showed preliminary clinical activity with a confirmed overall response rate (ORR) of 78.6% (n=28) by blinded independent central review (BICR) with a preliminary median DOR of 15.2 months when treated with 240 mg daily [QD] of furmonertinib (2). In previously treated patients both the 240 mg and 160 mg QD dose levels were active with confirmed ORR of 46.2% (n=26) and 38.5% (n=26) respectively and included patients harboring near and far loop mutations. Furmonertinib showed a generally well-tolerated safety profile with expected EGFR-TKI class toxicities. Methods: The FURVENT (FURMO-004) study is a registrational global, phase 3, randomized, multicenter, open-label study. Eligible patients have treatment-naïve, locally advanced or metastatic non-squamous NSCLC with EGFR exon 20 insertion mutations. Key inclusion criteria include documented EGFR ex20ins mutation and measurable disease per RECIST 1.1. Key exclusion criteria include prior systemic anticancer therapy in the locally advanced or metastatic setting or any prior EGFR TKI therapy. Approximately 375 patients will be randomized 1:1:1 to receive furmonertinib 160 mg QD, furmonertinib 240 mg QD, or platinum-based chemotherapy (cisplatin or carboplatin plus pemetrexed for 4 cycles followed by pemetrexed maintenance therapy). Stratification factors include the history or presence of central nervous system metastases at baseline, geographic region, and sex at birth. Patients from the platinum-based chemotherapy arm with documented disease progression can crossover to furmonertinib cohort. The primary endpoint is progression-free survival comparing between the treatment arms (furmonertinib 160 mg or 240 mg vs chemotherapy) based on BICR assessment. The key secondary endpoint is overall survival. Study enrollment is ongoing. 1. Musib et al., NACLC 2022. 2. Han et al., WCLC 2023. Clinical trial information: NCT05607550 .

ABSTRACT Purpose We aimed to validate and, if performance was unsatisfactory, update the previously published prognostic model to predict clinical deterioration in patients hospitalized for COVID‐19, using data following vaccine availability. Methods Using electronic health records of patients ≥18 years, with laboratory‐confirmed COVID‐19, from a large care‐delivery network in Massachusetts, USA, from March 2020 to November 2021, we tested the performance of the previously developed prediction model and updated the prediction model by incorporating data after availability of COVID‐19 vaccines. We randomly divided data into development (70%) and validation (30%) cohorts. We built a model predicting worsening in a published severity scale in 24 h by LASSO regression and evaluated performance by c‐statistic and Brier score. Results Our study cohort consisted of 8185 patients (Development: 5730 patients [mean age: 62; 44% female] and Validation: 2455 patients [mean age: 62; 45% female]). The previously published model had suboptimal performance using data after November 2020 ( N = 4973, c‐statistic = 0.60. Brier score = 0.11). After retraining with the new data, the updated model included 38 predictors including 18 changing biomarkers. Patients hospitalized after Jun 1st, 2021 (when COVID‐19 vaccines became widely available in Massachusetts) were younger and had fewer comorbidities than those hospitalized before. The c‐statistic and Brier score were 0.77 and 0.13 in the development cohort, and 0.73 and 0.14 in the validation cohort. Conclusion The characteristics of patients hospitalized for COVID‐19 differed substantially over time. We developed a new dynamic model for rapid progression with satisfactory performance in the validation set.

There is growing interest in the secondary use of healthcare data to evaluate medication safety in pregnancy. Tree-based scan statistics (TBSS) offer an innovative approach to help identify potential safety signals. TBSS utilize hierarchically organized outcomes, generally based on existing clinical coding systems that group outcomes by organ system. When assessing teratogenicity, such groupings often lack a sound embryologic basis given the etiologic heterogeneity of congenital malformations. The study objective was to enhance the grouping of congenital malformations to be used in scanning approaches through implementation of hierarchical clustering analysis (HCA) and to pilot test an HCA-enhanced TBSS approach for medication safety surveillance in pregnancy in two test cases using >4.2 million mother-child dyads from two US-nationwide databases. HCA identified (1) malformation combinations belonging to the same organ system already grouped in existing classifications, (2) known combinations across different organ systems not previously grouped, (3) unknown combinations not previously grouped, and (4) malformations seemingly standing on their own. Testing the approach with valproate and topiramate identified expected signals, and a signal for an HCA-cluster missed by traditional classification. Augmenting existing classifications with clusters identified through large data exploration may be promising when defining phenotypes for surveillance and causal inference studies.