This paper describes a new congestive heart failure (CHF) treatment performance measure information extraction system - CHIEF - developed as part of the Automated Data Acquisition for Heart Failure project, a Veterans Health Administration project aiming at improving the detection of patients not receiving recommended care for CHF.CHIEF is based on the Apache Unstructured Information Management Architecture framework, and uses a combination of rules, dictionaries, and machine learning methods to extract left ventricular function mentions and values, CHF medications, and documented reasons for a patient not receiving these medications.The training and evaluation of CHIEF were based on subsets of a reference standard of various clinical notes from 1083 Veterans Health Administration patients. Domain experts manually annotated these notes to create our reference standard. Metrics used included recall, precision, and the F 1 -measure.In general, CHIEF extracted CHF medications with high recall (>0.990) and good precision (0.960-0.978). Mentions of Left Ventricular Ejection Fraction were also extracted with high recall (0.978-0.986) and precision (0.986-0.994), and quantitative values of Left Ventricular Ejection Fraction were found with 0.910-0.945 recall and with high precision (0.939-0.976). Reasons for not prescribing CHF medications were more difficult to extract, only reaching fair accuracy with about 0.310-0.400 recall and 0.250-0.320 precision.This study demonstrated that applying natural language processing to unlock the rich and detailed clinical information found in clinical narrative text notes makes fast and scalable quality improvement approaches possible, eventually improving management and outpatient treatment of patients suffering from CHF.

We developed an accurate, stakeholder-informed, automated, natural language processing (NLP) system to measure the quality of heart failure (HF) inpatient care, and explored the potential for adoption of this system within an integrated health care system.To accurately automate a United States Department of Veterans Affairs (VA) quality measure for inpatients with HF.We automated the HF quality measure Congestive Heart Failure Inpatient Measure 19 (CHI19) that identifies whether a given patient has left ventricular ejection fraction (LVEF) <40%, and if so, whether an angiotensin-converting enzyme inhibitor or angiotensin-receptor blocker was prescribed at discharge if there were no contraindications. We used documents from 1083 unique inpatients from eight VA medical centers to develop a reference standard (RS) to train (n=314) and test (n=769) the Congestive Heart Failure Information Extraction Framework (CHIEF). We also conducted semi-structured interviews (n=15) for stakeholder feedback on implementation of the CHIEF.The CHIEF classified each hospitalization in the test set with a sensitivity (SN) of 98.9% and positive predictive value of 98.7%, compared with an RS and SN of 98.5% for available External Peer Review Program assessments. Of the 1083 patients available for the NLP system, the CHIEF evaluated and classified 100% of cases. Stakeholders identified potential implementation facilitators and clinical uses of the CHIEF.The CHIEF provided complete data for all patients in the cohort and could potentially improve the efficiency, timeliness, and utility of HF quality measurements.

  We developed an accurate, stakeholder-informed, automated, natural language processing (NLP) system to measure the quality of heart failure (HF) inpatient care, and explored the potential for adoption of this system within an integrated health care system.    To accurately automate a United States Department of Veterans Affairs (VA) quality measure for inpatients with HF.    We automated the HF quality measure Congestive Heart Failure Inpatient Measure 19 (CHI19) that identifies whether a given patient has left ventricular ejection fraction (LVEF) <40%, and if so, whether an angiotensin-converting enzyme inhibitor or angiotensin-receptor blocker was prescribed at discharge if there were no contraindications. We used documents from 1083 unique inpatients from eight VA medical centers to develop a reference standard (RS) to train (n=314) and test (n=769) the Congestive Heart Failure Information Extraction Framework (CHIEF). We also conducted semi-structured interviews (n=15) for stakeholder feedback on implementation of the CHIEF.    The CHIEF classified each hospitalization in the test set with a sensitivity (SN) of 98.9% and positive predictive value of 98.7%, compared with an RS and SN of 98.5% for available External Peer Review Program assessments. Of the 1083 patients available for the NLP system, the CHIEF evaluated and classified 100% of cases. Stakeholders identified potential implementation facilitators and clinical uses of the CHIEF.    The CHIEF provided complete data for all patients in the cohort and could potentially improve the efficiency, timeliness, and utility of HF quality measurements. 

Background: Hospital Score is a well-known and validated tool for predicting readmission risk among diverse patient populations. Integrating social risk factors using natural language processing with the Hospital Score may improve its ability to predict 30-day readmissions following an acute myocardial infarction. Methods: A retrospective cohort included patients hospitalized at Vanderbilt University Medical Center between January 1, 2007, and December 31, 2016, with a primary index diagnosis of acute myocardial infarction, who were discharged alive. To supplement ascertainment of 30-day readmissions, data were linked to Center for Medicare & Medicaid Services (CMS) administrative data. Clinical notes from the cohort were extracted, and a natural language processing model was deployed, counting mentions of eight social risk factors. A logistic regression prediction model was run using the Hospital Score composite, its component variables, and the natural language processing-derived social risk factors. ROC comparison analysis was performed. Results: The cohort included 6,165 unique patients, where 4,137 (67.1%) were male, 1,020 (16.5%) were Black or other people of color, the average age was 67 years (SD:13), and the 30-day hospital readmission rate was 15.1% (N=934). The final test-set AUROCs were between 0.635 and 0.669. The model containing the Hospital Score component variables and the natural language processing-derived social risk factors obtained the highest AUROC. Discussion: Social risk factors extracted using natural language processing improved model performance when added to the Hospital Score composite. Clinicians and health systems should consider incorporating social risk factors when using the Hospital Score composite to evaluate risk for readmission among patients hospitalized for acute myocardial infarction.

Background: Current guidelines recommend high-intensity statins in patients with peripheral artery disease (PAD) to reduce the risk of cardiovascular and limb events. The extent to which these recommendations have been adopted in a large integrated health system remains uncertain. Methods: Using a novel natural language processing system that we previously developed and validated for identifying PAD, we created a registry of patients with a new diagnosis of PAD during 2015-2020 in the Veterans Health Administration (VHA). We used VHA pharmacy data to determine rates of active statin use at index date (date of PAD diagnosis), new initiation, persistence, and adherence (definitions in Table 1). High-intensity statin was based on statin type and dose. Analyses were also stratified by presence of pre-existing atherosclerotic cardiovascular disease (ASCVD), which was defined as a prior history of coronary or cerebrovascular disease. Results: Among 103,748 patients, 64,159 (61.8%) were on statins at index date (baseline) and 30,968 (29.8%) were on high-intensity statins (Table 1). An additional 14,219 patients (13.7%) initiated statins within 1 year of PAD diagnosis, of whom 6,384 (6.2%) initiated high-intensity statins. Rates of active baseline use, or new initiation in 1 year were much lower in patients who did not have pre-existing ASCVD, compared to those with ASCVD (Table 1). Persistence with therapy among total active users was 78.0% for any statin and 78.6% for high-intensity statins. Mean adherence among persistent users was >80% for any statin and high intensity statin. Persistence and adherence did not differ in subgroups stratified by ASCVD. Conclusion: Although more than 75% PAD patients were already on, or initiated a statin within 1 year of PAD diagnosis, only 36% were on high-intensity statins. Baseline use and new initiation of any statin and high-intensity statin was lower in PAD patients who did not have co-existing ASCVD. Overall, persistence among active users, and adherence among persistent users was high, and did not differ by statin intensity or pre-existing ASCVD. Given the strong evidence supporting high-intensity statins in PAD, interventions targeting intensifying statin therapy in PAD, especially in those without pre-existing ASCVD are warranted.

In response to the COVID-19 public health crisis in 2020, PCORI launched an initiative to enhance existing research projects so that they could offer findings related to COVID-19.The initiative funded this study and others. How can people use the results?Researchers can consider using DECOVRI to find COVID-19-related information in EHRs to study treatments.To learn more about this project, visit www.pcori.org/Heider467.