e23243 Background: This study assessed model performance and, more importantly, the clinical usefulness of the PROACCT model created by Grant et al. (JAMA, 2019), refined as A-PROACCT by Stein et al. (JOP, 2023) with data from Orlando Health. The predictive performance of models anticipating acute care events within thirty days (ACE30) of initial chemotherapy administration (ICA) were evaluated. Methods: Stein et al. models classified high-risk patients as those whose model output risk score was at or above the 90 th percentile. They studied 5153 ICAs between July and November of 2021, of which 559 (10.8%) had an ACE30. Their first model used drug category, age group, ED visits and hospitalizations in the prior year, and cancer type, and had sensitivity (Sen), specificity, (Spec), C-Statistic (C-Stat), and positive predictive value (PPV) of 0.28, 0.93, 0.79 and 0.18 respectively. Their second model added insurance category, number of anti-cancer agents, race, and BMI category and reported Sen, Spec, C-Stat, and PPV of 0.30, 0.94, 0.80 and 0.23 respectively. Of the high-risk patients, 33.6% and 34.1% had an ACE30 respectively. Of the low-risk patients, 8.3% and 8.1% had an ACE30 respectively. Our data were propagated through the two models. Results: Between February of 2012 and April 2021, Orlando Health had 15,483 distinct patient visits with ICAs. Overall, 2046 (13.2%) had an ACE30. Model one had Sen, Spec, C-Stat, and PPV of 0.19, 0.92, 0.65 and 0.27 respectively. Model two had Sen, Spec, C-Stat, and PPV of 0.19, 0.91, 0.65 and 0.25 respectively. Both models had an accuracy of 0.82. This demonstrated our data fit the Stein model. Of the 1460 ICAs identified as high-risk by model one, 387 (26.5%) had an ACE30, and of the 14,023 ICAs identified as low-risk, 1659 (11.8%) had an ACE30. Of the 1549 ICAs identified as high-risk by model two, 393 (25.4%) had an ACE30, and of the 13,934 ICAs identified as low-risk, 1653 (11.9%) had an ACE30. The difference of ACE30 rates between high risk and low risk groups were statistically significant (p < 0.0001) in both models. This demonstrated both models were clinically useful in identifying chemotherapy patients at high risk of acute care events. Conclusions: These models allowed for clinically relevant stratification of patients into meaningful high-risk and low-risk groups (26.5% vs 11.8% with our data) for risk of acute care events within 30 days of initial chemotherapy administration. Nevertheless, only 26.5% of these high-risk patients actually had an acute care event within thirty days of initial chemotherapy administration. Further research is needed to improve the precision of identifying high-risk patients, by potentially adding more clinical variables, using alternative sampling methods, and employing nonlinear and more complex machine learning methodologies.

e23253 Background: This study attempted to address limitations in the A-PROACCT model developed by Stein et al. (JOP, 2023) to predict the rate of acute care events within 30 days (ACE30) of initial chemotherapy administration (ICA). The four most important predictors were drug category (immunotherapy), cancer type (gastrointestinal), age group ( < 40), and BMI category (underweight). Only linear relationships were considered. For patients for whom an ACE30 was predicted by their first and second models, only 0.18 and 0.23 actually had an ACE30, a low positive predictive value (PPV). We attempted to improve the PPV with advanced modeling techniques. Methods: Using Orlando Health data between February of 2012 and April 2021, random sampling was used to split the dataset into training (10,838) and validation (4645). For the training data, resampling was employed to obtain a balanced quota, equal observations followed by an ACE30 and not followed by an ACE30. We included only variables used in Stein (drug category, age group, ED visits and hospitalizations in the prior year, cancer type, insurance category, number of anti-cancer agents, race, and BMI category). Logistic regression with L1-penalty, XGBoost (a non-linear nonparametric tree-based algorithm to account for nonlinear relationships), and artificial neural networks were used to develop and evaluate predictive models. Different sampling methods (bootstrap and SMOTE) as well as cuff-off thresholds for high-risk groups were tested. Results: Based on evaluation with validation data set, the best performing approach was an XGBoost model with SMOTE resampling in the training data. The four most important predictors were ED visits in the prior year, payor category (self-insured), cancer type (genitourinary) and hospitalization in past year. This model reported a PPV of 0.27. Many other combinations of methodologies described above were performed, and the PPV varied between 0.19 to 0.27. Of the 282 ICAs identified as high-risk by the best model, 76 (27.0%) had an ACE30. Of the 4346 ICAs identified as low-risk, 533 (12.3%) had an ACE30. The differences between high risk and low risk ACE30 rates were statistically significant (p < 0.0001). In comparison, using Stein et al. models with our data reported a PPV of 0.27 and 0.25 which are basically at the same level of our best trained model. Conclusions: Using the variables included in A-PROACCT and a variety of machine learning models, advanced sampling methodologies and threshold cut-off limits, the best results were similar to those obtained using basic logistic regression. This suggests improvement in predicting acute care events following chemotherapy administration need to incorporate more extensive multimodal data, such as vital signs, performance status, patient reported outcomes, socioeconomic factors, laboratory and radiology results, remote patient monitoring and wearable device data.