Prognostic factors are associated with the risk of future health outcomes in individuals with a particular health condition or some clinical start point (eg, a particular diagnosis). Research to identify genuine prognostic factors is important because these factors can help improve risk stratification, treatment, and lifestyle decisions, and the design of randomised trials. Although thousands of prognostic factor studies are published each year, often they are of variable quality and the findings are inconsistent. Systematic reviews and meta-analyses are therefore needed that summarise the evidence about the prognostic value of particular factors. In this article, the key steps involved in this review process are described.

ObjectivesIt is widely acknowledged that the performance of diagnostic and prognostic prediction models should be assessed in external validation studies with independent data from “different but related” samples as compared with that of the development sample. We developed a framework of methodological steps and statistical methods for analyzing and enhancing the interpretation of results from external validation studies of prediction models.Study Design and SettingWe propose to quantify the degree of relatedness between development and validation samples on a scale ranging from reproducibility to transportability by evaluating their corresponding case-mix differences. We subsequently assess the models' performance in the validation sample and interpret the performance in view of the case-mix differences. Finally, we may adjust the model to the validation setting.ResultsWe illustrate this three-step framework with a prediction model for diagnosing deep venous thrombosis using three validation samples with varying case mix. While one external validation sample merely assessed the model's reproducibility, two other samples rather assessed model transportability. The performance in all validation samples was adequate, and the model did not require extensive updating to correct for miscalibration or poor fit to the validation settings.ConclusionThe proposed framework enhances the interpretation of findings at external validation of prediction models.

Access to big datasets from e-health records and individual participant data (IPD) meta-analysis is signalling a new advent of external validation studies for clinical prediction models. In this article, the authors illustrate novel opportunities for external validation in big, combined datasets, while drawing attention to methodological challenges and reporting issues.

Validation of prediction models is highly recommended and increasingly common in the literature. A systematic review of validation studies is therefore helpful, with meta-analysis needed to summarise the predictive performance of the model being validated across different settings and populations. This article provides guidance for researchers systematically reviewing and meta-analysing the existing evidence on a specific prediction model, discusses good practice when quantitatively summarising the predictive performance of the model across studies, and provides recommendations for interpreting meta-analysis estimates of model performance. We present key steps of the meta-analysis and illustrate each step in an example review, by summarising the discrimination and calibration performance of the EuroSCORE for predicting operative mortality in patients undergoing coronary artery bypass grafting.

Amyotrophic lateral sclerosis (ALS) is a relentlessly progressive, fatal motor neuron disease with a variable natural history. There are no accurate models that predict the disease course and outcomes, which complicates risk assessment and counselling for individual patients, stratification of patients for trials, and timing of interventions. We therefore aimed to develop and validate a model for predicting a composite survival endpoint for individual patients with ALS.We obtained data for patients from 14 specialised ALS centres (each one designated as a cohort) in Belgium, France, the Netherlands, Germany, Ireland, Italy, Portugal, Switzerland, and the UK. All patients were diagnosed in the centres after excluding other diagnoses and classified according to revised El Escorial criteria. We assessed 16 patient characteristics as potential predictors of a composite survival outcome (time between onset of symptoms and non-invasive ventilation for more than 23 h per day, tracheostomy, or death) and applied backward elimination with bootstrapping in the largest population-based dataset for predictor selection. Data were gathered on the day of diagnosis or as soon as possible thereafter. Predictors that were selected in more than 70% of the bootstrap resamples were used to develop a multivariable Royston-Parmar model for predicting the composite survival outcome in individual patients. We assessed the generalisability of the model by estimating heterogeneity of predictive accuracy across external populations (ie, populations not used to develop the model) using internal-external cross-validation, and quantified the discrimination using the concordance (c) statistic (area under the receiver operator characteristic curve) and calibration using a calibration slope.Data were collected between Jan 1, 1992, and Sept 22, 2016 (the largest data-set included data from 1936 patients). The median follow-up time was 97·5 months (IQR 52·9-168·5). Eight candidate predictors entered the prediction model: bulbar versus non-bulbar onset (univariable hazard ratio [HR] 1·71, 95% CI 1·63-1·79), age at onset (1·03, 1·03-1·03), definite versus probable or possible ALS (1·47, 1·39-1·55), diagnostic delay (0·52, 0·51-0·53), forced vital capacity (HR 0·99, 0·99-0·99), progression rate (6·33, 5·92-6·76), frontotemporal dementia (1·34, 1·20-1·50), and presence of a C9orf72 repeat expansion (1·45, 1·31-1·61), all p<0·0001. The c statistic for external predictive accuracy of the model was 0·78 (95% CI 0·77-0·80; 95% prediction interval [PI] 0·74-0·82) and the calibration slope was 1·01 (95% CI 0·95-1·07; 95% PI 0·83-1·18). The model was used to define five groups with distinct median predicted (SE) and observed (SE) times in months from symptom onset to the composite survival outcome: very short 17·7 (0·20), 16·5 (0·23); short 25·3 (0·06), 25·2 (0·35); intermediate 32·2 (0·09), 32·8 (0·46); long 43·7 (0·21), 44·6 (0·74); and very long 91·0 (1·84), 85·6 (1·96).We have developed an externally validated model to predict survival without tracheostomy and non-invasive ventilation for more than 23 h per day in European patients with ALS. This model could be applied to individualised patient management, counselling, and future trial design, but to maximise the benefit and prevent harm it is intended to be used by medical doctors only.Netherlands ALS Foundation.

Abstract Introduction A major challenge of the use of prediction models in clinical care is missing data. Real-time imputation may alleviate this. However, to what extent clinicians accept this solution remains unknown. We aimed to assess acceptance of real-time imputation for missing patient data in a clinical decision support system (CDSS) including 10-year cardiovascular absolute risk for the individual patient. Methods We performed a vignette study extending an existing CDSS with the real-time imputation method Joint Modelling Imputation (JMI). We included 17 clinicians to use the CDSS with three different vignettes, describing potential use cases (missing data, no risk estimate; imputed values, risk estimate based on imputed data; complete information). In each vignette missing data was introduced to mimic a situation as could occur in clinical practice. Acceptance of end-users was assessed on three different axes: clinical realism, comfortableness and added clinical value. Results Overall, the imputed predictor values were found to be clinically reasonable and according to the expectations. However, for binary variables, use of a probability scale to express uncertainty was deemed inconvenient. The perceived comfortableness with imputed risk prediction was low and confidence intervals were deemed too wide for reliable decision making. The clinicians acknowledged added value for using JMI in clinical practice when used for educational, research or informative purposes. Conclusion Handling missing data in CDSS via JMI is useful, but more accurate imputations are needed to generate comfort in clinicians for use in routine care. Only then CDSS can create clinical value by improving decision making.