A method is presented for evaluating the amount of information a medical test provides about individual patients. Emphasis is placed on the role of a test in the evaluation of patients with a chronic disease. In this context, the yield of a test is best interpreted by analyzing the prognostic information it furnishes. Information from the history, physical examination, and routine procedures should be used in assessing the yield of a new test. As an example, the method is applied to the use of the treadmill exercise test in evaluating the prognosis of patients with suspected coronary artery disease. The treadmill test is shown to provide surprisingly little prognostic information beyond that obtained from basic clinical measurements. (JAMA1982;247:2543-2546)

ContextIn the intensive care unit (ICU), delirium is a common yet underdiagnosed form of organ dysfunction, and its contribution to patient outcomes is unclear.ObjectiveTo determine if delirium is an independent predictor of clinical outcomes, including 6-month mortality and length of stay among ICU patients receiving mechanical ventilation.Design, Setting, and ParticipantsProspective cohort study enrolling 275 consecutive mechanically ventilated patients admitted to adult medical and coronary ICUs of a US university-based medical center between February 2000 and May 2001. Patients were followed up for development of delirium over 2158 ICU days using the Confusion Assessment Method for the ICU and the Richmond Agitation-Sedation Scale.Main Outcome MeasuresPrimary outcomes included 6-month mortality, overall hospital length of stay, and length of stay in the post-ICU period. Secondary outcomes were ventilator-free days and cognitive impairment at hospital discharge.ResultsOf 275 patients, 51 (18.5%) had persistent coma and died in the hospital. Among the remaining 224 patients, 183 (81.7%) developed delirium at some point during the ICU stay. Baseline demographics including age, comorbidity scores, dementia scores, activities of daily living, severity of illness, and admission diagnoses were similar between those with and without delirium (P>.05 for all). Patients who developed delirium had higher 6-month mortality rates (34% vs 15%, P = .03) and spent 10 days longer in the hospital than those who never developed delirium (P<.001). After adjusting for covariates (including age, severity of illness, comorbid conditions, coma, and use of sedatives or analgesic medications), delirium was independently associated with higher 6-month mortality (adjusted hazard ratio [HR], 3.2; 95% confidence interval [CI], 1.4-7.7; P = .008), and longer hospital stay (adjusted HR, 2.0; 95% CI, 1.4-3.0; P<.001). Delirium in the ICU was also independently associated with a longer post-ICU stay (adjusted HR, 1.6; 95% CI, 1.2-2.3; P = .009), fewer median days alive and without mechanical ventilation (19 [interquartile range, 4-23] vs 24 [19-26]; adjusted P = .03), and a higher incidence of cognitive impairment at hospital discharge (adjusted HR, 9.1; 95% CI, 2.3-35.3; P = .002).ConclusionDelirium was an independent predictor of higher 6-month mortality and longer hospital stay even after adjusting for relevant covariates including coma, sedatives, and analgesics in patients receiving mechanical ventilation.

The performance of a predictive model is overestimated when simply determined on the sample of subjects that was used to construct the model. Several internal validation methods are available that aim to provide a more accurate estimate of model performance in new subjects. We evaluated several variants of split-sample, cross-validation and bootstrapping methods with a logistic regression model that included eight predictors for 30-day mortality after an acute myocardial infarction. Random samples with a size between n = 572 and n = 9165 were drawn from a large data set (GUSTO-I; n = 40,830; 2851 deaths) to reflect modeling in data sets with between 5 and 80 events per variable. Independent performance was determined on the remaining subjects. Performance measures included discriminative ability, calibration and overall accuracy. We found that split-sample analyses gave overly pessimistic estimates of performance, with large variability. Cross-validation on 10% of the sample had low bias and low variability, but was not suitable for all performance measures. Internal validity could best be estimated with bootstrapping, which provided stable estimates with low bias. We conclude that split-sample validation is inefficient, and recommend bootstrapping for estimation of internal validity of a predictive logistic regression model.

Objective.

 —To examine the association between the use of right heart catheterization (RHC) during the first 24 hours of care in the intensive care unit (ICU) and subsequent survival, length of stay, intensity of care, and cost of care. 

Design.

 —Prospective cohort study. 

Setting.

 —Five US teaching hospitals between 1989 and 1994. 

Subjects.

 —A total of 5735 critically ill adult patients receiving care in an ICU for 1 of 9 prespecified disease categories. 

Main Outcome Measures.

 —Survival time, cost of care, intensity of care, and length of stay in the ICU and hospital, determined from the clinical record and from the National Death Index. A propensity score for RHC was constructed using multivariable logistic regression. Case-matching and multivariable regression modeling techniques were used to estimate the association of RHC with specific outcomes after adjusting for treatment selection using the propensity score. Sensitivity analysis was used to estimate the potential effect of an unidentified or missing covariate on the results. 

Results.

 —By case-matching analysis, patients with RHC had an increased 30-day mortality (odds ratio, 1.24; 95% confidence interval, 1.03-1.49). The mean cost (25th, 50th, 75th percentiles) per hospital stay was $49300 ($17000, $30500, $56600) with RHC and $35700 ($11 300, $20600, $39200) without RHC. Mean length of stay in the ICU was 14.8 (5,9, 17) days with RHC and 13.0 (4,7, 14) days without RHC. These findings were all confirmed by multivariable modeling techniques. Subgroup analysis did not reveal any patient group or site for which RHC was associated with improved outcomes. Patients with higher baseline probability of surviving 2 months had the highest relative risk of death following RHC. Sensitivity analysis suggested that a missing covariate would have to increase the risk of death 6-fold and the risk of RHC 6-fold for a true beneficial effect of RHC to be misrepresented as harmful. 

Conclusion.

 —In this observational study of critically ill patients, after adjustment for treatment selection bias, RHC was associated with increased mortality and increased utilization of resources. The cause of this apparent lack of benefit is unclear. The results of this analysis should be confirmed in other observational studies. These findings justify reconsideration of a randomized controlled trial of RHC and may guide patient selection for such a study.

Among patients with stable coronary disease and moderate or severe ischemia, whether clinical outcomes are better in those who receive an invasive intervention plus medical therapy than in those who receive medical therapy alone is uncertain.

Abstract Regression models such as the Cox proportional hazards model have had increasing use in modelling and estimating the prognosis of patients with a variety of diseases. Many applications involve a large number of variables to be modelled using a relatively small patient sample. Problems of overfitting and of identifying important covariates are exacerbated in analysing prognosis because the accuracy of a model is more a function of the number of events than of the sample size. We used a general index of predictive discrimination to measure the ability of a model developed on training samples of varying sizes to predict survival in an independent test sample of patients suspected of having coronary artery disease. We compared three methods of model fitting: (1) standard ‘step‐up’ variable selection, (2) incomplete principal components regression, and (3) Cox model regression after developing clinical indices from variable clusters. We found regression using principal components to offer superior predictions in the test sample, whereas regression using indices offers easily interpretable models nearly as good as the principal components models. Standard variable selection has a number of deficiencies.

In order to describe the outcomes of patients hospitalized with an acute exacerbation of severe chronic obstructive pulmonary disease (COPD) and determine the relationship between patient characteristics and length of survival, we studied a prospective cohort of 1,016 adult patients from five hospitals who were admitted with an exacerbation of COPD and a PaCO2 of 50 mm Hg or more. Patient characteristics and acute physiology were determined. Outcomes were evaluated over a 6 mo period. Although only 11% of the patients died during the index hospital stay, the 60-d, 180-d, 1-yr, and 2-yr mortality was high (20%, 33%, 43%, and 49%, respectively). The median cost of the index hospital stay was $7,100 ($4,100 to $16,000; interquartile range). The median length of the index hospital stay was 9 d (5 to 15 d). After discharge, 446 patients were readmitted 754 times in the next 6 mo. At 6 mo, only 26% of the cohort were both alive and able to report a good, very good, or excellent quality of life. Survival time was independently related to severity of illness, body mass index (BMI), age, prior functional status, PaO2/FI(O2), congestive heart failure, serum albumin, and the presence of cor pulmonale. Patients and caregivers should be aware of the likelihood of poor outcomes following hospitalization for exacerbation of COPD associated with hypercarbia.

Clinical prediction models aim to predict outcomes in individuals, to inform diagnosis or prognosis in healthcare. Hundreds of prediction models are published in the medical literature each year, yet many are developed using a dataset that is too small for the total number of participants or outcome events. This leads to inaccurate predictions and consequently incorrect healthcare decisions for some individuals. In this article, the authors provide guidance on how to calculate the sample size required to develop a clinical prediction model.

The prognosis of patients hospitalized with acute myocardial ischemia is quite variable. We examined the value of serum levels of cardiac troponin T, serum creatine kinase MB (CK-MB) levels, and electrocardiographic abnormalities for risk stratification in patients with acute myocardial ischemia.We studied 855 patients within 12 hours of the onset of symptoms. Cardiac troponin T levels, CK-MB levels, and electrocardiograms were analyzed in a blinded fashion at the core laboratory. We used logistic regression to assess the usefulness of baseline levels of cardiac troponin T and CK-MB and the electrocardiographic category assigned at admission-ST-segment elevation, ST-segment depression, T-wave inversion, or the presence of confounding factors that impair the detection of ischemia (bundle-branch block and paced rhythms)-in predicting outcome.On admission, 289 of 801 patients with base-line serum samples had elevated troponin T levels (> 0.1 ng per milliliter). Mortality within 30 days was significantly higher in these patients than in patients with lower levels of troponin T (11.8 percent vs. 3.9 percent, P < 0.001). The troponin T level was the variable most strongly related to 30-day mortality (chi-square = 21, P < 0.001), followed by the electrocardiographic category (chi-square = 14, P = 0.003) and the CK-MB level (chi-square = 11, P = 0.004). Troponin T levels remained significantly predictive of 30-day mortality in a model that contained the electrocardiographic categories and CK-MB levels (chi-square = 9.2, P = 0.027).The cardiac troponin T level is a powerful, independent risk marker in patients who present with acute myocardial ischemia. It allows further stratification of risk when combined with standard measures such as electrocardiography and the CK-MB level.

There is increasing interest in utilizing novel markers of cardiovascular disease risk, and consequently, there is a need to assess the value of their use. This scientific statement reviews current concepts of risk evaluation and proposes standards for the critical appraisal of risk assessment methods. An adequate evaluation of a novel risk marker requires a sound research design, a representative at-risk population, and an adequate number of outcome events. Studies of a novel marker should report the degree to which it adds to the prognostic information provided by standard risk markers. No single statistical measure provides all the information needed to assess a novel marker, so measures of both discrimination and accuracy should be reported. The clinical value of a marker should be assessed by its effect on patient management and outcomes. In general, a novel risk marker should be evaluated in several phases, including initial proof of concept, prospective validation in independent populations, documentation of incremental information when added to standard risk markers, assessment of effects on patient management and outcomes, and ultimately, cost-effectiveness.