The performance of prediction models can be assessed using a variety of methods and metrics. Traditional measures for binary and survival outcomes include the Brier score to indicate overall model performance, the concordance (or c) statistic for discriminative ability (or area under the receiver operating characteristic [ROC] curve), and goodness-of-fit statistics for calibration. Several new measures have recently been proposed that can be seen as refinements of discrimination measures, including variants of the c statistic for survival, reclassification tables, net reclassification improvement (NRI), and integrated discrimination improvement (IDI). Moreover, decision–analytic measures have been proposed, including decision curves to plot the net benefit achieved by making decisions based on model predictions. We aimed to define the role of these relatively novel approaches in the evaluation of the performance of prediction models. For illustration, we present a case study of predicting the presence of residual tumor versus benign tissue in patients with testicular cancer (n = 544 for model development, n = 273 for external validation). We suggest that reporting discrimination and calibration will always be important for a prediction model. Decision-analytic measures should be reported if the predictive model is to be used for clinical decisions. Other measures of performance may be warranted in specific applications, such as reclassification metrics to gain insight into the value of adding a novel predictor to an established model.

Both C-reactive protein and low-density lipoprotein (LDL) cholesterol levels are elevated in persons at risk for cardiovascular events. However, population-based data directly comparing these two biologic markers are not available.

Observational studies suggest that people who consume more fruits and vegetables containing beta carotene have somewhat lower risks of cancer and cardiovascular disease, and earlier basic research suggested plausible mechanisms. Because large randomized trials of long duration were necessary to test this hypothesis directly, we conducted a trial of beta carotene supplementation.In a randomized, double-blind, placebo-controlled trial of beta carotene (50 mg on alternate days), we enrolled 22,071 male physicians, 40 to 84 years of age, in the United States; 11 percent were current smokers and 39 percent were former smokers at the beginning of the study in 1982. By December 31, 1995, the scheduled end of the study, fewer than 1 percent had been lost to follow-up, and compliance was 78 percent in the group that received beta carotene.Among 11,036 physicians randomly assigned to receive beta carotene and 11,035 assigned to receive placebo, there were virtually no early or late differences in the overall incidence of malignant neoplasms or cardiovascular disease, or in overall mortality. In the beta carotene group, 1273 men had any malignant neoplasm (except nonmelanoma skin cancer), as compared with 1293 in the placebo group (relative risk, 0.98; 95 percent confidence interval, 0.91 to 1.06). There were also no significant differences in the number of cases of lung cancer (82 in the beta carotene group vs. 88 in the placebo group); the number of deaths from cancer (386 vs. 380), deaths from any cause (979 vs. 968), or deaths from cardiovascular disease (338 vs. 313); the number of men with myocardial infarction (468 vs. 489); the number with stroke (367 vs. 382); or the number with any one of the previous three end points (967 vs. 972). Among current and former smokers, there were also no significant early or late differences in any of these end points.In this trial among healthy men, 12 years of supplementation with beta carotene produced neither benefit nor harm in terms of the incidence of malignant neoplasms, cardiovascular disease, or death from all causes.

Background— The metabolic syndrome describes a high-risk population having 3 or more of the following clinical characteristics: upper-body obesity, hypertriglyceridemia, low HDL, hypertension, and abnormal glucose. All of these attributes, however, are associated with increased levels of C-reactive protein (CRP). Methods and Results— We evaluated interrelationships between CRP, the metabolic syndrome, and incident cardiovascular events among 14 719 apparently healthy women who were followed up for an 8-year period for myocardial infarction, stroke, coronary revascularization, or cardiovascular death; 24% of the cohort had the metabolic syndrome at study entry. At baseline, median CRP levels for those with 0, 1, 2, 3, 4, or 5 characteristics of the metabolic syndrome were 0.68, 1.09, 1.93, 3.01, 3.88, and 5.75 mg/L, respectively ( P trend <0.0001). Over the 8-year follow-up, cardiovascular event-free survival rates based on CRP levels above or below 3.0 mg/L were similar to survival rates based on having 3 or more characteristics of the metabolic syndrome. At all levels of severity of the metabolic syndrome, however, CRP added prognostic information on subsequent risk. For example, among those with the metabolic syndrome at study entry, age-adjusted incidence rates of future cardiovascular events were 3.4 and 5.9 per 1000 person-years of exposure for those with baseline CRP levels less than or greater than 3.0 mg/L, respectively. Additive effects for CRP were also observed for those with 4 or 5 characteristics of the metabolic syndrome. The use of different definitions of the metabolic syndrome had minimal impact on these findings. Conclusions— These prospective data suggest that measurement of CRP adds clinically important prognostic information to the metabolic syndrome.

Randomized trials have shown that low-dose aspirin decreases the risk of a first myocardial infarction in men, with little effect on the risk of ischemic stroke. There are few similar data in women.

The c statistic, or area under the receiver operating characteristic (ROC) curve, achieved popularity in diagnostic testing, in which the test characteristics of sensitivity and specificity are relevant to discriminating diseased versus nondiseased patients. The c statistic, however, may not be optimal in assessing models that predict future risk or stratify individuals into risk categories. In this setting, calibration is as important to the accurate assessment of risk. For example, a biomarker with an odds ratio of 3 may have little effect on the c statistic, yet an increased level could shift estimated 10-year cardiovascular risk for an individual patient from 8% to 24%, which would lead to different treatment recommendations under current Adult Treatment Panel III guidelines. Accepted risk factors such as lipids, hypertension, and smoking have only marginal impact on the c statistic individually yet lead to more accurate reclassification of large proportions of patients into higher-risk or lower-risk categories. Perfectly calibrated models for complex disease can, in fact, only achieve values for the c statistic well below the theoretical maximum of 1. Use of the c statistic for model selection could thus naively eliminate established risk factors from cardiovascular risk prediction scores. As novel risk factors are discovered, sole reliance on the c statistic to evaluate their utility as risk predictors thus seems ill-advised.

Despite improved understanding of atherothrombosis, cardiovascular prediction algorithms for women have largely relied on traditional risk factors.To develop and validate cardiovascular risk algorithms for women based on a large panel of traditional and novel risk factors.Thirty-five factors were assessed among 24 558 initially healthy US women 45 years or older who were followed up for a median of 10.2 years (through March 2004) for incident cardiovascular events (an adjudicated composite of myocardial infarction, ischemic stroke, coronary revascularization, and cardiovascular death). We used data among a random two thirds (derivation cohort, n = 16 400) to develop new risk algorithms that were then tested to compare observed and predicted outcomes in the remaining one third of women (validation cohort, n = 8158).Minimization of the Bayes Information Criterion was used in the derivation cohort to develop the best-fitting parsimonious prediction models. In the validation cohort, we compared predicted vs actual 10-year cardiovascular event rates when the new algorithms were compared with models based on covariates included in the Adult Treatment Panel III risk score.In the derivation cohort, a best-fitting model (model A) and a clinically simplified model (model B, the Reynolds Risk Score) had lower Bayes Information Criterion scores than models based on covariates used in Adult Treatment Panel III. In the validation cohort, all measures of fit, discrimination, and calibration were improved when either model A or B was used. For example, among participants without diabetes with estimated 10-year risks according to the Adult Treatment Panel III of 5% to less than 10% (n = 603) or 10% to less than 20% (n = 156), model A reclassified 379 (50%) into higher- or lower-risk categories that in each instance more accurately matched actual event rates. Similar effects were achieved for clinically simplified model B limited to age, systolic blood pressure, hemoglobin A(1c) if diabetic, smoking, total and high-density lipoprotein cholesterol, high-sensitivity C-reactive protein, and parental history of myocardial infarction before age 60 years. Neither new algorithm provided substantive information about women at very low risk based on the published Adult Treatment Panel III score.We developed, validated, and demonstrated highly improved accuracy of 2 clinical algorithms for global cardiovascular risk prediction that reclassified 40% to 50% of women at intermediate risk into higher- or lower-risk categories.

It is unclear whether supplementation with vitamin D reduces the risk of cancer or cardiovascular disease, and data from randomized trials are limited.

ContextBasic research provides plausible mechanisms and observational studies suggest that apparently healthy persons, who self-select for high intakes of vitamin E through diet or supplements, have decreased risks of cardiovascular disease and cancer. Randomized trials do not generally support benefits of vitamin E, but there are few trials of long duration among initially healthy persons.ObjectiveTo test whether vitamin E supplementation decreases risks of cardiovascular disease and cancer among healthy women.Design, Setting, and ParticipantsIn the Women’s Health Study conducted between 1992 and 2004, 39 876 apparently healthy US women aged at least 45 years were randomly assigned to receive vitamin E or placebo and aspirin or placebo, using a 2 × 2 factorial design, and were followed up for an average of 10.1 years.InterventionAdministration of 600 IU of natural-source vitamin E on alternate days.Main Outcome MeasuresPrimary outcomes were a composite end point of first major cardiovascular event (nonfatal myocardial infarction, nonfatal stroke, or cardiovascular death) and total invasive cancer.ResultsDuring follow-up, there were 482 major cardiovascular events in the vitamin E group and 517 in the placebo group, a nonsignificant 7% risk reduction (relative risk [RR], 0.93; 95% confidence interval [CI], 0.82-1.05; P = .26). There were no significant effects on the incidences of myocardial infarction (RR, 1.01; 95% CI, 0.82-1.23; P = .96) or stroke (RR, 0.98; 95% CI, 0.82-1.17; P = .82), as well as ischemic or hemorrhagic stroke. For cardiovascular death, there was a significant 24% reduction (RR, 0.76; 95% CI, 0.59-0.98; P = .03). There was no significant effect on the incidences of total cancer (1437 cases in the vitamin E group and 1428 in the placebo group; RR, 1.01; 95% CI, 0.94-1.08; P = .87) or breast (RR, 1.00; 95% CI, 0.90-1.12; P = .95), lung (RR, 1.09; 95% CI, 0.83-1.44; P = .52), or colon cancers (RR, 1.00; 95% CI, 0.77-1.31; P = .99). Cancer deaths also did not differ significantly between groups. There was no significant effect of vitamin E on total mortality (636 in the vitamin E group and 615 in the placebo group; RR, 1.04; 95% CI, 0.93-1.16; P = .53).ConclusionsThe data from this large trial indicated that 600 IU of natural-source vitamin E taken every other day provided no overall benefit for major cardiovascular events or cancer, did not affect total mortality, and decreased cardiovascular mortality in healthy women. These data do not support recommending vitamin E supplementation for cardiovascular disease or cancer prevention among healthy women.

Higher levels of physical activity are associated with fewer cardiovascular disease (CVD) events. Although the precise mechanisms underlying this inverse association are unclear, differences in several cardiovascular risk factors may mediate this effect.In a prospective study of 27,055 apparently healthy women, we measured baseline levels of hemoglobin A1c, traditional lipids (total, low-density lipoprotein, and high-density lipoprotein cholesterol), novel lipids [lipoprotein(a) and apolipoprotein A1 and B-100], creatinine, homocysteine, and inflammatory/hemostatic biomarkers (high-sensitivity C-reactive protein, fibrinogen, soluble intracellular adhesion molecule-1) and used women's self-reported physical activity, weight, height, hypertension, and diabetes. Mean follow-up was 10.9+/-1.6 years, and 979 incident CVD events occurred. The risk of CVD decreased linearly with higher levels of activity (P for linear trend < 0.001). Using the reference group of < 200 kcal/wk of activity yielded age- and treatment-adjusted relative risk reductions associated with 200 to 599, 600 to 1499, and > or = 1500 kcal/wk of 27%, 32%, and 41%, respectively. Differences in known risk factors explained a large proportion (59.0%) of the observed inverse association. When sets of risk factors were examined, inflammatory/hemostatic biomarkers made the largest contribution to lower risk (32.6%), followed by blood pressure (27.1%). Novel lipids contributed less to CVD risk reduction compared with traditional lipids (15.5% and 19.1%, respectively). Smaller contributions were attributed to body mass index (10.1%) and hemoglobin A1c/diabetes (8.9%), whereas homocysteine and creatinine had negligible effects (< 1%).The inverse association between physical activity and CVD risk is mediated in substantial part by known risk factors, particularly inflammatory/hemostatic factors and blood pressure.