ROC curves are a popular method for displaying sensitivity and specificity of a continuous diagnostic marker, X, for a binary disease variable, D. However, many disease outcomes are time dependent, D(t), and ROC curves that vary as a function of time may be more appropriate. A common example of a time-dependent variable is vital status, where D(t) = 1 if a patient has died prior to time t and zero otherwise. We propose summarizing the discrimination potential of a marker X, measured at baseline (t = 0), by calculating ROC curves for cumulative disease or death incidence by time t, which we denote as ROC(t). A typical complexity with survival data is that observations may be censored. Two ROC curve estimators are proposed that can accommodate censored data. A simple estimator is based on using the Kaplan-Meier estimator for each possible subset X > c. However, this estimator does not guarantee the necessary condition that sensitivity and specificity are monotone in X. An alternative estimator that does guarantee monotonicity is based on a nearest neighbor estimator for the bivariate distribution function of (X, T), where T represents survival time (Akritas, M. J., 1994, Annals of Statistics 22, 1299-1327). We present an example where ROC(t) is used to compare a standard and a modified flow cytometry measurement for predicting survival after detection of breast cancer and an example where the ROC(t) curve displays the impact of modifying eligibility criteria for sample size and power in HIV prevention trials.

The U.S. population of former prison inmates is large and growing. The period immediately after release may be challenging for former inmates and may involve substantial health risks. We studied the risk of death among former inmates soon after their release from Washington State prisons.

In this multicenter trial, we randomly assigned 131 patients who had one to three painful osteoporotic vertebral compression fractures to undergo either vertebroplasty or a simulated procedure without cement (control group). The primary outcomes were scores on the modified Roland–Morris Disability Questionnaire (RDQ) (on a scale of 0 to 23, with higher scores indicating greater disability) and patients' ratings of average pain intensity during the preceding 24 hours at 1 month (on a scale of 0 to 10, with higher scores indicating more severe pain). Patients were allowed to cross over to the other study group after 1 month.

Summary The predictive accuracy of a survival model can be summarized using extensions of the proportion of variation explained by the model, or R 2 , commonly used for continuous response models, or using extensions of sensitivity and specificity, which are commonly used for binary response models. In this article we propose new time‐dependent accuracy summaries based on time‐specific versions of sensitivity and specificity calculated over risk sets. We connect the accuracy summaries to a previously proposed global concordance measure, which is a variant of Kendall's tau. In addition, we show how standard Cox regression output can be used to obtain estimates of time‐dependent sensitivity and specificity, and time‐dependent receiver operating characteristic (ROC) curves. Semiparametric estimation methods appropriate for both proportional and nonproportional hazards data are introduced, evaluated in simulations, and illustrated using two familiar survival data sets.

We conducted a randomized controlled trial to evaluate whether dialectical behavior therapy (DBT), a treatment that synthesizes behavioral change with radical acceptance strategies, would be more effective for heroin-dependent women with borderline personality disorder (N=23) than Comprehensive Validation Therapy with 12-Step (CVT+12S), a manualized approach that provided the major acceptance-based strategies used in DBT in combination with participation in 12-Step programs. In addition to psychosocial treatment, subjects also received concurrent opiate agonist therapy with adequate doses of LAAM (thrice weekly; modal dose 90/90/130 mg). Treatment lasted for 12 months. Drug use outcomes were measured via thrice-weekly urinalyses and self-report. Three major findings emerged. First, results of urinalyses indicated that both treatment conditions were effective in reducing opiate use relative to baseline. At 16 months post-randomization (4 months post-treatment), all participants had a low proportion of opiate-positive urinalyses (27% in DBT; 33% in CVT+12S). With regard to between-condition differences, participants assigned to DBT maintained reductions in mean opiate use through 12 months of active treatment while those assigned to CVT+12S significantly increased opiate use during the last 4 months of treatment. Second, CVT+12S retained all 12 participants for the entire year of treatment, compared to a 64% retention rate in DBT. Third, at both post-treatment and at the 16-month follow-up assessment, subjects in both treatment conditions showed significant overall reductions in level of psychopathology relative to baseline. A noteworthy secondary finding was that DBT participants were significantly more accurate in their self-report of opiate use than were those assigned to CVT+12S.

An increased volume of patients is associated with improved survival in numerous high-risk medical and surgical conditions. The relationship between the number of patients admitted (hospital volume) and outcome among patients with critical illnesses is unknown.

OBJECTIVE—The ability of readily available clinical information to predict the occurrence of diabetic foot ulcer has not been extensively studied. We conducted a prospective study of the individual and combined effects of commonly available clinical information in the prediction of diabetic foot ulcer occurrence. RESEARCH DESIGN AND METHODS—We followed 1,285 diabetic veterans without foot ulcer for this outcome with annual clinical evaluations and quarterly mailed questionnaires to identify foot problems. At baseline we assessed age; race; weight; current smoking; diabetes duration and treatment; HbA1c (A1C); visual acuity; history of laser photocoagulation treatment, foot ulcer, and amputation; foot shape; claudication; foot insensitivity to the 10-g monofilament; foot callus; pedal edema; hallux limitus; tinea pedis; and onychomycosis. Cox proportional hazards modeling was used with backwards stepwise elimination to develop a prediction model for the first foot ulcer occurrence after the baseline examination. RESULTS—At baseline, subjects were 62.4 years of age on average and 98% male. Mean follow-up duration was 3.38 years, during which time 216 foot ulcers occurred, for an incidence of 5.0/100 person-years. Significant predictors (P ≤ 0.05) of foot ulcer in the final model (hazard ratio, 95% CI) included A1C (1.10, 1.06–1.15), impaired vision (1.48, 1.00–2.18), prior foot ulcer (2.18, 1.61–2.95), prior amputation (2.57, 1.60–4.12), monofilament insensitivity (2.03, 1.50–2.76), tinea pedis (0.73, 0.54–0.98), and onychomycosis (1.58, 1.16–2.16). Area under the receiver operating characteristic curve was 0.81 at 1 year and 0.76 at 5 years. CONCLUSIONS—Readily available clinical information has substantial predictive power for the development of diabetic foot ulcer and may help in accurately targeting persons at high risk of this outcome for preventive interventions.

Digital technologies such as smartphones are transforming the way scientists conduct biomedical research. Several remotely conducted studies have recruited thousands of participants over a span of a few months allowing researchers to collect real-world data at scale and at a fraction of the cost of traditional research. Unfortunately, remote studies have been hampered by substantial participant attrition, calling into question the representativeness of the collected data including generalizability of outcomes. We report the findings regarding recruitment and retention from eight remote digital health studies conducted between 2014-2019 that provided individual-level study-app usage data from more than 100,000 participants completing nearly 3.5 million remote health evaluations over cumulative participation of 850,000 days. Median participant retention across eight studies varied widely from 2-26 days (median across all studies = 5.5 days). Survival analysis revealed several factors significantly associated with increase in participant retention time, including (i) referral by a clinician to the study (increase of 40 days in median retention time); (ii) compensation for participation (increase of 22 days, 1 study); (iii) having the clinical condition of interest in the study (increase of 7 days compared with controls); and (iv) older age (increase of 4 days). Additionally, four distinct patterns of daily app usage behavior were identified by unsupervised clustering, which were also associated with participant demographics. Most studies were not able to recruit a sample that was representative of the race/ethnicity or geographical diversity of the US. Together these findings can help inform recruitment and retention strategies to enable equitable participation of populations in future digital health research.

High-dose erythropoietin has been shown to have a neuroprotective effect in preclinical models of neonatal brain injury, and phase 2 trials have suggested possible efficacy; however, the benefits and safety of this therapy in extremely preterm infants have not been established.