The performance of prediction models can be assessed using a variety of methods and metrics. Traditional measures for binary and survival outcomes include the Brier score to indicate overall model performance, the concordance (or c) statistic for discriminative ability (or area under the receiver operating characteristic [ROC] curve), and goodness-of-fit statistics for calibration. Several new measures have recently been proposed that can be seen as refinements of discrimination measures, including variants of the c statistic for survival, reclassification tables, net reclassification improvement (NRI), and integrated discrimination improvement (IDI). Moreover, decision–analytic measures have been proposed, including decision curves to plot the net benefit achieved by making decisions based on model predictions. We aimed to define the role of these relatively novel approaches in the evaluation of the performance of prediction models. For illustration, we present a case study of predicting the presence of residual tumor versus benign tissue in patients with testicular cancer (n = 544 for model development, n = 273 for external validation). We suggest that reporting discrimination and calibration will always be important for a prediction model. Decision-analytic measures should be reported if the predictive model is to be used for clinical decisions. Other measures of performance may be warranted in specific applications, such as reclassification metrics to gain insight into the value of adding a novel predictor to an established model.

The relation between abnormalities in the lumbar spine and low back pain is controversial. We examined the prevalence of abnormal findings on magnetic resonance imaging (MRI) scans of the lumbar spine in people without back pain.

Sensitivity and specificity are the basic measures of accuracy of a diagnostic test; however, they depend on the cut point used to define "positive" and "negative" test results. As the cut point shifts, sensitivity and specificity shift. The receiver operating characteristic (ROC) curve is a plot of the sensitivity of a test versus its false-positive rate for all possible cut points. The advantages of the ROC curve as a means of defining the accuracy of a test, construction of the ROC, and identification of the optimal cut point on the ROC curve are discussed. Several summary measures of the accuracy of a test, including the commonly used percentage of correct diagnoses and area under the ROC curve, are described and compared. Two examples of ROC curve application in radiologic research are presented.

Current methods for estimating the accuracy of diagnostic tests require independence of the test results in the sample. However, cases in which there are multiple test results from the same patient are quite common. In such cases, estimation and inference of the accuracy of diagnostic tests must account for intracluster correlation. In the present paper, the structural components method of DeLong, DeLong, and Clarke-Pearson (1988, Biometrics 44, 837-844) is extended to the estimation of the Receiver Operating Characteristics (ROC) curve area for clustered data, incorporating the concepts of design effect and effective sample size used by Rao and Scott (1992, Biometrics 48, 577-585) for clustered binary data. Results of a Monte Carlo simulation study indicate that the size of statistical tests that assume independence is inflated in the presence of intracluster correlation. The proposed method, on the other hand, appropriately handles a wide variety of intracluster correlations, e.g., correlations between true disease statuses and between test results. In addition, the method can be applied to both continuous and ordinal test results. A strategy for estimating sample size requirements for future studies using clustered data is discussed.

Although investigators in the imaging community have been active in developing and evaluating quantitative imaging biomarkers (QIBs), the development and implementation of QIBs have been hampered by the inconsistent or incorrect use of terminology or methods for technical performance and statistical concepts. Technical performance is an assessment of how a test performs in reference objects or subjects under controlled conditions. In this article, some of the relevant statistical concepts are reviewed, methods that can be used for evaluating and comparing QIBs are described, and some of the technical performance issues related to imaging biomarkers are discussed. More consistent and correct use of terminology and study design principles will improve clinical research, advance regulatory science, and foster better care for patients who undergo imaging studies. © RSNA, 2015

Artificial intelligence (AI) systems can potentially aid the diagnostic pathway of prostate cancer by alleviating the increasing workload, preventing overdiagnosis, and reducing the dependence on experienced radiologists. We aimed to investigate the performance of AI systems at detecting clinically significant prostate cancer on MRI in comparison with radiologists using the Prostate Imaging-Reporting and Data System version 2.1 (PI-RADS 2.1) and the standard of care in multidisciplinary routine practice at scale.

Dixon-based magnetic resonance imaging (MRI) intramuscular proton density fat fraction (PDFF) is a potentially useful imaging biomarker of muscle quality. However, multi-vendor, multi-site reproducibility of intramuscular PDFF quantification, required for large clinical studies, can be strongly dependent on acquisition and processing. The purpose of this study was (I) to develop a 6-point Dixon MRI-based acquisition and processing technique for reproducible multi-vendor, multi-site quantification of thigh intramuscular PDFF; and (II) to evaluate the ability of the technique to detect differences in thigh muscle status between operated

To assess agreement between CT volumetry change classifications derived from Quantitative Imaging Biomarker Alliance Profile cut-points (ie, QIBA CTvol classifications) and the Response Evaluation Criteria in Solid Tumors (RECIST) categories. Target lesions in lung, liver, and lymph nodes were randomly chosen from patients in 10 historical clinical trials for various cancers, ensuring a balanced representation of lesion types, diameter ranges described in the QIBA Profile, and variations in change magnitudes. Three radiologists independently segmented these lesions at baseline and follow-up scans using 2 software tools. Two types of predefined disagreements were assessed: Type I: substantive disagreement, where the disagreement between QIBA CTvol classifications and RECIST categories could not be attributed to the improved sensitivity of volumetry in detecting changes; and Type II: disagreement potentially arising from the improved sensitivity of volumetry in detecting changes. The proportion of lesions with disagreements between QIBA CTvol and RECIST, as well as the type of disagreements, was reported along with 95% CIs, both overall and within subgroups representing various factors. A total of 2390 measurements from 478 lesions (158 lungs, 170 livers, 150 lymph nodes) in 281 patients were included. QIBA CTvol agreed with RECIST in 66.6% of interpretations. Of the 33.4% of interpretations with discrepancies, substantive disagreement (Type I) occurred in only 1.5% (95% CI: [0.8%, 2.1%]). Factors such as scanner vendor (P = .584), segmentation tool (P = .331), and lesion type (P = .492) were not significant predictors of disagreement. Significantly more disagreements were observed for larger lesions (≥50 mm, as defined in the QIBA Profile). We conclude that QIBA CTvol classifications agree with RECIST categories.

Motivation: PTOA progression is poorly understood and there is a relative dearth of data available on the impact of the patellofemoral joint on PTOA. Goal(s): The goal of this study was to elucidate the relationship between PTOA, knee function, and patella shape and to investigate possible indicators for PTOA progression. Approach: A shape model of the patella was used to explore longitudinal shape changes and associations with injury, sex, KOOS, and cartilage T1rho in 67 patients following ALR and 11 controls. Results: Ipsilateral patella shape was found to be associated with ACL injury, sex, and the degenerative changes accompanying PTOA. Impact: This study suggests patella shape may play a role in ACL injury and PTOA. These results should inform future biomechanical studies of the knee joint which could lead to the development of preventative orthoses and novel interventions.

Motivation: Intramuscular fat is associated with muscle degeneration. Chemical shift-encoded MRI quantifies proton density fat fraction (PDFF), but multi-site, multi-vendor reproducibility for intramuscular assessment is scarcely reported. Goal(s): To evaluate the reproducibility of a vendor-independent thigh muscle PDFF quantification approach using multi-site, multi-vendor data and then assess PDFF in patients 10 years post-anterior cruciate ligament reconstruction (ACLR). Approach: Phantoms, traveling controls, and ACLR patients were scanned using five scanners (three sites, two vendors). A correction was developed to address image scaling variations. Results: Average absolute PDFF standard deviation was below 1% after correction. The ACLR patient cohort had elevated PDFF in operated leg hamstrings. Impact: Harmonized acquisition and vendor-independent processing with the proposed image scaling correction can provide reproducible thigh intramuscular proton density fat fraction across sites and vendors. This approach may characterize within-patient muscle changes, such as bilateral differences or potentially longitudinal assessment.