With the increasing prevalence of diabetes, annual screening for diabetic retinopathy (DR) by expert human grading of retinal images is challenging. Automated DR image assessment systems (ARIAS) may provide clinically effective and cost-effective detection of retinopathy. We aimed to determine whether ARIAS can be safely introduced into DR screening pathways to replace human graders.Observational measurement comparison study of human graders following a national screening program for DR versus ARIAS.Retinal images from 20 258 consecutive patients attending routine annual diabetic eye screening between June 1, 2012, and November 4, 2013.Retinal images were manually graded following a standard national protocol for DR screening and were processed by 3 ARIAS: iGradingM, Retmarker, and EyeArt. Discrepancies between manual grades and ARIAS results were sent to a reading center for arbitration.Screening performance (sensitivity, false-positive rate) and diagnostic accuracy (95% confidence intervals of screening-performance measures) were determined. Economic analysis estimated the cost per appropriate screening outcome.Sensitivity point estimates (95% confidence intervals) of the ARIAS were as follows: EyeArt 94.7% (94.2%-95.2%) for any retinopathy, 93.8% (92.9%-94.6%) for referable retinopathy (human graded as either ungradable, maculopathy, preproliferative, or proliferative), 99.6% (97.0%-99.9%) for proliferative retinopathy; Retmarker 73.0% (72.0 %-74.0%) for any retinopathy, 85.0% (83.6%-86.2%) for referable retinopathy, 97.9% (94.9%-99.1%) for proliferative retinopathy. iGradingM classified all images as either having disease or being ungradable. EyeArt and Retmarker saved costs compared with manual grading both as a replacement for initial human grading and as a filter prior to primary human grading, although the latter approach was less cost-effective.Retmarker and EyeArt systems achieved acceptable sensitivity for referable retinopathy when compared with that of human graders and had sufficient specificity to make them cost-effective alternatives to manual grading alone. ARIAS have the potential to reduce costs in developed-world health care economies and to aid delivery of DR screening in developing or remote health care settings.

BackgroundThe deployment of algorithms in health care screening programs has been hindered by a lack of agreed-upon methodology to evaluate trustworthiness and equity. We outline transferable methodology for independent evaluation of algorithms using a routine, high-volume, multiethnic national diabetic eye screening program as an exemplar. Automated retinal image analysis systems (ARIAS), including artificial intelligence (AI), for detection of diabetic retinopathy (DR) could substantially increase image-grading capacity. We report technical and operational considerations relevant to implementation and evaluation in large-scale population screening.MethodsTwenty-five vendors with current or pending Conformité Européene Class IIa ARIAS for DR detection from retinal images were invited. Sample data (6268 images) were provided to confirm that ARIAS outputs could be replicated in a trusted research environment. We curated consecutive routine screening encounters between January 1, 2021 and December 31, 2022 at the North East London Diabetic Eye Screening Programme for evaluation. Sample size calculations focused on precision for detection of severe DR by population subgroups, particularly ethnicity. Vendor algorithms did not have access to human grading data or other metadata during image processing.ResultsEight of 25 eligible vendors participated. In total, 202,886 encounters were evaluated, representing 1.2 million images from 32% white, 17% Black, and 39% South Asian ethnic groups, including approximately 25,000 cases requiring referral to ophthalmology for review and treatment. Image resolutions varied from 150 × 300 to 6000 × 4000 pixels. Time from study invitation to ARIAS installation and algorithm verification ranged from 96 to 460 days; image processing required between 13.5 hours and 105 days.ConclusionsThis comparison of ARIAS at scale on a range of images with different characteristics, including a population of different ethnicities, wide age range, levels of deprivation, and spectrum of DR, provides the framework for transparent, equitable, robust, and trustworthy evaluation of clinical AI in screening to inform standards in health care before deployment. (Funded by the NHS Transformation Directorate and The Health Foundation and managed by the National Institute for Health and Social Care Research.)