Non-randomised studies of the effects of interventions are critical to many areas of healthcare evaluation, but their results may be biased. It is therefore important to understand and appraise their strengths and weaknesses. We developed ROBINS-I ("Risk Of Bias In Non-randomised Studies - of Interventions"), a new tool for evaluating risk of bias in estimates of the comparative effectiveness (harm or benefit) of interventions from studies that did not use randomisation to allocate units (individuals or clusters of individuals) to comparison groups. The tool will be particularly useful to those undertaking systematic reviews that include non-randomised studies.

The number of published systematic reviews of studies of healthcare interventions has increased rapidly and these are used extensively for clinical and policy decisions. Systematic reviews are subject to a range of biases and increasingly include non-randomised studies of interventions. It is important that users can distinguish high quality reviews. Many instruments have been designed to evaluate different aspects of reviews, but there are few comprehensive critical appraisal instruments. AMSTAR was developed to evaluate systematic reviews of randomised trials. In this paper, we report on the updating of AMSTAR and its adaptation to enable more detailed assessment of systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. With moves to base more decisions on real world observational evidence we believe that AMSTAR 2 will assist decision makers in the identification of high quality systematic reviews, including those based on non-randomised studies of healthcare interventions.

To develop ROBIS, a new tool for assessing the risk of bias in systematic reviews (rather than in primary studies).We used four-stage approach to develop ROBIS: define the scope, review the evidence base, hold a face-to-face meeting, and refine the tool through piloting.ROBIS is currently aimed at four broad categories of reviews mainly within health care settings: interventions, diagnosis, prognosis, and etiology. The target audience of ROBIS is primarily guideline developers, authors of overviews of systematic reviews ("reviews of reviews"), and review authors who might want to assess or avoid risk of bias in their reviews. The tool is completed in three phases: (1) assess relevance (optional), (2) identify concerns with the review process, and (3) judge risk of bias. Phase 2 covers four domains through which bias may be introduced into a systematic review: study eligibility criteria; identification and selection of studies; data collection and study appraisal; and synthesis and findings. Phase 3 assesses the overall risk of bias in the interpretation of review findings and whether this considered limitations identified in any of the phase 2 domains. Signaling questions are included to help judge concerns with the review process (phase 2) and the overall risk of bias in the review (phase 3); these questions flag aspects of review design related to the potential for bias and aim to help assessors judge risk of bias in the review process, results, and conclusions.ROBIS is the first rigorously developed tool designed specifically to assess the risk of bias in systematic reviews.

Background— Red blood cell transfusion can both benefit and harm. To inform decisions about transfusion, we aimed to quantify associations of transfusion with clinical outcomes and cost in patients having cardiac surgery. Methods and Results— Clinical, hematology, and blood transfusion databases were linked with the UK population register. Additional hematocrit information was obtained from intensive care unit charts. Composite infection (respiratory or wound infection or septicemia) and ischemic outcomes (myocardial infarction, stroke, renal impairment, or failure) were prespecified as coprimary end points. Secondary outcomes were resource use, cost, and survival. Associations were estimated by regression modeling with adjustment for potential confounding. All adult patients having cardiac surgery between April 1, 1996, and December 31, 2003, with key exposure and outcome data were included (98%). Adjusted odds ratios for composite infection (737 of 8516) and ischemic outcomes (832 of 8518) for transfused versus nontransfused patients were 3.38 (95% confidence interval [CI], 2.60 to 4.40) and 3.35 (95% CI, 2.68 to 4.35), respectively. Transfusion was associated with increased relative cost of admission (any transfusion, 1.42 times [95% CI, 1.37 to 1.46], varying from 1.11 for 1 U to 3.35 for >9 U). At any time after their operations, transfused patients were less likely to have been discharged from hospital (hazard ratio [HR], 0.63; 95% CI, 0.60 to 0.67) and were more likely to have died (0 to 30 days: HR, 6.69; 95% CI, 3.66 to 15.1; 31 days to 1 year: HR, 2.59; 95% CI, 1.68 to 4.17; >1 year: HR, 1.32; 95% CI, 1.08 to 1.64). Conclusions— Red blood cell transfusion in patients having cardiac surgery is strongly associated with both infection and ischemic postoperative morbidity, hospital stay, increased early and late mortality, and hospital costs.

Natural experimental studies are often recommended as a way of understanding the health impact of policies and other large scale interventions. Although they have certain advantages over planned experiments, and may be the only option when it is impossible to manipulate exposure to the intervention, natural experimental studies are more susceptible to bias. This paper introduces new guidance from the Medical Research Council to help researchers and users, funders and publishers of research evidence make the best use of natural experimental approaches to evaluating population health interventions. The guidance emphasises that natural experiments can provide convincing evidence of impact even when effects are small or take time to appear. However, a good understanding is needed of the process determining exposure to the intervention, and careful choice and combination of methods, testing of assumptions and transparent reporting is vital. More could be learnt from natural experiments in future as experience of promising but lesser used methods accumulates.

Purpose To compare the efficacy and safety of ranibizumab and bevacizumab intravitreal injections to treat neovascular age-related macular degeneration (nAMD). Design Multicenter, noninferiority factorial trial with equal allocation to groups. The noninferiority limit was 3.5 letters. This trial is registered (ISRCTN92166560). Participants People >50 years of age with untreated nAMD in the study eye who read ≥25 letters on the Early Treatment Diabetic Retinopathy Study chart. Methods We randomized participants to 4 groups: ranibizumab or bevacizumab, given either every month (continuous) or as needed (discontinuous), with monthly review. Main Outcome Measures The primary outcome is at 2 years; this paper reports a prespecified interim analysis at 1 year. The primary efficacy and safety outcome measures are distance visual acuity and arteriothrombotic events or heart failure. Other outcome measures are health-related quality of life, contrast sensitivity, near visual acuity, reading index, lesion morphology, serum vascular endothelial growth factor (VEGF) levels, and costs. Results Between March 27, 2008 and October 15, 2010, we randomized and treated 610 participants. One year after randomization, the comparison between bevacizumab and ranibizumab was inconclusive (bevacizumab minus ranibizumab −1.99 letters, 95% confidence interval [CI], −4.04 to 0.06). Discontinuous treatment was equivalent to continuous treatment (discontinuous minus continuous −0.35 letters; 95% CI, −2.40 to 1.70). Foveal total thickness did not differ by drug, but was 9% less with continuous treatment (geometric mean ratio [GMR], 0.91; 95% CI, 0.86 to 0.97; P = 0.005). Fewer participants receiving bevacizumab had an arteriothrombotic event or heart failure (odds ratio [OR], 0.23; 95% CI, 0.05 to 1.07; P = 0.03). There was no difference between drugs in the proportion experiencing a serious systemic adverse event (OR, 1.35; 95% CI, 0.80 to 2.27; P = 0.25). Serum VEGF was lower with bevacizumab (GMR, 0.47; 95% CI, 0.41 to 0.54; P<0.0001) and higher with discontinuous treatment (GMR, 1.23; 95% CI, 1.07 to 1.42; P = 0.004). Continuous and discontinuous treatment costs were £9656 and £6398 per patient per year for ranibizumab and £1654 and £1509 for bevacizumab; bevacizumab was less costly for both treatment regimens (P<0.0001). Conclusions The comparison of visual acuity at 1 year between bevacizumab and ranibizumab was inconclusive. Visual acuities with continuous and discontinuous treatment were equivalent. Other outcomes are consistent with the drugs and treatment regimens having similar efficacy and safety. Financial Disclosure(s) Proprietary or commercial disclosures may be found after the references. To compare the efficacy and safety of ranibizumab and bevacizumab intravitreal injections to treat neovascular age-related macular degeneration (nAMD). Multicenter, noninferiority factorial trial with equal allocation to groups. The noninferiority limit was 3.5 letters. This trial is registered (ISRCTN92166560). People >50 years of age with untreated nAMD in the study eye who read ≥25 letters on the Early Treatment Diabetic Retinopathy Study chart. We randomized participants to 4 groups: ranibizumab or bevacizumab, given either every month (continuous) or as needed (discontinuous), with monthly review. The primary outcome is at 2 years; this paper reports a prespecified interim analysis at 1 year. The primary efficacy and safety outcome measures are distance visual acuity and arteriothrombotic events or heart failure. Other outcome measures are health-related quality of life, contrast sensitivity, near visual acuity, reading index, lesion morphology, serum vascular endothelial growth factor (VEGF) levels, and costs. Between March 27, 2008 and October 15, 2010, we randomized and treated 610 participants. One year after randomization, the comparison between bevacizumab and ranibizumab was inconclusive (bevacizumab minus ranibizumab −1.99 letters, 95% confidence interval [CI], −4.04 to 0.06). Discontinuous treatment was equivalent to continuous treatment (discontinuous minus continuous −0.35 letters; 95% CI, −2.40 to 1.70). Foveal total thickness did not differ by drug, but was 9% less with continuous treatment (geometric mean ratio [GMR], 0.91; 95% CI, 0.86 to 0.97; P = 0.005). Fewer participants receiving bevacizumab had an arteriothrombotic event or heart failure (odds ratio [OR], 0.23; 95% CI, 0.05 to 1.07; P = 0.03). There was no difference between drugs in the proportion experiencing a serious systemic adverse event (OR, 1.35; 95% CI, 0.80 to 2.27; P = 0.25). Serum VEGF was lower with bevacizumab (GMR, 0.47; 95% CI, 0.41 to 0.54; P<0.0001) and higher with discontinuous treatment (GMR, 1.23; 95% CI, 1.07 to 1.42; P = 0.004). Continuous and discontinuous treatment costs were £9656 and £6398 per patient per year for ranibizumab and £1654 and £1509 for bevacizumab; bevacizumab was less costly for both treatment regimens (P<0.0001). The comparison of visual acuity at 1 year between bevacizumab and ranibizumab was inconclusive. Visual acuities with continuous and discontinuous treatment were equivalent. Other outcomes are consistent with the drugs and treatment regimens having similar efficacy and safety.

Whether a restrictive threshold for hemoglobin level in red-cell transfusions, as compared with a liberal threshold, reduces postoperative morbidity and health care costs after cardiac surgery is uncertain.

Background Bevacizumab has been suggested to have similar eff ectiveness to ranibizumab for treatment of neovascular age-related macular degeneration.The Inhibition of VEGF in Age-related choroidal Neovascularisation (IVAN) trial was designed to compare these drugs and diff erent regimens.Here, we report the fi ndings at the prespecifi ed 2-year timepoint. MethodsIn a multicentre, 2×2 factorial, non-inferiority randomised trial, we enrolled adults aged at least 50 years with active, previously untreated neovascular age-related macular degeneration and a best corrected distance visual acuity (BCVA) of at least 25 letters from 23 hospitals in the UK.Participants were randomly assigned (1:1:1:1) to intravitreal injections of ranibizumab (0•5 mg) or bevacizumab (1•25 mg) in continuous (every month) or discontinuous (as needed) regimens, with monthly review.Study participants and clinical assessors were masked to drug allocation.Allocation to continuous or discontinuous treatment was masked up to 3 months, at which point investigators and participants were unmasked.The primary outcome was BCVA at 2 years, with a prespecifi ed noninferiority limit of 3•5 letters.The primary safety outcome was arterial thrombotic event or hospital admission for heart failure.Analyses were by modifi ed intention to treat.This trial is registered, number ISRCTN92166560.Findings Between March 27, 2008, and Oct 15, 2010, 628 patients underwent randomisation.18 were withdrawn; 610 received study drugs (314 ranibizumab; 296 bevacizumab) and were included in analyses.525 participants reached the visit at 2 years: 134 ranibizumab in continuous regimen, 137 ranibizumab in discontinuous regimen, 127 bevacizumab in continuous regimen, and 127 bevacizumab in discontinuous regimen.For BCVA, bevacizumab was neither non-inferior nor inferior to ranibizumab (mean diff erence -1•37 letters, 95% CI -3•75 to 1•01; p=0•26).Discontinuous treatment was neither non-inferior nor inferior to continuous treatment (-1•63 letters, -4•01 to 0•75; p=0•18).Frequency of arterial thrombotic events or hospital admission for heart failure did not diff er between groups given ranibizumab (20 [6%] of 314 participants) and bevacizumab (12 [4%] of 296; odds ratio [OR] 1•69, 95% CI 0•80-3•57; p=0•16), or those given continuous (12 [4%] of 308) and discontinuous treatment (20 [7%] of 302; 0•56, 0•27-1•19; p=0•13).Mortality was lower with continuous than discontinuous treatment (OR 0•47, 95% CI 0•22-1•03; p=0•05), but did not diff er by drug group (0•96, 0•46-2•02; p=0•91).Interpretation Ranibizumab and bevacizumab have similar effi cacy.Reduction in the frequency of retreatment resulted in a small loss of effi cacy irrespective of drug.Safety was worse when treatment was administered discontinuously.These fi ndings highlight that the choice of anti-VEGF treatment strategy is less straightforward than previously thought.

Summary

Background

 Although no randomised controlled trial has assessed the midterm effects of coronary-artery bypass surgery on the beating heart, this technique is being used in more and more patients. We did two randomised trials to compare the short-term morbidity associated with off-pump and on-pump myocardial revascularisation. Our aim was to pool the results to assess midterm outcomes. 

Methods

 From March, 1997, to November, 1999, we randomly allocated 200 patients to off-pump and 201 to on-pump coronary surgery. In Beating Heart Against Cardioplegic Arrest Study (BHACAS) 1, we excluded patients who had had myocardial infarction in the past month or who required grafting of the circumflex artery distal to the first obtuse marginal branch. In BHACAS 2, we included such patients. Primary outcomes were all-cause mortality and cardiac-related events at midterm follow-up (1–3 years). Analysis was by intention to treat. 

Findings

 Analyses of combined data from both trials showed the following risk differences with off-pump compared with on-pump surgery: atrial fibrillation −25% (95% CI −33% to −16%); chest infection −12% (−19% to −5%); inotropic requirement −18% (−25% to −10%); transfusion of red blood cells −31% (−41 to −21); and hospital stay longer than 7 days −13% (−21 to −5). Mean follow-up was 25·0 months (SD 9·1) for BHACAS 1 and 13·7 months (5·5) for BHACAS 2. Four (2%) of 200 patients in the off-pump groups died from any cause, compared with seven (3%) of 201 in the on-pump group (hazard ratio 0·57, 95% CI 0·17–1·96). 33 (17%) of 200 patients in the off-pump group died or had a cardiac-related event, compared with 42 (21%) of 201 in the on-pump group (0·78, 0·49–1·22). 

Interpretation

 Off-pump coronary surgery significantly lowers in-hospital morbidity without compromising outcome in the first 1–3 years after surgery compared with conventional on-pump coronary surgery.

Research on surgical interventions is associated with several methodological and practical challenges of which few, if any, apply only to surgery. However, surgical evaluation is especially demanding because many of these challenges coincide. In this report, the second of three on surgical innovation and evaluation, we discuss obstacles related to the study design of randomised controlled trials and non-randomised studies assessing surgical interventions. We also describe the issues related to the nature of surgical procedures—for example, their complexity, surgeon-related factors, and the range of outcomes. Although difficult, surgical evaluation is achievable and necessary. Solutions tailored to surgical research and a framework for generating evidence on which to base surgical practice are essential.