Guidelines are inconsistent in how they rate the quality of evidence and the strength of recommendations. This article explores the advantages of the GRADE system, which is increasingly being adopted by organisations worldwide

In the GRADE approach, randomized trials start as high-quality evidence and observational studies as low-quality evidence, but both can be rated down if a body of evidence is associated with a high risk of publication bias. Even when individual studies included in best-evidence summaries have a low risk of bias, publication bias can result in substantial overestimates of effect. Authors should suspect publication bias when available evidence comes from a number of small studies, most of which have been commercially funded. A number of approaches based on examination of the pattern of data are available to help assess publication bias. The most popular of these is the funnel plot; all, however, have substantial limitations. Publication bias is likely frequent, and caution in the face of early results, particularly with small sample size and number of events, is warranted.

Direct evidence comes from research that directly compares the interventions in which we are interested when applied to the populations in which we are interested and measures outcomes important to patients. Evidence can be indirect in one of four ways. First, patients may differ from those of interest (the term applicability is often used for this form of indirectness). Secondly, the intervention tested may differ from the intervention of interest. Decisions regarding indirectness of patients and interventions depend on an understanding of whether biological or social factors are sufficiently different that one might expect substantial differences in the magnitude of effect. Thirdly, outcomes may differ from those of primary interest-for instance, surrogate outcomes that are not themselves important, but measured in the presumption that changes in the surrogate reflect changes in an outcome important to patients. A fourth type of indirectness, conceptually different from the first three, occurs when clinicians must choose between interventions that have not been tested in head-to-head comparisons. Making comparisons between treatments under these circumstances requires specific statistical methods and will be rated down in quality one or two levels depending on the extent of differences between the patient populations, co-interventions, measurements of the outcome, and the methods of the trials of the candidate interventions.

The most common reason for rating up the quality of evidence is a large effect. GRADE suggests considering rating up quality of evidence one level when methodologically rigorous observational studies show at least a two-fold reduction or increase in risk, and rating up two levels for at least a five-fold reduction or increase in risk. Systematic review authors and guideline developers may also consider rating up quality of evidence when a dose-response gradient is present, and when all plausible confounders or biases would decrease an apparent treatment effect, or would create a spurious effect when results suggest no effect. Other considerations include the rapidity of the response, the underlying trajectory of the condition, and indirect evidence.

#### Summary points Healthcare decision making is complex. Decision-making processes and the factors (criteria) that decision makers should consider vary for different types of decisions, including clinical recommendations, coverage decisions, and health system or public health recommendations or decisions.1 2 3 4 However, some criteria are relevant for all of these decisions, including the anticipated effects of the options being considered, the certainty of the evidence for those effects (also referred to as quality of evidence or confidence in effect estimates), and the costs and feasibility of the options. Decision makers must make judgments about each relevant factor, informed by the best evidence that is available to them. Often, the processes that decision makers use, the criteria that they consider and the evidence that they …

Incomplete Results Data in: Association Between Postoperative Troponin Levels and 30-Day Mortality Among Patients Undergoing Noncardiac Surgery

Abstract Background: Myocardial injury after noncardiac surgery (MINS) was defined as prognostically relevant myocardial injury due to ischemia that occurs during or within 30 days after noncardiac surgery. The study’s four objectives were to determine the diagnostic criteria, characteristics, predictors, and 30-day outcomes of MINS. Methods: In this international, prospective cohort study of 15,065 patients aged 45 yr or older who underwent in-patient noncardiac surgery, troponin T was measured during the first 3 postoperative days. Patients with a troponin T level of 0.04 ng/ml or greater (elevated “abnormal” laboratory threshold) were assessed for ischemic features (i.e., ischemic symptoms and electrocardiography findings). Patients adjudicated as having a nonischemic troponin elevation (e.g., sepsis) were excluded. To establish diagnostic criteria for MINS, the authors used Cox regression analyses in which the dependent variable was 30-day mortality (260 deaths) and independent variables included preoperative variables, perioperative complications, and potential MINS diagnostic criteria. Results: An elevated troponin after noncardiac surgery, irrespective of the presence of an ischemic feature, independently predicted 30-day mortality. Therefore, the authors’ diagnostic criterion for MINS was a peak troponin T level of 0.03 ng/ml or greater judged due to myocardial ischemia. MINS was an independent predictor of 30-day mortality (adjusted hazard ratio, 3.87; 95% CI, 2.96–5.08) and had the highest population-attributable risk (34.0%, 95% CI, 26.6–41.5) of the perioperative complications. Twelve hundred patients (8.0%) suffered MINS, and 58.2% of these patients would not have fulfilled the universal definition of myocardial infarction. Only 15.8% of patients with MINS experienced an ischemic symptom. Conclusion: Among adults undergoing noncardiac surgery, MINS is common and associated with substantial mortality.