Decision-making in health care is inevitably undertaken in a context of uncertainty concerning the effectiveness and costs of health care interventions and programmes. One method that has been suggested to represent this uncertainty is the cost-effectiveness acceptability curve. This technique, which directly addresses the decision-making problem, has advantages over confidence interval estimation for incremental cost-effectiveness ratios. However, despite these advantages, cost-effectiveness acceptability curves have yet to be widely adopted within the field of economic evaluation of health care technologies. In this paper we consider the relationship between cost-effectiveness acceptability curves and decision-making in health care, suggest the introduction of a new concept more relevant to decision-making, that of the cost-effectiveness frontier, and clarify the use of these techniques when considering decisions involving multiple interventions. We hope that as a result we can encourage the greater use of these techniques.

The literature which considers the statistical properties of cost-effectiveness analysis has focused on estimating the sampling distribution of either an incremental cost-effectiveness ratio or incremental net benefit for classical inference. However, it is argued here that rules of inference are arbitrary and entirely irrelevant to the decisions which clinical and economic evaluations claim to inform. Decisions should be based only on the mean net benefits irrespective of whether differences are statistically significant or fall outside a Bayesian range of equivalence. Failure to make decisions in this way by accepting the arbitrary rules of inference will impose costs which can be measured in terms of resources or health benefits forgone. The distribution of net benefit is only relevant to deciding whether more information is required. A framework for decision making and establishing the value of additional information is presented which is consistent with the decision rules in CEA. This framework can distinguish the simultaneous but conceptually separate steps of deciding which alternatives should be chosen, given existing information, from the question of whether more information should be acquired. It also ensures that the type of information acquired is driven by the objectives of the health care system, is consistent with the budget constraint on service provision and that research is designed efficiently.

Background Cost-effectiveness analysis involves the comparison of the incremental cost-effectiveness ratio of a new technology, which is more costly than existing alternatives, with the cost-effectiveness threshold. This indicates whether or not the health expected to be gained from its use exceeds the health expected to be lost elsewhere as other health-care activities are displaced. The threshold therefore represents the additional cost that has to be imposed on the system to forgo 1 quality-adjusted life-year (QALY) of health through displacement. There are no empirical estimates of the cost-effectiveness threshold used by the National Institute for Health and Care Excellence. Objectives (1) To provide a conceptual framework to define the cost-effectiveness threshold and to provide the basis for its empirical estimation. (2) Using programme budgeting data for the English NHS, to estimate the relationship between changes in overall NHS expenditure and changes in mortality. (3) To extend this mortality measure of the health effects of a change in expenditure to life-years and to QALYs by estimating the quality-of-life (QoL) associated with effects on years of life and the additional direct impact on QoL itself. (4) To present the best estimate of the cost-effectiveness threshold for policy purposes. Methods Earlier econometric analysis estimated the relationship between differences in primary care trust (PCT) spending, across programme budget categories (PBCs), and associated disease-specific mortality. This research is extended in several ways including estimating the impact of marginal increases or decreases in overall NHS expenditure on spending in each of the 23 PBCs. Further stages of work link the econometrics to broader health effects in terms of QALYs. Results The most relevant ‘central’ threshold is estimated to be £12,936 per QALY (2008 expenditure, 2008–10 mortality). Uncertainty analysis indicates that the probability that the threshold is < £20,000 per QALY is 0.89 and the probability that it is < £30,000 per QALY is 0.97. Additional ‘structural’ uncertainty suggests, on balance, that the central or best estimate is, if anything, likely to be an overestimate. The health effects of changes in expenditure are greater when PCTs are under more financial pressure and are more likely to be disinvesting than investing. This indicates that the central estimate of the threshold is likely to be an overestimate for all technologies which impose net costs on the NHS and the appropriate threshold to apply should be lower for technologies which have a greater impact on NHS costs. Limitations The central estimate is based on identifying a preferred analysis at each stage based on the analysis that made the best use of available information, whether or not the assumptions required appeared more reasonable than the other alternatives available, and which provided a more complete picture of the likely health effects of a change in expenditure. However, the limitation of currently available data means that there is substantial uncertainty associated with the estimate of the overall threshold. Conclusions The methods go some way to providing an empirical estimate of the scale of opportunity costs the NHS faces when considering whether or not the health benefits associated with new technologies are greater than the health that is likely to be lost elsewhere in the NHS. Priorities for future research include estimating the threshold for subsequent waves of expenditure and outcome data, for example by utilising expenditure and outcomes available at the level of Clinical Commissioning Groups as well as additional data collected on QoL and updated estimates of incidence (by age and gender) and duration of disease. Nonetheless, the study also starts to make the other NHS patients, who ultimately bear the opportunity costs of such decisions, less abstract and more ‘known’ in social decisions. Funding The National Institute for Health Research-Medical Research Council Methodology Research Programme.

Cost-effectiveness analysis can guide policymakers in resource allocation decisions. It assesses whether the health gains offered by an intervention are large enough relative to any additional costs to warrant adoption. When there are constraints on the health care system's budget or ability to increase expenditures, additional costs imposed by interventions have an "opportunity cost" in terms of the health foregone because other interventions cannot be provided. Cost-effectiveness thresholds (CETs) are typically used to assess whether an intervention is worthwhile and should reflect health opportunity cost. Nevertheless, CETs used by some decision makers-such as the World Health Organization that suggested CETs of 1 to 3 times the gross domestic product (GDP) per capita-do not.To estimate CETs based on opportunity cost for a wide range of countries.We estimated CETs based on recent empirical estimates of opportunity cost (from the English National Health Service), estimates of the relationship between country GDP per capita and the value of a statistical life, and a series of explicit assumptions.CETs for Malawi (the country with the lowest income in the world), Cambodia (with borderline low/low-middle income), El Salvador (with borderline low-middle/upper-middle income), and Kazakhstan (with borderline high-middle/high income) were estimated to be $3 to $116 (1%-51% GDP per capita), $44 to $518 (4%-51%), $422 to $1967 (11%-51%), and $4485 to $8018 (32%-59%), respectively.To date, opportunity-cost-based CETs for low-/middle-income countries have not been available. Although uncertainty exists in the underlying assumptions, these estimates can provide a useful input to inform resource allocation decisions and suggest that routinely used CETs have been too high.

Regulatory and reimbursement authorities face uncertain choices when considering the adoption of health-care technologies. In this Viewpoint, we present an analytic framework that separates the issue of whether a technology should be adopted on the basis of existing evidence from whether more research should be demanded to support future decisions. We show the application of this framework to the assessment of heath-care technologies using a published analysis of a new drug treatment for Alzheimer's disease. The results of the analysis show that the amount and type of evidence required to support the adoption of a health technology will differ substantially between technologies with different characteristics. Additionally, the analysis can be used to aid the efficient design of research. We discuss the implications of adoption of this new framework for regulatory and reimbursement decisions.

Recently the National Institute for Clinical Excellence (NICE) updated its methods guidance for technology assessment. One aspect of the new guidance is to require the use of probabilistic sensitivity analysis with all cost-effectiveness models submitted to the Institute. The purpose of this paper is to place the NICE guidance on dealing with uncertainty into a broader context of the requirements for decision making; to explain the general approach that was taken in its development; and to address each of the issues which have been raised in the debate about the role of probabilistic sensitivity analysis in general. The most appropriate starting point for developing guidance is to establish what is required for decision making. On the basis of these requirements, the methods and framework of analysis which can best meet these needs can then be identified. It will be argued that the guidance on dealing with uncertainty and, in particular, the requirement for probabilistic sensitivity analysis, is justified by the requirements of the type of decisions that NICE is asked to make. Given this foundation, the main issues and criticisms raised during and after the consultation process are reviewed. Finally, some of the methodological challenges posed by the need fully to characterise decision uncertainty and to inform the research agenda will be identified and discussed.

The randomised controlled trial (RCT) has developed a central role in applied cost-effectiveness studies in health care as the vehicle for analysis. This paper considers the role of trial-based economic evaluation in this era of explicit decision making. It is argued that any framework for economic analysis can only be judged insofar as it can inform two key decisions and be consistent with the objectives of a health care system subject to its resource constraints. The two decisions are, firstly, whether to adopt a health technology given existing evidence and, secondly, an assessment of whether more evidence is required to support this decision in the future. It is argued that a framework of economic analysis is needed which can estimate costs and effects, based on all the available evidence, relating to the full range of possible alternative interventions and clinical strategies, over an appropriate time horizon and for specific patient groups. It must also enable the accumulated evidence to be synthesised in an explicit and transparent way in order to fully represent the decision uncertainty. These requirements suggest that, in most circumstances, the use of a single RCT as a vehicle for economic analysis will be an inadequate and partial basis for decision making. It is argued that RCT evidence, with or without economic content, should be viewed as simply one of the sources of evidence, which must be placed in a broader framework of evidence synthesis and decision analysis.

There has been an increasing interest in using expected value of information (EVI) theory in medical decision making, to identify the need for further research to reduce uncertainty in decision and as a tool for sensitivity analysis. Expected value of sample information (EVSI) has been proposed for determination of optimum sample size and allocation rates in randomized clinical trials. This article derives simple Monte Carlo, or nested Monte Carlo, methods that extend the use of EVSI calculations to medical decision applications with multiple sources of uncertainty, with particular attention to the form in which epidemiological data and research findings are structured. In particular, information on key decision parameters such as treatment efficacy are invariably available on measures of relative efficacy such as risk differences or odds ratios, but not on model parameters themselves. In addition, estimates of model parameters and of relative effect measures in the literature may be heterogeneous, reflecting additional sources of variation besides statistical sampling error. The authors describe Monte Carlo procedures for calculating EVSI for probability, rate, or continuous variable parameters in multi parameter decision models and approximate methods for relative measures such as risk differences, odds ratios, risk ratios, and hazard ratios. Where prior evidence is based on a random effects meta-analysis, the authors describe different ESVI calculations, one relevant for decisions concerning a specific patient group and the other for decisions concerning the entire population of patient groups. They also consider EVSI methods for new studies intended to update information on both baseline treatment efficacy and the relative efficacy of 2 treatments. Although there are restrictions regarding models with prior correlation between parameters, these methods can be applied to the majority of probabilistic decision models. Illustrative worked examples of EVSI calculations are given in an appendix.

The economic evaluation of healthcare interventions requires an assessment of whether the improvement in health outcomes they offer exceeds the improvement in health that would have been possible if the additional resources required had, instead, been made available for other healthcare activities. Therefore, some assessment of these health opportunity costs is required if the best use is to be made of the resources available for healthcare. This paper provides a framework for generating country-specific estimates of cost per disability-adjusted life year (DALY) averted ‘thresholds’ that reflect health opportunity costs. We apply estimated elasticities on mortality, survival, morbidity and a generic measure of health, DALYs, that take account of measures of a country’s infrastructure and changes in donor funding to country-specific data on health expenditure, epidemiology and demographics to determine the likely DALYs averted from a 1% change in expenditure on health. The resulting range of cost per DALY averted ‘threshold’ estimates for each country that represent likely health opportunity costs tend to fall below the range previously suggested by WHO of 1–3× gross domestic product (GDP) per capita. The 1–3× GDP range and many other previous and existing recommendations about which interventions are cost-effective are not based on an empirical assessment of the likely health opportunity costs, and as a consequence, the health effects of changes in health expenditure have tended to be underestimated, and there is a risk that interventions regarded as cost-effective reduce rather than improve health outcomes overall.