Background Community engagement has been advanced as a promising way of improving health and reducing health inequalities; however, the approach is not yet supported by a strong evidence base. Objectives To undertake a multimethod systematic review which builds on the evidence that underpins the current UK guidance on community engagement; to identify theoretical models underpinning community engagement; to explore mechanisms and contexts through which communities are engaged; to identify community engagement approaches that are effective in reducing health inequalities, under what circumstances and for whom; and to determine the processes and costs associated with their implementation. Data sources Databases including the Cochrane Database of Systematic Reviews (CDSR), The Campbell Library, the Database of Abstracts of Reviews of Effects (DARE), the Health Technology Assessment (HTA) database, the NHS Economic Evaluation Database (NHS EED) and EPPI-Centre’s Trials Register of Promoting Health Interventions (TRoPHI) and Database of Promoting Health Effectiveness Reviews (DoPHER) were searched from 1990 to August 2011 for systematic reviews and primary studies. Trials evaluating community engagement interventions reporting health outcomes were included. Review methods Study eligibility criteria: published after 1990; outcome, economic, or process evaluation; intervention relevant to community engagement; written in English; measured and reported health or community outcomes, or presents cost, resource, or implementation data characterises study populations or reports differential impacts in terms of social determinants of health; conducted in an Organisation for Economic Co-operation and Development (OECD) country. Study appraisal: risk of bias for outcome evaluations; assessment of validity and relevance for process evaluations; comparison against an economic evaluation checklist for economic evaluations. Synthesis methods: four synthesis approaches were adopted for the different evidence types: theoretical, quantitative, process, and economic evidence. Results The theoretical synthesis identified key models of community engagement that are underpinned by different theories of changes. Results from 131 studies included in a meta-analysis indicate that there is solid evidence that community engagement interventions have a positive impact on health behaviours, health consequences, self-efficacy and perceived social support outcomes, across various conditions. There is insufficient evidence – particularly for long-term outcomes and indirect beneficiaries – to determine whether one particular model of community engagement is likely to be more effective than any other. There are also insufficient data to test the effects on health inequalities, although there is some evidence to suggest that interventions that improve social inequalities (as measured by social support) also improve health behaviours. There is weak evidence from the effectiveness and process evaluations that certain implementation factors may affect intervention success. From the economic analysis, there is weak but inconsistent evidence that community engagement interventions are cost-effective. By combining findings across the syntheses, we produced a new conceptual framework. Limitations Differences in the populations, intervention approaches and health outcomes made it difficult to pinpoint specific strategies for intervention effectiveness. The syntheses of process and economic evidence were limited by the small (generally not rigorous) evidence base. Conclusions Community engagement interventions are effective across a wide range of contexts and using a variety of mechanisms. Public health initiatives should incorporate community engagement into intervention design. Evaluations should place greater emphasis on long-term outcomes, outcomes for indirect beneficiaries, process evaluation, and reporting costs and resources data. The theories of change identified and the newly developed conceptual framework are useful tools for researchers and practitioners. We identified trends in the evidence that could provide useful directions for future intervention design and evaluation. Funding The National Institute for Health Research Public Health Research programme.

Although it might be assumed that most public health programmes involving social or behavioural rather than clinical interventions are unlikely to be iatrogenic, it is well established that they can sometimes cause serious harms. However, the assessment of adverse effects remains a neglected topic in evaluations of public health interventions. In this paper, we first argue for the importance of evaluations of public health interventions not only aiming to examine potential harms but also the mechanisms that might underlie these harms so that they might be avoided in the future. Second, we examine empirically whether protocols for the evaluation of public health interventions do examine harmful outcomes and underlying mechanisms and, if so, how. Third, we suggest a new process by which evaluators might develop 'dark logic models' to guide the evaluation of potential harms and underlying mechanisms, which includes: theorisation of agency-structure interactions; building comparative understanding across similar interventions via reciprocal and refutational translation; and consultation with local actors to identify how mechanisms might be derailed, leading to harmful consequences. We refer to the evaluation of a youth work intervention which unexpectedly appeared to increase the rate of teenage pregnancy it was aiming to reduce, and apply our proposed process retrospectively to see how this might have strengthened the evaluation. We conclude that the theorisation of dark logic models is critical to prevent replication of harms. It is not intended to replace but rather to inform empirical evaluation.

Bullying, aggression, and violence among children and young people are some of the most consequential public mental health problems. We tested the Learning Together intervention, which involved students in efforts to modify their school environment using restorative practice and by developing social and emotional skills.We did a cluster randomised trial, with economic and process evaluations, of the Learning Together intervention compared with standard practice (controls) over 3 years in secondary schools in south-east England. Learning Together consisted of staff training in restorative practice; convening and facilitating a school action group; and a student social and emotional skills curriculum. Primary outcomes were self-reported experience of bullying victimisation (Gatehouse Bullying Scale; GBS) and perpetration of aggression (Edinburgh Study of Youth Transitions and Crime (ESYTC) school misbehaviour subscale) measured at 36 months. We analysed data using intention-to-treat longitudinal mixed-effects models. This trial was registered with the ISRCTN registry (10751359).We included 40 schools (20 in each group); no schools withdrew. 6667 (93·6%) of 7121 students participated at baseline and 5960 (83·3%) of 7154 at 36 months. Mean GBS bullying score at 36 months was 0·34 (SE 0·02) in the control group versus 0·29 (SE 0·02) in the intervention group, with a significant adjusted mean difference (-0·03, 95% CI -0·06 to -0·001; adjusted effect size -0·08). Mean ESYTC score at 36 months was 4·33 (SE 0·20) in the control group versus 4·04 (0·21) in the intervention group, with no evidence of a difference between groups (adjusted difference -0·13, 95% CI -0·43 to 0·18; adjusted effect size -0·03). Costs were an additional £58 per pupil in intervention schools than in control schools.Learning Together had small but significant effects on bullying, which could be important for public health, but no effect on aggression. Interventions to promote student health by modifying the whole-school environment are likely to be one of the most feasible and efficient ways of addressing closely related risk and health outcomes in children and young people.National Institute for Health Research, Educational Endowment Foundation.

The integration of realist evaluation principles within randomised controlled trials ('realist RCTs') enables evaluations of complex interventions to answer questions about what works, for whom and under what circumstances. This allows evaluators to better develop and refine mid-level programme theories. However, this is only one phase in the process of developing and evaluating complex interventions. We describe and exemplify how social scientists can integrate realist principles across all phases of the Medical Research Council framework. Intervention development, modelling, and feasibility and pilot studies need to theorise the contextual conditions necessary for intervention mechanisms to be activated. Where interventions are scaled up and translated into routine practice, realist principles also have much to offer in facilitating knowledge about longer-term sustainability, benefits and harms. Integrating a realist approach across all phases of complex intervention science is vital for considering the feasibility and likely effects of interventions for different localities and population subgroups.