Abstract Ensembles used for probabilistic weather forecasting often exhibit a spread-error correlation, but they tend to be underdispersive. This paper proposes a statistical method for postprocessing ensembles based on Bayesian model averaging (BMA), which is a standard method for combining predictive distributions from different sources. The BMA predictive probability density function (PDF) of any quantity of interest is a weighted average of PDFs centered on the individual bias-corrected forecasts, where the weights are equal to posterior probabilities of the models generating the forecasts and reflect the models' relative contributions to predictive skill over the training period. The BMA weights can be used to assess the usefulness of ensemble members, and this can be used as a basis for selecting ensemble members; this can be useful given the cost of running large ensembles. The BMA PDF can be represented as an unweighted ensemble of any desired size, by simulating from the BMA predictive distribution. The BMA predictive variance can be decomposed into two components, one corresponding to the between-forecast variability, and the second to the within-forecast variability. Predictive PDFs or intervals based solely on the ensemble spread incorporate the first component but not the second. Thus BMA provides a theoretical explanation of the tendency of ensembles to exhibit a spread-error correlation but yet be underdispersive. The method was applied to 48-h forecasts of surface temperature in the Pacific Northwest in January–June 2000 using the University of Washington fifth-generation Pennsylvania State University–NCAR Mesoscale Model (MM5) ensemble. The predictive PDFs were much better calibrated than the raw ensemble, and the BMA forecasts were sharp in that 90% BMA prediction intervals were 66% shorter on average than those produced by sample climatology. As a by-product, BMA yields a deterministic point forecast, and this had root-mean-square errors 7% lower than the best of the ensemble members and 8% lower than the ensemble mean. Similar results were obtained for forecasts of sea level pressure. Simulation experiments show that BMA performs reasonably well when the underlying ensemble is calibrated, or even overdispersed.

Summary Probabilistic forecasts of continuous variables take the form of predictive densities or predictive cumulative distribution functions. We propose a diagnostic approach to the evaluation of predictive performance that is based on the paradigm of maximizing the sharpness of the predictive distributions subject to calibration. Calibration refers to the statistical consistency between the distributional forecasts and the observations and is a joint property of the predictions and the events that materialize. Sharpness refers to the concentration of the predictive distributions and is a property of the forecasts only. A simple theoretical framework allows us to distinguish between probabilistic calibration, exceedance calibration and marginal calibration. We propose and study tools for checking calibration and sharpness, among them the probability integral transform histogram, marginal calibration plots, the sharpness diagram and proper scoring rules. The diagnostic approach is illustrated by an assessment and ranking of probabilistic forecasts of wind speed at the Stateline wind energy centre in the US Pacific Northwest. In combination with cross-validation or in the time series context, our proposal provides very general, nonparametric alternatives to the use of information criteria for model diagnostics and model selection.

In this paper we discuss auxiliary variable approaches to Bayesian binary and multinomial regression. These approaches are ideally suited to automated Markov chain Monte Carlo simulation. In the first part we describe a simple technique using joint updating that improves the performance of the conventional probit regression algorithm. In the second part we discuss auxiliary variable methods for inference in Bayesian logistic regression, including covariate set uncertainty. Finally, we show how the logistic method is easily extended to multinomial regression models. All of the algorithms are fully automatic with no user set parameters and no necessary Metropolis-Hastings accept/reject steps.

Summary We discuss tools for the evaluation of probabilistic forecasts and the critique of statistical models for count data. Our proposals include a nonrandomized version of the probability integral transform, marginal calibration diagrams, and proper scoring rules, such as the predictive deviance. In case studies, we critique count regression models for patent data, and assess the predictive performance of Bayesian age‐period‐cohort models for larynx cancer counts in Germany. The toolbox applies in Bayesian or classical and parametric or nonparametric settings and to any type of ordered discrete outcomes.

The p-value quantifies the discrepancy between the data and a null hypothesis of interest, usually the assumption of no difference or no effect. A Bayesian approach allows the calibration of p-values by transforming them to direct measures of the evidence against the null hypothesis, so-called Bayes factors. We review the available literature in this area and consider two-sided significance tests for a point null hypothesis in more detail. We distinguish simple from local alternative hypotheses and contrast traditional Bayes factors based on the data with Bayes factors based on p-values or test statistics. A well-known finding is that the minimum Bayes factor, the smallest possible Bayes factor within a certain class of alternative hypotheses, provides less evidence against the null hypothesis than the corresponding p-value might suggest. It is less known that the relationship between p-values and minimum Bayes factors also depends on the sample size and on the dimension of the parameter of interest. We illustrate the transformation of p-values to minimum Bayes factors with two examples from clinical research.

The projection of age‐stratified cancer incidence and mortality rates is of great interest due to demographic changes, but also therapeutical and diagnostic developments. Bayesian age–period–cohort (APC) models are well suited for the analysis of such data, but are not yet used in routine practice of epidemiologists. Reasons may include that Bayesian APC models have been criticized to produce too wide prediction intervals. Furthermore, the fitting of Bayesian APC models is usually done using Markov chain Monte Carlo (MCMC), which introduces complex convergence concerns and may be subject to additional technical problems. In this paper we address both concerns, developing efficient MCMC‐free software for routine use in epidemiological applications. We apply Bayesian APC models to annual lung cancer data for females in five different countries, previously analyzed in the literature. To assess the predictive quality, we omit the observations from the last 10 years and compare the projections with the actual observed data based on the absolute error and the continuous ranked probability score. Further, we assess calibration of the one‐step‐ahead predictive distributions. In our application, the probabilistic forecasts obtained by the Bayesian APC model are well calibrated and not too wide. A comparison to projections obtained by a generalized Lee–Carter model is also given. The methodology is implemented in the user‐friendly R‐package BAPC using integrated nested Laplace approximations.

Abstract The goal of this work was to quantify the effect of school closure during the first year of coronavirus disease 2019 (COVID-19) pandemic in Switzerland. This allowed us to determine the usefulness of school closures as a pandemic countermeasure for emerging coronaviruses in the absence of pharmaceutical interventions. The use of multivariate endemic-epidemic modelling enabled us to analyse disease spread between age groups which we believe is a necessary inclusion in any model seeking to achieve our goal. Sophisticated time-varying contact matrices encapsulating four different contact settings were included in our complex statistical modelling approach to reflect the amount of school closure in place on a given day. Using the model, we projected case counts under various transmission scenarios (driven by implemented social distancing policies). We compared these counterfactual scenarios against the true levels of social distancing policies implemented, where schools closed in the spring and reopened in the autumn. We found that if schools had been kept open, the vast majority of additional cases would be expected among primary school-aged children with a small fraction of cases filtering into other age groups following the contact matrix structure. Under this scenario where schools were kept open, the cases were highly concentrated among the youngest age group. In the scenario where schools had remained closed, most reduction would also be expected in the lowest age group with less effects seen in other groups.

Routine surveillance of notifiable infectious diseases gives rise to daily or weekly counts of reported cases stratified by region and age group. From a public health perspective, forecasts of infectious disease spread are of central importance. We argue that such forecasts need to properly incorporate the attached uncertainty, so should be probabilistic in nature. However, forecasts also need to take into account temporal dependencies inherent to communicable diseases, spatial dynamics through human travel, and social contact patterns between age groups. We describe a multivariate time series model for weekly surveillance counts on norovirus gastroenteritis from the 12 city districts of Berlin, in six age groups, from week 2011/27 to week 2015/26. The following year (2015/27 to 2016/26) is used to assess the quality of the predictions. Probabilistic forecasts of the total number of cases can be derived through Monte Carlo simulation, but first and second moments are also available analytically. Final size forecasts as well as multivariate forecasts of the total number of cases by age group, by district, and by week are compared across different models of varying complexity. This leads to a more general discussion of issues regarding modelling, prediction and evaluation of public health surveillance data.

Abstract The advent of cancer neuroscience has significantly advanced our understanding of brain tumor biology, yet the clinical implications remain largely unexplored. Glutamate, the most abundant excitatory neurotransmitter, presents a potential therapeutic target in brain tumors. Glioblastoma cells synthesize and secrete large amounts of glutamate, driving epilepsy, neuronal death, tumor growth, and invasion. Several brain-penetrating drugs, approved for other conditions, can inhibit glutamate synthesis, secretion, and signaling. These drugs include: (i) gabapentin, an anti-seizure medication that inhibits the glutamate synthesis enzyme branched-chain amino acid transaminase 1; (ii) sulfasalazine, an anti-inflammatory drug that blocks the cystine-glutamate exchanger system Xc, reducing glutamate secretion; and (iii) memantine, a cognitive enhancer that prevents glutamate-driven, calcium-induced neuronal death and tumor cell invasion by blocking N-methyl-D-aspartate type glutamate receptors. The multi-center, open-label, parallel-group, two-arm, 1:1 randomized phase Ib/II trial GLUGLIO is investigating the efficacy of a daily oral anti-glutamatergic triple combination of gabapentin, sulfasalazine, and memantine until tumor progression, in conjunction with standard chemoradiotherapy, compared to chemoradiotherapy alone. The primary endpoint is progression-free survival at 6 months (PFS-6). A sample size of 120 patients was determined to detect an increase in PFS-6 from 50% to 70%, with 80% power, using exploratory hypothesis testing at a one-sided significance level of 10%. Secondary endpoints include overall survival, seizure-free survival, response rate, quality of life for patients and caregivers, symptom burden, cognitive functioning, tumor glutamate levels (measured by magnetic resonance spectroscopy), and the use of anti-convulsants and steroids. Each drug is dosed up to the maximum approved amount. Results from the phase Ib part of the trial, including an interim safety analysis, will be presented at the conference.