Abstract A crucial problem in building a multiple regression model is the selection of predictors to include. The main thrust of this article is to propose and develop a procedure that uses probabilistic considerations for selecting promising subsets. This procedure entails embedding the regression setup in a hierarchical normal mixture model where latent variables are used to identify subset choices. In this framework the promising subsets of predictors can be identified as those with higher posterior probability. The computational burden is then alleviated by using the Gibbs sampler to indirectly sample from this multinomial posterior distribution on the set of possible subset choices. Those subsets with higher probability—the promising ones—can then be identified by their more frequent appearance in the Gibbs sample.

Abstract Computer-intensive algorithms, such as the Gibbs sampler, have become increasingly popular statistical tools, both in applied and theoretical work. The properties of such algorithms, however, may sometimes not be obvious. Here we give a simple explanation of how and why the Gibbs sampler works. We analytically establish its properties in a simple case and provide insight for more complicated cases. There are also a number of examples.

Computer intensive algorithms, such as the Gibbs sampler, have become increasingly popular statistical tools, both in applied and theoretical work.The properties of such algorithms, however, may sometimes not be obvious.Here we give a simple explanation of how and why the Gibbs sampler works.We analytically establish its properties in a simple case, and provide insight for more complicated cases.There are also a number of examples.1.

We develop a Bayesian "sum-of-trees" model where each tree is constrained by a regularization prior to be a weak learner, and fitting and inference are accomplished via an iterative Bayesian backfitting MCMC algorithm that generates samples from a posterior. Effectively, BART is a nonparametric Bayesian regression approach which uses dimensionally adaptive random basis elements. Motivated by ensemble methods in general, and boosting algorithms in particular, BART is defined by a statistical model: a prior and a likelihood. This approach enables full posterior inference including point and interval estimates of the unknown regression function as well as the marginal effects of potential predictors. By keeping track of predictor inclusion frequencies, BART can also be used for model-free variable selection. BART's many features are illustrated with a bake-off against competing methods on 42 different data sets, with a simulation experiment and on a drug discovery classification problem.

Abstract In this article we put forward a Bayesian approach for finding classification and regression tree (CART) models. The two basic components of this approach consist of prior specification and stochastic search. The basic idea is to have the prior induce a posterior distribution that will guide the stochastic search toward more promising CART models. As the search proceeds, such models can then be selected with a variety of criteria, such as posterior probability, marginal likelihood, residual sum of squares or misclassification rates. Examples are used to illustrate the potential superiority of this approach over alternative methods.

A new criterion is proposed for the evaluation of variable selection procedures in multiple regression. This criterion, which we call the risk inflation, is based on an adjustment to the risk. Essentially, the risk inflation is the maximum increase in risk due to selecting rather than knowing the "correct" predictors. A new variable selection procedure is obtained which, in the case of orthogonal predictors, substantially improves on AIC, $C_p$ and BIC and is close to optimal. In contrast to AIC, $C_p$ and BIC which use dimensionality penalties of 2, 2 and $\log n$, respectively, this new procedure uses a penalty $2 \log p$, where $p$ is the number of available predictors. For the case of nonorthogonal predictors, bounds for the optimal penalty are obtained.

Journal Article Calibration and empirical Bayes variable selection Get access EdwardI. George, EdwardI. George Department of Management Science and Information Systems, The University of Texas at Austin, Austin, Texas 78712‐1175, U.S.A. egeorge@mail.utexas.edu Department of Statistics, The Wharton School of The University of Pennsylvania, Philadelphia, Pennsylvania 19104‐6302, U.S.A. foster@diskworld.wharton.upenn.edu Search for other works by this author on: Oxford Academic Google Scholar Dean P. Foster Dean P. Foster Department of Management Science and Information Systems, The University of Texas at Austin, Austin, Texas 78712‐1175, U.S.A. egeorge@mail.utexas.edu Department of Statistics, The Wharton School of The University of Pennsylvania, Philadelphia, Pennsylvania 19104‐6302, U.S.A. foster@diskworld.wharton.upenn.edu Search for other works by this author on: Oxford Academic Google Scholar Biometrika, Volume 87, Issue 4, December 2000, Pages 731–747, https://doi.org/10.1093/biomet/87.4.731 Published: 01 December 2000

Abstract A crucial problem in building a multiple regression model is the selection of predictors to include. The main thrust of this article is to propose and develop a procedure that uses probabilistic considerations for selecting promising subsets. This procedure entails embedding the regression setup in a hierarchical normal mixture model where latent variables are used to identify subset choices. In this framework the promising subsets of predictors can be identified as those with higher posterior probability. The computational burden is then alleviated by using the Gibbs sampler to indirectly sample from this multinomial posterior distribution on the set of possible subset choices. Those subsets with higher probability—the promising ones—can then be identified by their more frequent appearance in the Gibbs sample.

A useful definition of ‘big data’ is data that is too big to process comfortably on a single machine, either because of processor, memory, or disk bottlenecks. Graphics processing units can alleviate the processor bottleneck, but memory or disk bottlenecks can only be eliminated by splitting data across multiple machines. Communication between large numbers of machines is expensive (regardless of the amount of data being communicated), so there is a need for algorithms that perform distributed approximate Bayesian analyses with minimal communication. Consensus Monte Carlo operates by running a separate Monte Carlo algorithm on each machine, and then averaging individual Monte Carlo draws across machines. Depending on the model, the resulting draws can be nearly indistinguishable from the draws that would have been obtained by running a single-machine algorithm for a very long time. Examples of consensus Monte Carlo are shown for simple models where single-machine solutions are available, for large single-layer hierarchical models, and for Bayesian additive regression trees (BART).