Abstract Making predictions about species, including how they respond to environmental change, is a central challenge for ecologists. Due to the huge number of species, ecologists seek generalizations based on species’ traits and phylogenetic relationships, but the predictive power of trait-based and phylogenetic models is often low. Species co-occurrence patterns may contain additional information about species’ ecological attributes not captured by traits or phylogenies. We propose using ordination to encode the information contained in species co-occurrence data in low-dimensional vectors that can be used to represent species in ecological prediction. We present an efficient method to derive species vectors from co-occurrence data using GloVe, an unsupervised learning algorithm originally designed for language modeling. To demonstrate the method, we used GloVe to generate vectors for nearly 40,000 plant species using co-occurrence statistics derived from a global vegetation dataset and tested their ability to predict elevational range shifts in European montane plant species. Co-occurrence-based species vectors were weakly correlated with traits or phylogeny, indicating that they encode unique information about species. Models including co-occurrence-based vectors explained twice as much variation in species range shifts as models including only traits or phylogenetic information. Given the widespread availability of species occurrence data, species vectors learned from co-occurrence patterns are a widely applicable and powerful tool for encoding ecological information about species, with many potential applications for describing and predicting the ecology of species, communities, and ecosystems.

Abstract The proliferation of high-dimensional biological data is kindling hope that life scientists will be able to fit statistical and machine learning models that are highly predictive and interpretable. However, large biological data are commonly burdened with an inherent trade-off: in-sample prediction will improve as additional predictors are included in the model, but this may come at the cost of poor predictive accuracy and limited generalizability for future or unsampled observations (out-of-sample prediction). To confront this problem of overfitting, sparse models narrow in on the causal predictors by correctly placing low weight on unimportant variables. We competed nine methods to quantify their performance in variable selection and prediction using simulated data with different sample sizes, numbers of predictors, and strengths of effects. Overfitting was typical for many methods and simulation scenarios. Despite this, in-sample and out-of-sample prediction converged on the true predictive target for simulations with more observations, larger causal effects, and fewer predictors. Accurate variable selection to support process-based understanding will be unattainable for many realistic sampling schemes. We use our analyses to characterize data attributes in which statistical learning is possible, and illustrate how some sparse methods can achieve predictive accuracy while mitigating and learning the extent of overfitting.

ABSTRACT Functional traits affect the demographic performance of individuals in their environment, leading to fitness differences that scale up to drive population dynamics and community assembly. Understanding the links between traits and fitness is therefore critical for predicting how populations and communities respond to environmental change. However, the net effects of traits on species fitness are largely unknown because we have lacked a framework for estimating fitness across multiple species and environments. We present a modeling framework that integrates trait effects on demographic performance over the life cycles of individuals to estimate the net effect of traits on species fitness. This approach involves 1) modeling trait effects on individual demographic rates (growth, survival, and recruitment) as multidimensional performance surfaces that vary with individual size and environment and 2) integrating these effects into a population model to project population growth rates (i.e., fitness) as a function of traits and environment. We illustrate our approach by estimating performance surfaces and fitness landscapes for trees across a temperature gradient in the eastern United States. Functional traits (wood density, specific leaf area, and maximum height) interacted with individual size and temperature to influence tree growth, survival, and recruitment rates, generating demographic trade-offs and shaping the contours of fitness landscapes. Tall tree species had high survival, growth, and fitness across the temperature gradient. Wood density and specific leaf area had interactive effects on demographic performance, resulting in fitness landscapes with multiple peaks. With this approach it is now possible to empirically estimate the net effect of traits on fitness, leading to improved understanding of the selective forces that drive community assembly and permitting generalizable predictions of population and community dynamics in changing environments.