Abstract Machine learning (ML) modeling of the human microbiome has the potential to identify microbial biomarkers and aid in the diagnosis of many diseases such as inflammatory bowel disease, diabetes, and colorectal cancer. Progress has been made towards developing ML models that predict health outcomes using bacterial abundances, but inconsistent adoption of training and evaluation methods call the validity of these models into question. Furthermore, there appears to be a preference by many researchers to favor increased model complexity over interpretability. To overcome these challenges, we trained seven models that used fecal 16S rRNA sequence data to predict the presence of colonic screen relevant neoplasias (SRNs; n=490 patients, 261 controls and 229 cases). We developed a reusable open-source pipeline to train, validate, and interpret ML models. To show the effect of model selection, we assessed the predictive performance, interpretability, and training time of L2-regularized logistic regression, L1 and L2-regularized support vector machines (SVM) with linear and radial basis function kernels, decision trees, random forest, and gradient boosted trees (XGBoost). The random forest model performed best at detecting SRNs with an AUROC of 0.695 [IQR 0.651-0.739] but was slow to train (83.2 h) and not inherently interpretable. Despite its simplicity, L2-regularized logistic regression followed random forest in predictive performance with an AUROC of 0.680 [IQR 0.625-0.735], trained faster (12 min), and was inherently interpretable. Our analysis highlights the importance of choosing an ML approach based on the goal of the study, as the choice will inform expectations of performance and interpretability. Importance Diagnosing diseases using machine learning (ML) is rapidly being adopted in microbiome studies. However, the estimated performance associated with these models is likely over-optimistic. Moreover, there is a trend towards using black box models without a discussion of the difficulty of interpreting such models when trying to identify microbial biomarkers of disease. This work represents a step towards developing more reproducible ML practices in applying ML to microbiome research. We implement a rigorous pipeline and emphasize the importance of selecting ML models that reflect the goal of the study. These concepts are not particular to the study of human health but can also be applied to environmental microbiology studies.

Abstract Emerging evidence demonstrates a connection between microbiome composition and suboptimal response to vaccines (vaccine hyporesponse). Harnessing the interaction between microbes and the immune system could provide novel therapeutic strategies for improving vaccine response. Currently we do not fully understand the mechanisms and dynamics by which the microbiome influences vaccine response. Using both mouse and non-human primate models, we report that short-term oral treatment with a single antibiotic (vancomycin) results in disruption of the gut microbiome and this correlates with a decrease in systemic levels of antigen-specific IgG upon subsequent parenteral vaccination. We further show that recovery of microbial diversity before vaccination prevents antibiotic-induced vaccine hyporesponse, and that the antigen specific IgG response correlates with the recovery of microbiome diversity. RNA-sequencing analysis of small intestine, spleen, whole blood, and secondary lymphoid organs from antibiotic treated mice revealed a dramatic impact on the immune system, and a muted inflammatory signature is correlated with loss of bacteria from Lachnospiraceae, Ruminococcaceae , and Clostridiaceae . These results suggest that microbially modulated immune pathways may be leveraged to promote vaccine response and will inform future vaccine design and development strategies. Importance Antibiotic-induced gut microbiome disruption has been linked to reduced vaccine efficacy. Despite these observations, there remains a knowledge gap in the specific mechanisms by which antibiotics and the gut microbiome influence vaccine efficacy. We aim to contribute to the field’s growing mechanistic understanding by presenting a detailed analysis of antibiotic treatment and recovery as it relates to vaccine response and the microbiome. Using animal models, we show that short-term antibiotic treatment prior to vaccination results in diminished vaccine-specific immune responses, and that these are correlated with specific microbiome signatures. We also demonstrate the converse, in which gut microbiome recovery can result in improved vaccine response. We further reveal that antibiotics can significantly alter multiple relevant immune pathways and this alteration in immune tone may contribute to the vaccine hyporesponse. We expect our findings will enable the continued prosecution of the role of the microbiome in modulating the host immune system.

Colonic bacterial populations are thought to have a role in the development of colorectal cancer with some protecting against inflammation and others exacerbating inflammation. Short-chain fatty acids (SCFAs) have been shown to have anti-inflammatory properties and are produced in large quantities by colonic bacteria which produce SCFAs by fermenting fiber. We assessed whether there was an association between fecal SCFA concentrations and the presence of colonic adenomas or carcinomas in a cohort of individuals using 16S rRNA gene and metagenomic shotgun sequence data. We measured the fecal concentrations of acetate, propionate, and butyrate within the cohort and found that there were no significant associations between SCFA concentration and tumor status. When we incorporated these concentrations into random forest classification models trained to differentiate between people with normal colons and those with adenomas or carcinomas, we found that they did not significantly improve the ability of 16S rRNA gene or metagenomic gene sequence-based models to classify individuals. Finally, we generated random forest regression models trained to predict the concentration of each SCFA based on 16S rRNA gene or metagenomic gene sequence data from the same samples. These models performed poorly and were able to explain at most 14% of the observed variation in the SCFA concentrations. These results support the broader epidemiological data that questions the value of fiber consumption for reducing the risks of colorectal cancer. Although other bacterial metabolites may serve as biomarkers to detect adenomas or carcinomas, fecal SCFA concentrations have limited predictive power.Importance Considering colorectal cancer is the third leading cancer-related cause of death within the United States, it is important to detect colorectal tumors early and to prevent the formation of tumors. Short-chain fatty acids (SCFAs) are often used as a surrogate for measuring gut health and for being anti-carcinogenic because of their anti-inflammatory properties. We evaluated the fecal SCFA concentration of a cohort of individuals with varying colonic tumor burden who were previously analyzed to identify microbiome-based biomarkers of tumors. We were unable to find an association between SCFA concentration and tumor burden or use SCFAs to improve our microbiome-based models of classifying people based on their tumor status. Furthermore, we were unable to find an association between the fecal community structure and SCFA concentrations. Our results indicate that the association between fecal SCFAs, the gut microbiome, and tumor burden is weak.

Abstract The ability to use 16S rRNA gene sequence data to train machine learning classification models offers the opportunity diagnose patients based on the composition of their microbiome. In some applications the taxonomic resolution that provides the best models may require the use of de novo OTUs whose composition changes when new data are added. We previously developed a new reference-based approach, OptiFit, that fits new sequence data to existing de novo OTUs without changing the composition of the original OTUs. While OptiFit produces OTUs that are as high quality as de novo OTUs, it is unclear whether this method for fitting new sequence data into existing OTUs will impact the performance of classification models relative to models trained and tested only using de novo OTUs. We used OptiFit to cluster sequences into existing OTUs and evaluated model performance in classifying a dataset containing samples from patients with and without colonic screen relevant neoplasia (SRN). We compared the performance of this model to standard methods including de novo and database-reference-based clustering. We found that using OptiFit performed as well or better in classifying SRNs. OptiFit can streamline the process of classifying new samples by avoiding the need to retrain models using reclustered sequences.

Abstract Depressurization and sample processing delays may impact the outcome of shipboard microbial incubations of samples collected from the deep sea. To address this knowledge gap, we developed an ROV-powered incubator instrument to carry out and compare results from in situ and shipboard RNA Stable Isotope Probing (RNA-SIP) experiments to identify the key chemolithoautotrophic microbes and metabolisms in diffuse, low-temperature venting fluids from Axial Seamount. All the incubations showed microbial uptake of labelled bicarbonate primarily by thermophilic autotrophic Epsilonbacteraeota that oxidized hydrogen coupled with nitrate reduction. However, the in situ seafloor incubations showed higher abundances of transcripts annotated for aerobic processes suggesting that oxygen was lost from the hydrothermal fluid samples prior to shipboard analysis. Furthermore, transcripts for thermal stress proteins such as heat shock chaperones and proteases were significantly more abundant in the shipboard incubations suggesting that hydrostatic pressure ameliorated thermal stress in the metabolically active microbes in the seafloor incubations. Together, results indicate that while the autotrophic microbial communities in the shipboard and seafloor experiments behaved similarly, there were distinct differences that provide new insight into the activities of natural microbial assemblages under near-native conditions in the ocean.

Abstract Colorectal cancer is a common and deadly disease in the United States accounting for over 50,000 deaths in 2020. This progressive disease is highly preventable with early detection and treatment, but many people do not comply with the recommended screening guidelines. The gut microbiome has emerged as a promising target for non-invasive detection of colorectal cancer. Most microbiome-based classification efforts utilize taxonomic abundance data from operational taxonomic units (OTUs) or amplicon sequence variants (ASVs) with the goal of increasing taxonomic resolution. However, it is unknown which taxonomic resolution is optimal for microbiome-based classification of colorectal cancer. To address this question, we used a reproducible machine learning framework to quantify classification performance of models based on data annotated to phylum, class, order, family, genus, OTU, and ASV levels. We found that model performance increased with increasing taxonomic resolution, up to the family level where performance was equal (p > 0.05) among family (mean AUC: 0.689), genus (mean AUC: 0.690), and OTU (mean AUC: 0.693) levels before decreasing at the ASV level (p < 0.05, mean AUC: 0.676). These results demonstrate a trade-off between taxonomic resolution and prediction performance, where coarse taxonomic resolution (e.g. phylum) is not distinct enough but fine resolution (e.g. ASV) is to individualized to accurately classify samples. Similar to the story of Goldilocks and the three bears, mid-range resolution (i.e. family, genus, and OTU) is just right for optimal prediction of colorectal cancer from microbiome data. Importance Despite being highly preventable, colorectal cancer remains a leading cause of cancer related death in the United States. Low-cost, non-invasive detection methods could greatly improve our ability to identify and treat early stages of disease. The microbiome has shown promise as a resource for detection of colorectal cancer. Research on the gut microbiome tends to focus on improving our ability to profile species and strain level taxonomic resolution. However, we found that finer resolution impedes the ability to predict colorectal cancer based on the gut microbiome. These results highlight the need for consideration of the appropriate taxonomic resolution for microbiome analyses and that finer resolution is not always more informative.