Pre-trained language representation models, such as BERT, capture a general language representation from large-scale corpora, but lack domain-specific knowledge. When reading a domain text, experts make inferences with relevant knowledge. For machines to achieve this capability, we propose a knowledge-enabled language representation model (K-BERT) with knowledge graphs (KGs), in which triples are injected into the sentences as domain knowledge. However, too much knowledge incorporation may divert the sentence from its correct meaning, which is called knowledge noise (KN) issue. To overcome KN, K-BERT introduces soft-position and visible matrix to limit the impact of knowledge. K-BERT can easily inject domain knowledge into the models by being equipped with a KG without pre-training by itself because it is capable of loading model parameters from the pre-trained BERT. Our investigation reveals promising results in twelve NLP tasks. Especially in domain-specific tasks (including finance, law, and medicine), K-BERT significantly outperforms BERT, which demonstrates that K-BERT is an excellent choice for solving the knowledge-driven problems that require experts.

Pre-trained language models like BERT have proven to be highly performant. However, they are often computationally expensive in many practical scenarios, for such heavy models can hardly be readily implemented with limited resources. To improve their efficiency with an assured model performance, we propose a novel speed-tunable FastBERT with adaptive inference time. The speed at inference can be flexibly adjusted under varying demands, while redundant calculation of samples is avoided. Moreover, this model adopts a unique self-distillation mechanism at fine-tuning, further enabling a greater computational efficacy with minimal loss in performance. Our model achieves promising results in twelve English and Chinese datasets. It is able to speed up by a wide range from 1 to 12 times than BERT if given different speedup thresholds to make a speed-performance tradeoff.

Abstract Accurate disease diagnosis and prognosis are crucial for effective treatment management and improving patient outcomes. However, accurately detecting early signs of certain diseases or recurrence remains challenging. Existing machine-learning methods for identifying gene expression biomarkers have several limitations, including poor performance on independent test datasets, inability to directly process omics data, and difficulty in identifying noncoding RNA genes as biomarkers. Additionally, these methods may not provide sufficient biological interpretation of their results, and the panel biomarkers they identify may not be suitable for clinical application. To address these limitations, we have developed a new computational method called BAMBI, which integrates multiple machine-learning algorithms and statistical approaches to identify putative coding and noncoding genes as biomarkers for disease diagnosis and prognosis. We evaluated BAMBI ability to identify diagnostic and prognostic biomarkers by analyzing multiple RNA-seq datasets from cancerous and non-cancerous diseases at population levels. The results from BAMBI demonstrate significant biological interpretability and state-of-the-art prediction performance. When the singular gene identified by BAMBI is used as a diagnostic biomarker, it achieves a balance accuracy exceeding 95% in studies of both breast cancer and psoriasis. Additionally, the prognostic biomarkers that BAMBI identifies from RNA-seq data of Acute Myeloid Leukemia (AML) patients significantly correlate with the survival rates in an independent AML patient cohort. Additionally, BAMBI outperforms existing methods by delivering more robust results, identifying biomarkers with fewer genes, and simultaneously achieving superior prediction accuracy. We have implemented BAMBI into user-friendly software for the research community. In summary, BAMBI serves as a more reliable pipeline for identifying both coding and noncoding genes as biosignature markers, enhancing the accuracy of disease diagnosis and prognosis. BAMBI is available via https://github.com/CZhouLab/BAMBI .

3055 Background: Acute lymphoblastic leukemia (ALL) ranks among the most prevalent pediatric cancers. Molecular testing, including cytogenetics, has been widely used for prognosticating pediatric ALL. However, cytogenetic testing in pediatric ALL is incapable of detecting submicroscopic genetic changes and suffers from variable sensitivity, which may lead to heterogeneous outcomes within cytogenetic subgroups. In addition to conventional prognostic biomarkers, long non-coding RNAs (lncRNAs) are expressed in both a disease- and tissue-specific manner, emerging as promising biomarkers. However, well-established lncRNA prognostic biomarkers for pediatric ALL have yet to be identified. Therefore, in this study, we discovered three singular lncRNA prognostic biomarkers and a prognostic panel composed of multi-lncRNAs for pediatric ALL using our newly developed BAMBI method. Methods: This study utilized RNA-seq data from 561 distinct individuals, comprising 647 blood or bone marrow biospecimens obtained from pediatric patients with ALL from the dbGaP TARGET dataset. Among these individuals with RNA-seq and survival data, 25.8% deceased during follow-up. The average age at enrollment was 8.1 years. Of this cohort, 36.0% were female, and 61.5% were Caucasian white. Initially, our lncRNA identification tool, Flnc (Li Z., et al., Noncoding RNA. 2022), was employed to identify and quantify both novel and known lncRNAs expressed in pediatric ALL. Subsequently, our machine-learning based method, BAMBI, was utilized to discover lncRNAs as new prognostic biomarkers in pediatric ALL. Results: Three lncRNAs (ZBTB47 and NKTR antisense RNA, AC097359.2’s new isoform, and a novel lncRNA near STXBP5) were identified as individual putative biomarkers for prognosis. Each of these three lncRNA biomarkers exhibited predictive power for survival, with accuracy ranging from 68.2% to 72.8% and AUROC scores ranging from 67.7% to 75%. Furthermore, we established three lncRNA biomarker panels composed of these three lncRNAs along with a few additional lncRNAs, which showed improved prediction power with accuracy ranging from 78.3% to 79.6%, and AUROC scores ranging from 82.1% to 85.2%. Conclusions: We discovered both singular lncRNA and panels of multi-lncRNAs as prognostic biomarkers of pediatric ALL patients. These putative lncRNA biomarkers could be further validated through independent cohorts or prospective clinical study designs.