Deep neural networks (DNNs) often suffer from "catastrophic forgetting" during incremental learning (IL) — an abrupt degradation of performance on the original set of classes when the training objective is adapted to a newly added set of classes. Existing IL approaches tend to produce a model that is biased towards either the old classes or new classes, unless with the help of exemplars of the old data. To address this issue, we propose a class-incremental learning paradigm called Deep Model Consolidation (DMC), which works well even when the original training data is not available. The idea is to first train a separate model only for the new classes, and then combine the two individual models trained on data of two distinct set of classes (old classes and new classes) via a novel double distillation training objective. The two existing models are consolidated by exploiting publicly available unlabeled auxiliary data. This overcomes the potential difficulties due to unavailability of original training data. Compared to the state-of-the-art techniques, DMC demonstrates significantly better performance in image classification (CIFAR-100 and CUB-200) and object detection (PASCAL VOC 2007) in the single-headed IL setting.

Abstract Complex signaling pathways/networks are believed to be responsible for drug resistance in cancer therapy. Drug combinations inhibiting multiple signaling targets within cancer-related signaling networks have the potential to reduce drug resistance. Deep learning models have been reported to predict drug combinations. However, these models are hard to be interpreted in terms of mechanism of synergy (MoS), and thus cannot well support the human-AI based clinical decision making. Herein, we proposed a novel computational model, DeepSignalingFlow , which seeks to address the preceding two challenges. Specifically, a graph convolutional network (GCN) was developed based on a core cancer signaling network consisting of 1584 genes, with gene expression and copy number data derived from 46 core cancer signaling pathways. The novel up-stream signaling-flow (from up-stream signaling to drug targets), and the down-stream signaling-flow (from drug targets to down-stream signaling), were designed using trainable weights of network edges. The numerical features (accumulated information due to the signaling-flows of the signaling network) of drug nodes that link to drug targets were then used to predict the synergy scores of such drug combinations. The model was evaluated using the NCI ALMANAC drug combination screening data. The evaluation results showed that the proposed DeepSignalingFlow model can not only predict drug combination synergy score, but also interpret potentially interpretable MoS of drug combinations.

Abstract Drug combinations targeting multiple targets/pathways are believed to be able to reduce drug resistance. Computational models are essential for novel drug combination discovery. In this study, we proposed a new simplified deep learning model, DeepSignalingSynergy , for drug combination prediction. Compared with existing models that use a large number of chemical-structure and genomics features in densely connected layers, we built the model on a small set of cancer signaling pathways, which can mimic the integration of multi-omics data and drug target/mechanism in a more biological meaningful and explainable manner. The evaluation results of the model using the NCI ALMANAC drug combination screening data indicated the feasibility of drug combination prediction using a small set of signaling pathways. Interestingly, the model analysis suggested the importance of heterogeneity of the 46 signaling pathways, which indicates that some new signaling pathways should be targeted to discover novel synergistic drug combinations.

Abstract Survival analysis and prediction are important in cancer studies. In addition to the Cox proportional hazards model, recently deep learning models have been proposed to integrate the multi-omics data for survival prediction. Cancer signaling pathways are important and interpretable concepts that define the signaling cascades regulating cancer development and drug resistance. Thus, it is interesting and important to investigate the relevance to patients’ survival of individual signaling pathways. In this exploratory study, we propose to investigate the relevance and difference of a small set of core cancer signaling pathways in the survival analysis of cancer patients. Specifically, we built a biologically meaningful and simplified deep neural network, DeepSigSurvNet, for survival prediction. In the model, the gene expression and copy number data of 1648 genes from 46 major signaling pathways are used. We applied the model on 4 types of cancer and investigated the relevance and difference of the 46 signaling pathways among the 4 types of cancer. Interestingly, the interpretable analysis identified the distinct patterns of these signaling pathways, which are helpful to understand the relevance of the signaling pathways in terms of their association with cancer survival time. These highly relevant signaling pathways can be novel targets, combined with other essential signaling pathways inhibitors, for drug and drug combination prediction to improve cancer patients’ survival time.

Abstract Multi-omic data, i.e., genomics, epigenomics, transcriptomics, proteomics, characterize cellular complex signaling systems from multi-level and multi-view and provide a holistic view of complex cellular signaling pathways. However, it remains challenging to integrate and interpret multi-omics data. Graph neural network (GNN) AI models have been widely used to analyze graph-structure datasets and are ideal for integrative multi-omics data analysis because they can naturally integrate and represent multi-omics data as a biologically meaningful multi-level signaling graph and interpret multi-omics data by node and edge ranking analysis for signaling flow/cascade inference. However, it is non-trivial for graph-AI model developers to pre-analyze multi-omics data and convert them into graph-structure data for individual samples, which can be directly fed into graph-AI models. To resolve this challenge, we developed mosGraphGen (multi-omics signaling graph generator), a novel computational tool that generates multi-omics signaling graphs of individual samples by mapping the multi-omics data onto a biologically meaningful multi-level background signaling network. With mosGraphGen, AI model developers can directly apply and evaluate their models using these mos-graphs. We evaluated the mosGraphGen using both multi-omics datasets of cancer and Alzheimer’s disease (AD) samples. The code of mosGraphGen is open-source and publicly available via GitHub: https://github.com/Multi-OmicGraphBuilder/mosGraphGen

Abstract The integration and interpretation of multi-omics data play a crucial role in systems biology for prioritizing vital molecular targets and deciphering core signaling pathways of complex diseases, such as cancer, COVID-19 and Alzheimer’s disease. However, it remains a challenge that has not been adequately addressed. Graph neural networks (GNN) have emerged as powerful artificial intelligence models for analyzing data with a graphical structure. Nevertheless, GNN models have not been sufficiently designed for integrative and interpretable multi-omics data analysis. In this study, we propose a novel multi-scale multi-hop multi-omics GNN model, M3NetFlow , to integrate and interpret multi-omics data to rank key targets and infer core signaling pathways. Specifically, we applied the M3NetFlow model to infer cell-line-specific core signaling networks explaining drug combination response. The evaluation and comparison results on drug combination prediction showed that the M3NetFlow model achieved significantly higher prediction accuracy than existing GNN models. Furthermore, M3NetFlow can predict key targets and infer essential signaling networks regulating drug combination response. It is critical for guiding the development of personalized precision medicine for patients with drug resistance. This model can be applied to general multi-omics data-driven research. Aside from that, we developed the visualization tool, NetFlowVis , the better analysis of targets and signaling pathways of drugs and drug combinations.

Abstract Multi-omic data can better characterize complex cellular signaling pathways from multiple views compared to individual omic data. However, integrating multi-omic data to rank key disease biomarkers and infer core signaling pathways remains an open problem. Compared to other AI models, graph AI can integrate multi-omic data with large-scale signaling networks and rank biomarkers and signaling interactions using attention mechanisms. In this study, we present a novel graph AI model, mosGraphFlow , and apply it on multi-omic datasets of Alzheimer’s disease (AD). The comparison results show that the proposed model not only achieves the best classification accuracy but also identifies important AD disease biomarkers and signaling interactions. Moreover, the signaling sources are highlighted at specific omic levels to facilitate the understanding of the pathogenesis of AD. The proposed model can also be applied and expanded for other studies using multi-omic data. And the model code are uploaded via GitHub with link: https://github.com/mosGraph/mosGraphFlow

Abstract With the advent of sequencing technology, large-scale multi-omics data have been generated to understand the diversity and heterogeneity of genetic targets and associated complex signaling pathways at multiple levels in diseases, which are critical targets to guide the development of personalized precision medicine. However, it remains a challenging task to computationally mine a few essential targets and pathways from a large number of variables characterized by the multi-level multi-omics data. In this study, we proposed a novel interpretable k-hop graph attention network model, k-hop GAT, to integrate the multi-omics data to infer the essential targets and related signaling networks. We evaluated the proposed model using the multi-omics data, i.e., genetic mutation, copy number variation, methylation, gene expression data, of 332 cancer lines; and the experimentally identified essential targets. The validation and comparison results indicated that the proposed model outperformed the GAT and graph convolutional network (GCN) models.

Background: Esophageal squamous cell carcinoma (ESCC) is a gastrointestinal malignancy with high incidence. This study aimed to reveal the complete circRNA-miRNA-mRNA regulatory network in ESCC and validate its function mechanism. Method: Expression of OTU Domain-Containing Ubiquitin Aldehyde-Binding Protein 2 (OTUB2) in ESCC was analyzed by bioinformatics to find the binding sites between circRNA6448-14 and miR-455-3p, as well as miR-455-3p and OTUB2. The binding relationships were verified by RNA Immunoprecipitation (RIP) and dual-luciferase assay. The expressions of circRNA6448-14, miR-455-3p, and OTUB2 were detected by quantitative real-time polymerase chain reaction (qRT-PCR). MTT assay measured cell viability, and the spheroid formation assay assessed the ability of stem cell sphere formation. Western blot (WB) determined the expression of marker proteins of stem cell surface and rate-limiting enzyme of glycolysis. The Seahorse XFe96 extracellular flux analyzer measured the rate of extracellular acidification rate and cellular oxygen consumption. Corresponding assay kits assessed cellular glucose consumption, lactate production, and adenosine triphosphate (ATP) generation. Results: In ESCC, circRNA6448-14 and OTUB2 were highly expressed in contrast to miR-455-3p. Knocking down circRNA6448-14 could prevent the glycolysis and stemness of ESCC cells. Additionally, circRNA6448-14 enhanced the expression of OTUB2 by sponging miR-455-3p. Overexpression of OTUB2 or silencing miR-455-3p reversed the inhibitory effect of knockdown of circRNA6448-14 on ESCC glycolysis and stemness. Conclusion: This research demonstrated that the circRNA6448-14/miR-455-3p/OTUB2 axis induced the glycolysis and stemness of ESCC cells. Our study revealed a novel function of circRNA6448-14, which may serve as a potential therapeutic target for ESCC.

The brain fronto-parietal regions and the functional communications between them are critical in supporting working memory and other executive functions. The functional connectivity between fronto-parietal regions are modulated by working memory loads, and are shown to be modulated by a third brain region in resting-state. However, it is largely unknown that whether the third-region modulations remain the same during working memory tasks or were largely modulated by task demands. In the current study, we collected functional MRI (fMRI) data when the subjects were performing n-back tasks and in resting-state. We first used a block-designed localizer to define the fronto-parietal regions that showed higher activations in the 2-back than the 1-back condition. Next, we performed physiophysiological interaction (PPI) analysis using left and right middle frontal gyrus (MFG) and superior parietal lobule (SPL) regions, respectively, in three continuous-designed runs of resting-state, 1-back, and 2-back conditions. No regions showed consistent modulatory interactions with the seed pairs in the three conditions. Instead, the anterior cingulate cortex (ACC) showed different modulatory interactions with the right MFG and SPL among the three conditions. While increased activity of the ACC was associated with decreased functional coupling between the right MFG and SPL in resting-state, it was associated with increased functional coupling in the 2-back condition. The observed task modulations support the functional significance of the modulations of the ACC on fronto-parietal connectivity.