Multimodal sentiment analysis on social platforms is crucial for comprehending public opinions and attitudes, thus garnering substantial interest in knowledge engineering. Existing methods like implicit interaction, explicit interaction, and cross-modal translation can effectively integrate sentiment information, but they encounter challenges in establishing efficient emotional correlations across modalities due to data heterogeneity and concealed emotional relationships. To tackle this issue, we propose a video multimodal sentiment analysis model called PEST, which leverages cross-modal feature translation and a dynamic propagation model. Specifically, cross-modal feature translation translates textual, visual, and acoustic features into a common feature space, eliminating heterogeneity and enabling initial modal interaction. Additionally, the dynamic propagation model facilitates in-depth interaction and aids in establishing stable and reliable emotional correlations across modalities. Extensive experiments on the three multimodal sentiment datasets, CMU-MOSI, CMU-MOSEI, and CH-SIMS, demonstrate that PEST exhibits superior performance in both word-aligned and unaligned settings.

Numerous deep learning (DL) methods have been proposed to identify drug-target interactions (DTIs). However, these methods often face challenges due to the diversity and complexity of drugs and proteins and the presence of noise and bias in the data. Limited labeled data and extracting meaningful features from datasets also pose difficulties. These limitations hinder the development of accurate and general deep-learning models for DTI prediction. To address these challenges, a novel framework is introduced for identifying DTIs. The framework incorporates pre-trained molecular representation models and a transformer module inspired by pre-training. By pre-training the model, it can acquire a more comprehensive feature representation, enabling it to handle the diversity and complexity of drugs and proteins effectively. Moreover, the model mitigates noise and bias in the data by learning general feature representations during pre-training, improving prediction accuracy. In addition to pre-training, a transformer mechanism called MocFormer is proposed. MocFormer extracts feature matrices from drug and protein sequences obtains decision vectors, and makes predictions based on these decision vectors. Experiments were conducted using public datasets from DrugBank to evaluate the framework9s effectiveness. The results demonstrate that the proposed framework outperforms state-of-the-art methods regarding accuracy, area under the ROC curve (AUC), recall, and the area under the precision-recall curve (AUPRC). The code for the framework can be accessed from the following GitHub repository: GitHub Repository.

Abstract Drug–target interactions is essential for advancing pharmaceuticals. Traditional drug–target interaction studies rely on labor-intensive laboratory techniques. Still, recent advancements in computing power have elevated the importance of deep learning methods, offering faster, more precise, and cost-effective screening and prediction. Nonetheless, general deep learning methods often yield low-confidence results due to the complex nature of drugs and proteins, bias, limited labeled data, and feature extraction challenges. To address these challenges, a novel two-stage pre-trained framework is proposed for drug–target interactions prediction. In the first stage, pre-trained molecule and protein models develop a comprehensive feature representation, enhancing the framework’s ability to handle drug and protein diversity. This also reduces bias, improving prediction accuracy. In the second stage, a transformer with bilinear pooling and a fully connected layer enables predictions based on feature vectors. Comprehensive experiments were conducted using public datasets from DrugBank and Epigenetic-regulators datasets to evaluate the framework’s effectiveness. The results demonstrate that the proposed framework outperforms the state-of-the-art methods regarding accuracy, area under the receiver operating characteristic curve, recall, and area under the precision-recall curve. The code is available at: https://github.com/DHCGroup/MocFormer .

Abstract Purpose Human monkeypox (MPX) is a viral infection that transmits between individuals via direct contact with animals, bodily fluids, respiratory droplets, and contaminated objects like bedding. Traditional manual screening for the MPX infection is a time‐consuming process prone to human error. Therefore, a computer‐aided MPX screening approach utilizing skin lesion images to enhance clinical performance and alleviate the workload of healthcare providers is needed. The primary objective of this work is to devise an expert system that accurately classifies MPX images for the automatic detection of MPX subjects. Methods This work presents a multi‐modal deep learning system through the fusion of convolutional neural network (CNN) and machine learning algorithms, which effectively and autonomously detect MPX‐infected subjects using skin lesion images. The proposed framework, termed MPXCN‐Net is developed by fusing deep features of three pre‐trained CNNs: MobileNetV2, DarkNet19, and ResNet18. Three classifiers—K‐nearest neighbour, support vector machine (SVM), and ensemble classifier—with various kernel functions, are used to identify infected patients. To validate the efficacy of our proposed system, we employ a publicly accessible MPX skin lesion dataset. Results By amalgamating features extracted from all three CNNs and utilizing the medium Gaussian kernel of the SVM classifier, our proposed system achieves an outstanding average classification accuracy of 90.4%. Conclusions Developed MPXCN‐Net is suitable for testing with a large diversified dataset before being used in clinical settings.