YT
Yu Tang
Author with expertise in Automatic Video Summarization and Analysis
Achievements
Open Access Advocate
Key Stats
Upvotes received:
0
Publications:
2
(50% Open Access)
Cited by:
1
h-index:
2
/
i10-index:
1
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

Video multimodal sentiment analysis using cross-modal feature translation and dynamical propagation

Chenquan Gan et al.May 24, 2024
Multimodal sentiment analysis on social platforms is crucial for comprehending public opinions and attitudes, thus garnering substantial interest in knowledge engineering. Existing methods like implicit interaction, explicit interaction, and cross-modal translation can effectively integrate sentiment information, but they encounter challenges in establishing efficient emotional correlations across modalities due to data heterogeneity and concealed emotional relationships. To tackle this issue, we propose a video multimodal sentiment analysis model called PEST, which leverages cross-modal feature translation and a dynamic propagation model. Specifically, cross-modal feature translation translates textual, visual, and acoustic features into a common feature space, eliminating heterogeneity and enabling initial modal interaction. Additionally, the dynamic propagation model facilitates in-depth interaction and aids in establishing stable and reliable emotional correlations across modalities. Extensive experiments on the three multimodal sentiment datasets, CMU-MOSI, CMU-MOSEI, and CH-SIMS, demonstrate that PEST exhibits superior performance in both word-aligned and unaligned settings.
0
Citation1
0
Save
0

KLMS‐Net: Deep unrolling for kernel least mean square algorithm

Yu Tang et al.Jan 1, 2025
Abstract The performance of the kernel least mean square (KLMS) algorithm heavily depends on the utilized kernel function and its associated parameters. To address this inherent limitation, this letter proposes a novel network framework based on the deep unrolling of KLMS (KLMS‐Net). KLMS‐Net transforms the iterative process of KLMS into the forward propagation of deep neural networks (DNNs), which learn the implicit feature mappings in a model‐driven manner, providing DNNs with explicit interpretability. Compared to standalone DNNs, KLMS‐Net compresses the size of the solution space of DNNs within the mathematical framework of KLMS. Through prediction experiments on nonlinear systems across various scenarios, KLMS‐Net exhibits significantly enhanced convergence speed and prediction accuracy, achieving improvements of approximately two orders of magnitude compared to the original KLMS and standalone DNNs. These findings highlight the substantial potential of KLMS‐Net in processing data with complex nonlinear structures and connect the fields of kernel adaptive filtering and deep learning.