YY
Yong Yang
Author with expertise in Multispectral and Hyperspectral Image Fusion
Achievements
Cited Author
Key Stats
Upvotes received:
0
Publications:
6
(17% Open Access)
Cited by:
186
h-index:
36
/
i10-index:
97
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

Multimodal Sensor Medical Image Fusion Based on Type-2 Fuzzy Logic in NSCT Domain

Yong Yang et al.Feb 23, 2016
Multimodal medical image fusion plays a vital role in different clinical imaging sensor applications. This paper presents a novel multimodal medical image fusion method that adopts a multiscale geometric analysis of the nonsubsampled contourlet transform (NSCT) with type-2 fuzzy logic techniques. First, the NSCT was performed on preregistered source images to obtain their high- and low-frequency subbands. Next, an effective type-2 fuzzy logic-based fused rule is proposed for fusion of the high-frequency subbands. In the presented fusion approach, the local type-2 fuzzy entropy is introduced to automatically select high-frequency coefficients. However, for the low-frequency subbands, they were fused by a local energy algorithm based on the corresponding image's local features. Finally, the fused image was constructed by the inverse NSCT with all composite subbands. Both subjective and objective evaluations showed better contrast, accuracy, and versatility in the proposed approach compared with state-of-the-art methods. Besides, an effective color medical image fusion scheme is also given in this paper that can inhibit color distortion to a large extent and produce an improved visual effect.
0
Citation186
0
Save
0

DFCFN: Dual-stage Feature Correction Fusion Network for Hyperspectral Pansharpening

Xiaozheng Wang et al.Jan 1, 2025
Hyperspectral (HS) pansharpening aims to fuse high-spatial-resolution panchromatic (PAN) images with low-spatial-resolution hyperspectral (LRHS) images to generate high-spatial-resolution hyperspectral (HRHS) images. Due to the lack of consideration for the modal feature difference between PAN and LRHS images, most deep leaning-based methods suffer from spectral and spatial distortions in the fusion results. In addition, most methods use upsampled LRHS images as network input, resulting in spectral distortion. To address these issues, we propose a dual-stage feature correction fusion network (DFCFN) that achieves accurate fusion of PAN and LRHS images by constructing two fusion sub-networks: a feature correction compensation fusion network (FCCFN) and a multi-scale spectral correction fusion network (MSCFN). Based on the lattice filter structure, FCCFN is designed to obtain the initial fusion result by mutually correcting and supplementing the modal features from PAN and LRHS images. To suppress spectral distortion and obtain fine HRHS results, MSCFN based on 2D discrete wavelet transform (2D-DWT) is constructed to gradually correct the spectral features of the initial fusion result by designing a conditional entropy transformer (CE-Transformer). Extensive experiments on three widely used simulated datasets and one real dataset demonstrate that the proposed DFCFN achieves significant improvements in both spatial and spectral quality metrics over other state-of-the-art (SOTA) methods. Specifically, the proposed method improves the SAM metric by 6.4%, 6.2%, and 5.3% compared to the second-best comparison approach on Pavia center, Botswana, and Chikusei datasets, respectively. The codes are made available at: https://github.com/EchoPhD/DFCFN.
0

FTSFN: A Two-stage Feature Transfer and Supplement Fusion Network for Infrared and Visible Image Fusion

Shuying Huang et al.Jan 1, 2025
Infrared and visible image fusion (IVIF) aims to fuse these two modal images to generate a single image with rich textures and clear targets. Most current deep learning-based fusion methods directly fuse the features of these two modal images, without fully considering their specific attributes, which causes the fusion image to be more inclined to contain the features of a certain modality. In this paper, a two-stage feature transfer and supplement fusion network (FTSFN) is proposed for IVIF. In the first stage, a feature transfer network (FTN) is proposed to reduce the domain gap between the two modal images by transferring the modal features from one to another. Based on the constructed FTN and the input images, two networks, FTN ir and FTN vis , are pre-trained to obtain the optimized infrared and visible features. In the second stage, a feature supplement fusion network (FSFN) is built by constructing two network branches with shared weights to achieve the fusion of the optimized features. In FSFN, two feature supplement modules, the intensity-based feature supplement module (IFSM) and gradient-based feature supplement module (GFSM), are designed to complement the intensity and texture information of the two optimized features. In addition, to better train the FTNs and FTSFN, different loss functions are defined by exploiting the domain features of the source images. Extensive experiments on the widely used fusion datasets have verified the effectiveness and superiority of the proposed FTSFN in terms of subjective perception and objective evaluation. Specifically, the proposed method can obtain fused images with better contrast and saliency information compared to other methods. In addition, our method improves the mutual information (MI) metrics by 33.3%, 10.0% and 11.6% compared to the second-best comparison approach on TNO, INO, and RoadScene datasets, respectively.
0

MFITN: A Multilevel Feature Interaction Transformer Network for Pansharpening

Changjie Chen et al.Jan 1, 2024
In this letter, to better supplement the advantages of features at different levels and improve the feature extraction ability of the network, a novel multi-level feature interaction transformer network (MFITN) is proposed for pansharpening, aiming to fuse multispectral (MS) and panchromatic (PAN) images. In MFITN, a multi-level feature interaction transformer encoding module is designed to extract and correct global multi-level features by considering the modality difference between source images. These features are then fused using the proposed multi-level feature mixing (MFM) operation, which enables features to fuse interactively to obtain richer information. Furthermore, the global features are fed into a CNN-based local decoding module to better reconstruct high-spatial-resolution multispectral (HRMS) images. Additionally, based on the spatial consistency between MS and PAN images, a band compression loss is defined to improve the fidelity of fused images. Numerous simulated and real experiments demonstrate that the proposed method has the optimal performance compared to state-of-the-art methods. Specifically, the proposed method improves the SAM metric by 7.89% and 6.41% compared to the second-best comparison approach on Pléiades and WorldView-3, respectively.