WF
Wei Fang
Author with expertise in Parallel Computing and Performance Optimization
Achievements
Cited Author
Open Access Advocate
Key Stats
Upvotes received:
0
Publications:
8
(50% Open Access)
Cited by:
1,016
h-index:
30
/
i10-index:
58
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks

Wei Fang et al.Oct 1, 2021
Spiking Neural Networks (SNNs) have attracted enormous research interest due to temporal information processing capability, low power consumption, and high biological plausibility. However, the formulation of efficient and high-performance learning algorithms for SNNs is still challenging. Most existing learning methods learn weights only, and require manual tuning of the membrane-related parameters that determine the dynamics of a single spiking neuron. These parameters are typically chosen to be the same for all neurons, which limits the diversity of neurons and thus the expressiveness of the resulting SNNs. In this paper, we take inspiration from the observation that membrane-related parameters are different across brain regions, and propose a training algorithm that is capable of learning not only the synaptic weights but also the membrane time constants of SNNs. We show that incorporating learnable membrane time constants can make the network less sensitive to initial values and can speed up learning. In addition, we reevaluate the pooling methods in SNNs and find that max-pooling will not lead to significant information loss and have the advantage of low computation cost and binary compatibility. We evaluate the proposed method for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS, DVS128 Gesture datasets. The experiment results show that the proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time-steps. Our codes are available at https://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron.
0

Auto-Spikformer: Spikformer architecture search

Kaiwei Che et al.Jul 23, 2024
Introduction The integration of self-attention mechanisms into Spiking Neural Networks (SNNs) has garnered considerable interest in the realm of advanced deep learning, primarily due to their biological properties. Recent advancements in SNN architecture, such as Spikformer, have demonstrated promising outcomes. However, we observe that Spikformer may exhibit excessive energy consumption, potentially attributable to redundant channels and blocks. Methods To mitigate this issue, we propose a one-shot Spiking Transformer Architecture Search method, namely Auto-Spikformer. Auto-Spikformer extends the search space to include both transformer architecture and SNN inner parameters. We train and search the supernet based on weight entanglement, evolutionary search, and the proposed Discrete Spiking Parameters Search (DSPS) methods. Benefiting from these methods, the performance of subnets with weights inherited from the supernet without even retraining is comparable to the original Spikformer. Moreover, we propose a new fitness function aiming to find a Pareto optimal combination balancing energy consumption and accuracy. Results and discussion Our experimental results demonstrate the effectiveness of Auto-Spikformer, which outperforms the original Spikformer and most CNN or ViT models with even fewer parameters and lower energy consumption.
0
Citation1
0
Save
0

Glioma subtype prediction based on radiomics of tumor and peritumoral edema under automatic segmentation

Xiangyu Sun et al.Nov 10, 2024
Comprehensive and non-invasive preoperative molecular diagnosis is important for prognostic and therapy decision-making in adult-type diffuse gliomas. We employed a deep learning method for automatic segmentation of brain gliomas directly from conventional magnetic resonance imaging (MRI) scans of the tumor core and peritumoral edema regions based on available glioma MRI data provided in the BraTS2021. Three-dimensional volumes of interest were segmented from 424 cases of glioma imaging data retrospectively obtained from two medical centers using the segmentation method and radiomic features were extracted. We developed a subtype prediction model based on extracted radiomic features and analyzed significance and correlations between glioma morphological characteristics and pathological features using data from patients with adult-type diffuse glioma. The automated segmentation achieved mean Dice scores of 0.884 and 0.889 for the tumor core and whole tumor, respectively. The area under the receiver operating characteristic curve for the prediction of adult-type diffuse gliomas subtypes was 0.945. "Glioblastoma, IDH-wildtype", "Astrocytoma, IDH-mutant", and "Oligodendroglioma, IDH-mutant, 1p/19q-coded" showed AUCs of 0.96, 0.914, and 0.961, respectively, for subtype prediction. Glioma morphological characteristics, molecular and pathological levels, and clinical data showed significant differences and correlations. An automatic segmentation model for gliomas based on 3D U-Nets was developed, and the prediction model for gliomas built using the parameters obtained from the automatic segmentation model showed high overall performance.
0

Design and Analysis of a Moon-Based Earth-Radiation Measurement System

Shuqi Li et al.Sep 23, 2024
This research project envisions using a lunar observation platform to measure the full-wave (0.2~100 μm) and shortwave (0.2~4.3 μm) radiation of the Earth, achieving an accurate estimation of the overall radiation budget of the Earth. Based on the lunar platform, the system analyzes Earth’s radiation characteristics and geometric attributes, as well as the sampling properties of observation times. Informed by these analyses, an Earth-facing optical radiation measurement system tailored to these specifications is designed. The optical system adopts an off-axis three-mirror configuration with a secondary image plane, incorporating a field stop at the primary image plane to effectively suppress solar stray light, scattered lunar surface light, and background radiation from the instrument itself, ensuring the satisfactory signal-to-noise ratio, detection sensitivity, and observation duration of the instrument. At the same time, stringent requirements are imposed for the surface treatments of instrument components and temperature control accuracy to further ensure accuracy. Simulation analyses confirm that the design satisfies requirements, achieving a measurement accuracy of better than 1% across the entire optical system. This Moon-based Earth-radiation measurement system, with capabilities for Earth-pointing tracking, radiation energy detection, and stray-light suppression, furnishes a more comprehensive dataset, helping to advance our understanding of the mechanisms driving global climate change