Deep supervised learning algorithms typically require a large volume of labeled data to achieve satisfactory performance. However, the process of collecting and labeling such data can be expensive and time-consuming. Self-supervised learning (SSL), a subset of unsupervised learning, aims to learn discriminative features from unlabeled data without relying on human-annotated labels. SSL has garnered significant attention recently, leading to the development of numerous related algorithms. However, there is a dearth of comprehensive studies that elucidate the connections and evolution of different SSL variants. This paper presents a review of diverse SSL methods, encompassing algorithmic aspects, application domains, three key trends, and open research questions. Firstly, we provide a detailed introduction to the motivations behind most SSL algorithms and compare their commonalities and differences. Secondly, we explore representative applications of SSL in domains such as image processing, computer vision, and natural language processing. Lastly, we discuss the three primary trends observed in SSL research and highlight the open questions that remain. A curated collection of valuable resources can be accessed at https://github.com/guijiejie/SSL.

ABSTRACT Biomarker-assisted preclinical/early detection and intervention in Alzheimer’s disease (AD) may be the key to therapeutic breakthroughs. One of the presymptomatic hallmarks of AD is the accumulation of beta-amyloid (Aβ) plaques in the human brain. However, current methods to detect Aβ pathology are either invasive (lumbar puncture) or quite costly and not widely available (amyloid PET). Our prior studies show that MRI-based hippocampal multivariate morphometry statistics (MMS) are an effective neurodegenerative biomarker for preclinical AD. Here we attempt to use MRI-MMS to make inferences regarding brain Aβ burden at the individual subject level. As MMS data has a larger dimension than the sample size, we propose a sparse coding algorithm, Patch Analysis-based Surface Correntropy-induced Sparse coding and max-pooling (PASCS-MP), to generate a low-dimensional representation of hippocampal morphometry for each subject. Then we apply these individual representations and a binary random forest classifier to predict brain Aβ positivity for each person. We test our method in two independent cohorts, 841 subjects from the Alzheimer’s Disease Neuroimaging Initiative (ADNI) and 260 subjects from the Open Access Series of Imaging Studies (OASIS). Experimental results suggest that our proposed PASCS-MP method and MMS can discriminate Aβ positivity in people with mild cognitive impairment (MCI) (Accuracy (ACC)=0.89 (ADNI)) and in cognitively unimpaired (CU) individuals (ACC=0.79 (ADNI) and ACC=0.81 (OASIS)). These results compare favorably relative to measures derived from traditional algorithms, including hippocampal volume and surface area, shape measures based on spherical harmonics (SPHARM), and our prior Patch Analysis-based Surface Sparse-coding and Max-Pooling (PASS-MP) methods.

Response generation is the task of automatically generating human-like content based on the provided context. One of its prominent applications is to simulate realistic response content for social network posts. In the digital age, social network platforms play a vital role in information exchange and social interaction. This study focuses on response generation techniques for the platform of public opinion evolution simulation that simulate realistic response content, enabling a deeper understanding of the emotional expressions of network users. Recent advancements in deep learning techniques, particularly the sequence-to-sequence (Seq2Seq) model, have shown promise in the response generation field. However, we still face two challenges: content variety, topic and emotion relevancy. To this end, we propose the EmoTG-ETRS model which comprises three parts. The first is a response generation module based on Transformer architecture. Then, an auxiliary emotion improvement module is incorporated to enhance the emotional expressiveness of the response candidates. Finally, a reverse selection module, which combines maximum mutual information (MMI) evaluation, emotional expression evaluation, and topic consistency evaluation, is devised to select the highest-scoring response. Extensive experiments have been conducted to evaluate the effectiveness of the proposed model and the results demonstrate that the EmoTG-ETRS model improves the quality of produced replies in terms of topic consistency and emotional accuracy rate when compared with the SOTA research works.

Point cloud registration (PCR) involves determining a rigid transformation that aligns one point cloud to another. Despite the plethora of outstanding deep learning (DL)-based registration methods proposed, comprehensive and systematic studies on DL-based PCR techniques are still lacking. In this paper, we present a comprehensive survey and taxonomy of recently proposed PCR methods. Firstly, we conduct a taxonomy of commonly utilized datasets and evaluation metrics. Secondly, we classify the existing research into two main categories: supervised and unsupervised registration, providing insights into the core concepts of various influential PCR models. Finally, we highlight open challenges and potential directions for future research. A curated collection of valuable resources is made available at https://github.com/yxzhang15/PCR.

This study addresses resilient human-in-the-loop (HiTL) formation-tracking of multi-UAV systems against  $f$  -local Byzantine attacks. In the HiTL settings, a human operator plays a key role in detecting any physical hazard, monitoring the whole UAV swarm, and sending secure execution signals to a non-autonomous leader UAV. Moreover, there exists a fraction of Byzantine UAVs in the multi-UAV systems, which propagate incorrect information to their neighbors (called Byzantine edge attacks (BEAs)) and adopt false input signals (called Byzantine node attacks (BNAs)) when swarming. In order to suppress the above aggressive Byzantine attacks, this paper proposes a Byzantine-resilient hierarchical control scheme, including a virtual Digital Twin Layer (DTL) apart from a Cyber-Physical Layer (CPL). First, a distributed resilient estimation scheme is proposed on the DTL, which can realize resilient estimation on the state of the non-autonomous leader UAV against BEAs on the premise that the DTL topology is strongly  $(2f+1)$  -robust. Second, a series of decentralized and chattering-free controllers is formulated on the CPL, which is resilient to both BNAs and inter-layered faults. The asymptotical control performance of the above controllers is strictly proven based on Cromwell-Bellman Lemma. To demonstrate the practicality of the theoretical results, a resilient HiTL multi-UAV systems experiment has been further conducted. The experimental results verify the effectiveness and practicality of the designed two-layered controllers against  $f$  -local Byzantine attacks. Note to Practitioners —Owing to the wide application of multi-UAV systems, the resilience of the whole swarm against malicious attacks has grasped the great attention of both academia and industry. This work considers a rather aggressive kind of attacks, named Byzantine attacks, where a fraction of unidentified UAVs act as traitors. Inspired by the digital twin technology, a two-layered control architecture for multi-UAV systems is formatted, including a Digital Twin Layer (DTL) and a Cyber-Physical Layer (CPL). Here are the highlights: 1) Control Architecture: The DTL handles Byzantine edge attacks (BEAs), while the CPL addresses Byzantine node attacks (BNAs), ensuring reliable human-swarm cooperation in adversarial environments. 2) Resilient Estimation against BEAs: A novel resilient estimation scheme on the DTL is designed, using edge-based feedback, which can estimate the states of the leader UAV manipulated by human operators. 3) Adaptive Controller against BNAs and Inter-layered Faults: On the CPL, a decentralized adaptive controller with adjustable and exponential convergence is proposed, enhancing its precision and flexibility. 4) Practical Application: A UAV swarm formation-tracking experiment validates the control architecture's effectiveness in human-in-the-loop scenarios, demonstrating its practicality in the realm of swarm robotics and human-swarm interaction.

Background: miRBase is the primary repository for published miRNA sequence and annotation data, and serves as the "go-to" place for miRNA research. However, the definition and annotation of miRNAs have been changed significantly across different versions of miRBase. The changes cause inconsistency in miRNA related data between different databases and articles published at different times. Several tools have been developed for different purposes of querying and converting the information of miRNAs between different miRBase versions, but none of them individually can provide the comprehensive information about miRNAs in miRBase and users will need to use a number of different tools in their analyses. Results: We introduce miRBaseConverter, an R package integrating the latest miRBase version 22 available in Bioconductor to provide a suite of functions for converting and retrieving miRNA name (ID), accession, sequence, species, version and family information in different versions of miRBase. The package is implemented in R and available under the GPL-2 license from the Bioconductor website (http://bioconductor.org/packages/miRBaseConverter/). A Shiny-based GUI suitable for non-R users is also available as a standalone application from the package and also as a web application at http://nugget.unisa.edu.au:3838/miRBaseConverter. miRBaseConverter has a built-in database for querying miRNA information in all species and for both pre-mature and mature miRNAs defined by miRBase. In addition, it is the first tool for batch querying the miRNA family information. The package aims to provide a comprehensive and easy-to-use tool for miRNA research community where researchers often utilize published miRNA data from different sources. Conclusions: The Bioconductor package miRBaseConverter and the Shiny-based web application are presented to provide a suite of functions for converting and retrieving miRNA name, accession, sequence, species, version and family information in different versions of miRBase. The package will serve a wide range of applications in miRNA research and could provide a full view of the miRNAs of interest.