Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -- catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, e.g. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

While feedforward deep convolutional neural networks (CNNs) have been a great success in computer vision, it is important to note that the human visual cortex generally contains more feedback than feedforward connections. In this paper, we will briefly introduce the background of feedbacks in the human visual cortex, which motivates us to develop a computational feedback mechanism in deep neural networks. In addition to the feedforward inference in traditional neural networks, a feedback loop is introduced to infer the activation status of hidden layer neurons according to the "goal" of the network, e.g., high-level semantic labels. We analogize this mechanism as "Look and Think Twice." The feedback networks help better visualize and understand how deep neural networks work, and capture visual attention on expected objects, even in images with cluttered background and multiple objects. Experiments on ImageNet dataset demonstrate its effectiveness in solving tasks such as image classification and object localization.

3D petal-like NiCo₂S₄ nanostructures have been fabricated via a simple, mild and efficient hydrothermal strategy and the growth mechanism of NiCo₂S₄ nano-petals has been investigated.

Abstract Wearable textile energy storage systems are rapidly growing, but obtaining carbon fiber fabric electrodes with both high capacitances to provide a high energy density and mechanical strength to allow the material to be weaved or knitted into desired devices remains challenging. In this work, N/O‐enriched carbon cloth with a large surface area and the desired pore volume is fabricated. An electrochemical oxidation method is used to modify the surface chemistry through incorporation of electrochemical active functional groups to the carbon surface and to further increase the specific surface area and the pore volume of the carbon cloth. The resulting carbon cloth electrode presents excellent electrochemical properties, including ultrahigh areal capacitance with good rate ability and cycling stability. Furthermore, the fabricated symmetric supercapacitors with a 2 V stable voltage window deliver ultrahigh energy densities (6.8 mW h cm −3 for fiber‐shaped samples and 9.4 mW h cm −3 for fabric samples) and exhibit excellent flexibility. The fabric supercapacitors are further tested in a belt‐shaped device as a watchband to power an electronic watch for ≈9 h, in a heart‐shaped logo to supply power for ≈1 h and in a safety light that functions for ≈1 h, indicating various promising applications of these supercapacitors.

Angiotensin-converting enzyme 2 (ACE2) is the main molecular target for coronavirus SARS-CoV-2 to enter cells. Molecularly specific tracers that bind to ACE2 with high affinity can be used to determine the tissue distribution of this important receptor, noninvasively. A novel targeting PET imaging probe, [18F]AlF-DX600-BCH, was developed to detect the in vivo expression of ACE2 and monitor response to therapy. Preclinical experiments, including biodistribution, PET imaging, and tissue section analysis, were conducted after tests of in vitro and in vivo stability and pharmacokinetics. The agent was advanced to clinical evaluation in 10 volunteers who received [18F]AlF-DX600-BCH PET/CT at 1 and 2 h after injection (NCT04542863). Preclinical results of both biodistribution and PET demonstrated [18F]AlF-DX600-BCH accumulation in rat kidney (standardized uptake value; SUVkidney/normal > 50), along with specific uptake in testes (SUVtestis/normal > 10) tissues. Kidney, gastrointestinal, and bronchial cell labeling were correlated to ACE2 positive by immunohistochemistry (IHC) staining. In clinical imaging, significant tracer accumulation was predominantly observed in the urinary and reproductive system (SUVrenal cortex = 32.00, SUVtestis = 4.56), and the conjunctiva and nasal mucosa saw elevated uptake in several cases. This work is the first report of a radioisotope probe, [18F]AlF-DX600-BCH, targeting ACE2 with promising preliminary preclinical and translational outlook, thereby demonstrating the potential of noninvasive mapping of ACE2.

The core of federated learning (FL) is to transfer data diversity and distribution knowledge of cross-client domains. Although adopted by most FL methods, model-sharing-based communication has limitations such as unstable optimization and lack of reasonable explanation. In this paper, we propose an innovative approach that exploits a highly abstract local compact representation (LCR) as a communication carrier, paving a new feasible path for FL. LCR is not only more intuitive for multiclient joint training but also insensitive to local privacy, particularly in computer vision tasks. The proposed LCR communication-based FL framework aims to improve performance, mitigate negative transfer, and enhance optimization stability. First, based on the domain adaptation theorem, in-depth theoretical proofs guarantee the contribution of representation communication from other domains, which may lead to a tighter generalization error bound of the local domain. Second, inspired by metric learning, a federated version of the triplet (FedTriplet) loss and distribution similarity reweighting aggregation are proposed to fully digest LCR from other clients and realize the LCRC-based FL framework with better explanations. Cross-client FedTriplet transferring redresses the category boundaries in local latent space, resisting overfitting. The modified Wasserstein distance is employed for reweighting aggregation to overcome the negative transfer problem caused by non-i.i.d. factors. Finally, extensive experiments on MNIST/EMNIST and successful iris recognition applications demonstrate that the proposed LCRC framework is superior in terms of accuracy compared to mainstream model-sharing-based FL methods. The visualization results also show significant improvements in the distinguishability of the representation distribution.

Fine-grained action recognition typically faces challenges with lower inter-class variances and higher intra-class variances. Supervised contrastive learning is inherently suitable for this task, as it can decrease intra-class feature distances while increasing inter-class ones. However, directly applying it into fine-grained action recognition encounters two main problems. The first problem stems from the heavy training cost associated with supervised contrastive learning, which requires numerous training epochs, each involving double augmentation views per instance. To address this issue, we propose the late-stage supervised contrastive learning (late-SC) strategy, which effectively reduces the number of training epochs needed for the contrastive learning process. The second problem is that supervised contrastive loss does not explicitly consider the semantic distances between fine-grained actions when adjusting representation distances. This results in less reasonable and efficient adjustments to the representation space. To overcome this limitation, we introduce the semantic-aware temperature adaptation (STA) mechanism, enhancing the suitability of the supervised contrastive loss for fine-grained action recognition. We conduct experiments on several benchmark datasets for fine-grained action recognition, including Epic-Kitchens-55/100, SomethingSomething-V1, and Diving48-V2. The results demonstrate that our proposed method (referred to as LSC-STA) consistently enhances performance across various base feature extractors, without introducing additional inference overhead and incurring only a marginal increase in training expenses.

Lymphocyte activation gene 3 (LAG-3) has attracted much attention as a potentially valuable immune checkpoint. Individual identification of LAG-3 expression at screening and during treatment could improve the successful implementation of anti-LAG-3 therapies. HuL13 is a human IgG1 monoclonal antibody that binds to the LAG-3 receptor in T cells. Here, we used [