Video instance segmentation (VIS) is the task that requires simultaneously classifying, segmenting and tracking object instances of interest in video. Recent methods typically develop sophisticated pipelines to tackle this task. Here, we propose a new video instance segmentation framework built upon Transformers, termed VisTR, which views the VIS task as a direct end-to-end parallel sequence decoding/prediction problem. Given a video clip consisting of multiple image frames as input, VisTR outputs the sequence of masks for each instance in the video in order directly. At the core is a new, effective instance sequence matching and segmentation strategy, which supervises and segments instances at the sequence level as a whole. VisTR frames the instance segmentation and tracking in the same perspective of similarity learning, thus considerably simplifying the overall pipeline and is significantly different from existing approaches.Without bells and whistles, VisTR achieves the highest speed among all existing VIS models, and achieves the best result among methods using single model on the YouTube-VIS dataset. For the first time, we demonstrate a much simpler and faster video instance segmentation framework built upon Transformers, achieving competitive accuracy. We hope that VisTR can motivate future research for more video understanding tasks.Code is available at: https://git.io/VisTR

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.Code and models are available at: https://git.io/DenseCL

We present a high-performance method that can achieve mask-level instance segmentation with only bounding-box annotations for training. While this setting has been studied in the literature, here we show significantly stronger performance with a simple design (e.g., dramatically improving previous best reported mask AP of 21.1% [13] to 31.6% on the COCO dataset). Our core idea is to redesign the loss of learning masks in instance segmentation, with no modification to the segmentation network itself. The new loss functions can supervise the mask training without relying on mask annotations. This is made possible with two loss terms, namely, 1) a surrogate term that minimizes the discrepancy between the projections of the ground-truth box and the predicted mask; 2) a pairwise loss that can exploit the prior that proximal pixels with similar colors are very likely to have the same category label.Experiments demonstrate that the redesigned mask loss can yield surprisingly high-quality instance masks with only box annotations. For example, without using any mask annotations, with a ResNet-101 backbone and 3× training schedule, we achieve 33.2% mask AP on COCO test-dev split (vs. 39.1% of the fully supervised counterpart). Our excellent experiment results on COCO and Pascal VOC indicate that our method dramatically narrows the performance gap between weakly and fully supervised instance segmentation.Code is available at: https://git.io/AdelaiDet

Discovering and engineering herbicide-resistant genes is a crucial challenge in crop breeding. This study focuses on the 4-hydroxyphenylpyruvate dioxygenase Inhibitor Sensitive 1-Like (HSL) protein, prevalent in higher plants and exhibiting weak catalytic activity against many β-triketone herbicides (β-THs). The crystal structures of maize HSL1A complexed with β-THs were elucidated, identifying four essential herbicide-binding residues and explaining the weak activity of HSL1A against the herbicides. Utilizing an artificial evolution approach, we developed a series of rice HSL1 mutants targeting the four residues. Then, these mutants were systematically evaluated, identifying the M10 variant as the most effective in modifying β-THs. The initial active conformation of substrate binding in HSL1 was also revealed from these mutants. Furthermore, overexpression of M10 in rice significantly enhanced resistance to β-THs, resulting in a notable 32-fold increase in resistance to methyl-benquitrione. In conclusion, the artificially evolved M10 gene shows great potential for the development of herbicide-resistant crops.

Accurate spine segmentation is crucial in clinical diagnosis and treatment of spine diseases. However, due to the complexity of spine anatomical structure, it has remained a challenging task to accurately segment spine images. Recently, the segment anything model (SAM) has achieved superior performance for image segmentation. However, generating high-quality points and boxes is still laborious for high-dimensional medical images. Meanwhile, an accurate mask is difficult to obtain. To address these issues, in this paper, we propose a multi-atlas guided SAM using multiple pseudo mask prompts for spine image segmentation, called MA-SAM. Specifically, we first design a multi-atlas prompt generation sub-network to obtain the anatomical structure prompts. More specifically, we use a network to obtain coarse mask of the input image. Then atlas label maps are registered to the coarse mask. Subsequently, a SAM-based segmentation sub-network is used to segment images. Specifically, we first utilize adapters to fine-tune the image encoder. Meanwhile, we use a prompt encoder to learn the anatomical structure prior knowledge from the multi-atlas prompts. Finally, a mask decoder is used to fuse the image and prompt features to obtain the segmentation results. Moreover, to boost the segmentation performance, different scale features from the prompt encoder are concatenated to the Upsample Block in the mask decoder. We validate our MA-SAM on the two spine segmentation tasks, including spine anatomical structure segmentation with CT images and lumbosacral plexus segmentation with MR images. Experiment results suggest that our method achieves better segmentation performance than SAM with points, boxes, and mask prompts.

Neuroeconomics with neuroimaging is a novel approach involving economics and neuroscience. The newsvendor problem (NP) is a prevalent economics concept that may be used to map brain activations during NP-evoked risky decision making. In this study, we hypothesized that key brain regions responsible for NP are dorsolateral prefrontal cortex (DLPFC) and orbitofrontal cortex (OFC). Twenty-seven human subjects participated in the study using 40 NP trials; the participants were randomly assigned to a group with a low-profit margin (LM) or high-profit margin (HM) treatment. Cerebral hemodynamic responses were recorded simultaneously during the NP experiments from all participants with a 77-channel functional Near-infrared Spectroscopy (fNIRS) system. After data preprocessing, general linear model was applied to generate brain activation maps, followed by statistical t-tests. The results showed that: (a) DLPFC and OFC were significantly evoked by NP versus baseline regardless of treatment types; (b) DLPFC and OFC were activated by HM versus baseline; and (c) DLPFC was activated during LM versus baseline. Furthermore, significant deactivation in right DLPFC was shown due to LM with respect to HM. This study affirms that DLPFC and OFC are two key cortical regions when solving NP. In particular, right DLPFC was found to be more deactivated under challenging risk decision making.