We present the next generation of MobileNets based on a combination of complementary search techniques as well as a novel architecture design. MobileNetV3 is tuned to mobile phone CPUs through a combination of hardware-aware network architecture search (NAS) complemented by the NetAdapt algorithm and then subsequently improved through novel architecture advances. This paper starts the exploration of how automated search algorithms and network design can work together to harness complementary approaches improving the overall state of the art. Through this process we create two new MobileNet models for release: MobileNetV3-Large and MobileNetV3-Small which are targeted for high and low resource use cases. These models are then adapted and applied to the tasks of object detection and semantic segmentation. For the task of semantic segmentation (or any dense pixel prediction), we propose a new efficient segmentation decoder Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP). We achieve new state of the art results for mobile classification, detection and segmentation. MobileNetV3-Large is 3.2% more accurate on ImageNet classification while reducing latency by 20% compared to MobileNetV2. MobileNetV3-Small is 6.6% more accurate compared to a MobileNetV2 model with comparable latency. MobileNetV3-Large detection is over 25% faster at roughly the same accuracy as MobileNetV2 on COCO detection. MobileNetV3-Large LRASPP is 34% faster than MobileNetV2 R-ASPP at similar accuracy for Cityscapes segmentation.

We introduce the MovieQA dataset which aims to evaluate automatic story comprehension from both video and text. The dataset consists of 14,944 questions about 408 movies with high semantic diversity. The questions range from simpler "Who" did "What" to "Whom", to "Why" and "How" certain events occurred. Each question comes with a set of five possible answers, a correct one and four deceiving answers provided by human annotators. Our dataset is unique in that it contains multiple sources of information – video clips, plots, subtitles, scripts, and DVS [32]. We analyze our data through various statistics and methods. We further extend existing QA techniques to show that question-answering with such open-ended semantics is hard. We make this data set public along with an evaluation benchmark to encourage inspiring work in this challenging domain.

In this work, we introduce Panoptic-DeepLab, a simple, strong, and fast system for panoptic segmentation, aiming to establish a solid baseline for bottom-up methods that can achieve comparable performance of two-stage methods while yielding fast inference speed. In particular, Panoptic-DeepLab adopts the dual-ASPP and dual-decoder structures specific to semantic, and instance segmentation, respectively. The semantic segmentation branch is the same as the typical design of any semantic segmentation model (e.g., DeepLab), while the instance segmentation branch is class-agnostic, involving a simple instance center regression. As a result, our single Panoptic-DeepLab simultaneously ranks first at all three Cityscapes benchmarks, setting the new state-of-art of 84.2% mIoU, 39.0% AP, and 65.5% PQ on test set. Additionally, equipped with MobileNetV3, Panoptic-DeepLab runs nearly in real-time with a single 1025x2049 image (15.8 frames per second), while achieving a competitive performance on Cityscapes (54.1 PQ% on test set). On Mapillary Vistas test set, our ensemble of six models attains 42.7% PQ, outperforming the challenge winner in 2018 by a healthy margin of 1.5%. Finally, our Panoptic-DeepLab also performs on par with several top-down approaches on the challenging COCO dataset. For the first time, we demonstrate a bottom-up approach could deliver state-of-the-art results on panoptic segmentation.

We present MaX-DeepLab, the first end-to-end model for panoptic segmentation. Our approach simplifies the current pipeline that depends heavily on surrogate sub-tasks and hand-designed components, such as box detection, non-maximum suppression, thing-stuff merging, etc. Although these sub-tasks are tackled by area experts, they fail to comprehensively solve the target task. By contrast, our MaX-DeepLab directly predicts class-labeled masks with a mask transformer, and is trained with a panoptic quality inspired loss via bipartite matching. Our mask transformer employs a dual-path architecture that introduces a global memory path in addition to a CNN path, allowing direct communication with any CNN layers. As a result, MaX-DeepLab shows a significant 7.1% PQ gain in the box-free regime on the challenging COCO dataset, closing the gap between box-based and box-free methods for the first time. A small variant of MaX-DeepLab improves 3.0% PQ over DETR with similar parameters and M-Adds. Furthermore, MaX-DeepLab, without test time augmentation, achieves new state-of-the-art 51.3% PQ on COCO test-dev set.

The goal of this paper is to perform 3D object detection in the context of autonomous driving.Our method aims at generating a set of high-quality 3D object proposals by exploiting stereo imagery.We formulate the problem as minimizing an energy function that encodes object size priors, placement of objects on the ground plane as well as several depth informed features that reason about free space, point cloud densities and distance to the ground.We then exploit a CNN on top of these proposals to perform object detection.In particular, we employ a convolutional neural net (CNN) that exploits context and depth information to jointly regress to 3D bounding box coordinates and object pose.Our experiments show significant performance gains over existing RGB and RGB-D object proposal methods on the challenging KITTI benchmark.When combined with the CNN, our approach outperforms all existing results in object detection and orientation estimation tasks for all three KITTI object classes.Furthermore, we experiment also with the setting where LIDAR information is available, and show that using both LIDAR and stereo leads to the best result.

This paper proposes a deep learning architecture based on Residual Network that dynamically adjusts the number of executed layers for the regions of the image. This architecture is end-to-end trainable, deterministic and problem-agnostic. It is therefore applicable without any modifications to a wide range of computer vision problems such as image classification, object detection and image segmentation. We present experimental results showing that this model improves the computational efficiency of Residual Networks on the challenging ImageNet classification and COCO object detection datasets. Additionally, we evaluate the computation time maps on the visual saliency dataset cat2000 and find that they correlate surprisingly well with human eye fixation positions.

NiCoP cone-shaped nanowire arrays as an efficient and stable bifunctional electrocatalyst for overall water splitting.

Abstract Due to their high conductivity and low cost, carbon materials have attracted great attention in the field of energy storage, especially as anode material for sodium ion batteries. Current research focuses on introducing external defects through heteroatom engineering to improve the sodium storage performance of carbon materials. However, there is still a lack of systematic investigation of the effects of intrinsic defects prevalent in carbon materials on sodium storage performance. Herein, template‐assisted method was used to design carbon materials with different degrees of intrinsic defects and explore their sodium storage properties. The experimental results show that the intrinsic defects in the carbon materials facilitates the adsorption behavior of Na + during the surface induction capacitance process. Among them, the best carbon anode material exhibits high reversible capacity (221 mAh g −1 at 1 A g −1 ) and excellent rate performance. In addition, the density functional theory calculations also show that the existence of intrinsic defects can optimize the distribution of electron density, thereby increasing the Na‐adsorption capacity. This work makes an important contribution to understanding the role of intrinsic defects in the sodium storage performance of carbon materials.

Abstract Red phosphorus is a promising photocatalyst with wide visible‐light absorption up to 700 nm, but the fast charge recombination limits its photocatalytic hydrogen evolution reaction (HER) activity. Now, [001]‐oriented Hittorf's phosphorus (HP) nanorods were successfully grown on polymeric carbon nitride (PCN) by a chemical vapor deposition strategy. Compared with the bare PCN and HP, the optimized PCN@HP hybrid exhibited a significantly enhanced photocatalytic activity, with HER rates reaching 33.2 and 17.5 μmol h −1 from pure water under simulated solar light and visible light irradiation, respectively. It was theoretically and experimentally indicated that the strong electronic coupling between PCN and [001]‐oriented HP nanorods gave rise to the enhanced visible light absorption and the greatly accelerated photoinduced electron–hole separation and transfer, which benefited the photocatalytic HER performance.

Solar light driven hydrogen production from water splitting and oxidation of biomass-derivatives is attractive for the conversion of solar energy to high value-added chemicals. The fabrication of heterostructure photocatalysts with matched band structure between two semiconductors is a promising approach for efficient photocatalysis. In this work, a novel In2O3/In2S3 heterostructured hollow fiber photocatalyst was successfully fabricated through two-step ion exchange and chemical bath deposition methods, where the In2S3 nanoparticles (NPs) anchored on the surface of In2O3 hollow fibers via strong interfacial interaction between the In2O3 (222) and In2S3 (220) facets. The photocatalyst was used for efficient visible-light-driven photocatalytic hydrogen production integrated with selective oxidation of 5-hydroxymethylfurfural (HMF) to 2,5-diformylfuran (DFF). Compared with pristine In2O3 and In2S3, the optimal In2O3/In2S3 heterostructure exhibits an enhanced photocatalytic hydrogen production rate (111.2 μmol h−1 g−1), HMF conversion efficiency (56%) and DFF selectivity (68%) under visible light irradiation. The experimental and theoretical investigations illustrate the phase interface between well matched In2O3 (222) and In2S3 (220) facets gives rise to facilitated photogenerated charge separation and transfer. This study presents the development of high-performance heterostructured photocatalysts for high efficient hydrogen production coupled with biomass oxidation.