Dialogue systems have attracted more and more attention. Recent advances on dialogue systems are overwhelmingly contributed by deep learning techniques, which have been employed to enhance a wide range of big data applications such as computer vision, natural language processing, and recommender systems. For dialogue systems, deep learning can leverage a massive amount of data to learn meaningful feature representations and response generation strategies, while requiring a minimum amount of hand-crafting. In this article, we give an overview to these recent advances on dialogue systems from various perspectives and discuss some possible research directions. In particular, we generally divide existing dialogue systems into task-oriented and non-task-oriented models, then detail how deep learning techniques help them with representative algorithms and finally discuss some appealing research directions that can bring the dialogue system research into a new frontier.

Existing solutions to task-oriented dialogue systems follow pipeline designs which introduces architectural complexity and fragility. We propose a novel, holistic, extendable framework based on a single sequence-to-sequence (seq2seq) model which can be optimized with supervised or reinforcement learning. A key contribution is that we design text spans named belief spans to track dialogue believes, allowing task-oriented dialogue systems to be modeled in a seq2seq way. Based on this, we propose a simplistic Two Stage CopyNet instantiation which emonstrates good scalability: significantly reducing model complexity in terms of number of parameters and training time by a magnitude. It significantly outperforms state-of-the-art pipeline-based methods on large datasets and retains a satisfactory entity match rate on out-of-vocabulary (OOV) cases where pipeline-designed competitors totally fail.

Recommender systems play a crucial role in our daily lives. Feed streaming mechanism has been widely used in the recommender system, especially on the mobile Apps. The feed streaming setting provides users the interactive manner of recommendation in never-ending feeds. In such a manner, a good recommender system should pay more attention to user stickiness, which is far beyond classical instant metrics and typically measured by long-term user engagement. Directly optimizing long-term user engagement is a non-trivial problem, as the learning target is usually not available for conventional supervised learning methods. Though reinforcement learning~(RL) naturally fits the problem of maximizing the long term rewards, applying RL to optimize long-term user engagement is still facing challenges: user behaviors are versatile to model, which typically consists of both instant feedback (eg. clicks) and delayed feedback (eg. dwell time, revisit); in addition, performing effective off-policy learning is still immature, especially when combining bootstrapping and function approximation. To address these issues, in this work, we introduce a RL framework --- FeedRec to optimize the long-term user engagement. FeedRec includes two components: 1)~a Q-Network which designed in hierarchical LSTM takes charge of modeling complex user behaviors, and 2)~a S-Network, which simulates the environment, assists the Q-Network and voids the instability of convergence in policy learning. Extensive experiments on synthetic data and a real-world large scale data show that FeedRec effectively optimizes the long-term user engagement and outperforms state-of-the-arts.

Both Transformer and Graph Neural Networks (GNNs) have been used in learning to rank (LTR), however, they adhere to two distinct yet complementary problem formulations, i.e., ranking score regression based on query-webpage pairs and link prediction within query-webpage bipartite graphs, respectively. Though it is possible to pre-train GNNs or Transformers on source datasets and fine-tune them subject to sparsely annotated LTR datasets separately, the source-target distribution shifts across the pairs and bipartite graphs domains make it extremely difficult to integrate these diverse models into a single LTR framework at a web-scale. We introduce the novel MPGraf model, which utilizes a modular and capsule-based pre-training approach, aiming to incorporate regression capacities from Transformers and link prediction capabilities of GNNs cohesively. We conduct extensive experiments to evaluate the performance of MPGraf using real-world datasets collected from large-scale search engines. The results show that MPGraf can outperform baseline algorithms on several major metrics. Further, we deploy and evaluate MPGraf atop a large-scale search engine with realistic web traffic via A/B tests, where we can still observe significant improvement. MPGraf performs consistently in both offline and online evaluations.

While Learning to Rank (LTR) is widely employed in web searches to prioritize pertinent webpages from the retrieved contents based on input queries, traditional LTR models stumble over two principal stumbling blocks leading to subpar performance: 1) the lack of well-annotated query-webpage pairs with ranking scores to cover search queries of various popularity, debilitating their coverage of search queries across the popularity spectrum, and 2) ill-trained models that are incapable of inducing generalized representations for LTR, culminating in overfitting. To tackle above challenges, we proposed a Generative Semi-supervised Pre-trained (GS2P) LTR model. Specifically, GS2P first generates pseudo-labels for the unlabeled samples using tree-based LTR models after a series of co-training procedures, then learns the representations of query-webpage pairs with self-attentive transformers via both discriminative and generative losses. Finally, GS2P boosts the performance of LTR through incorporating Random Fourier Features to over-parameterize the models into "interpolating regime", so as to enjoy the further descent of generalization errors with learned representations. We conduct extensive offline experiments on a publicly available dataset and a real-world dataset collected from a large-scale search engine. The results show that GS2P can achieve the best performance on both datasets, compared to baselines. We also deploy GS2P at a large-scale web search engine with realistic traffic, where we can still observe significant improvement in real-world applications.

Against the backdrop of saline soil solidification and the resource utilization of solid waste and aeolian sand in cold and arid regions, this study employs locally accessible fly ash and aeolian sand to solidify saline soil. By combining unconfined compressive strength tests, X-ray diffraction analysis, scanning electron microscopy, orthogonal experiments, and single-factor analysis, the strength characteristics, mineral composition, and interfacial structure changes of saline soil solidified with different freeze-thaw cycles and varying amounts of fly ash, aeolian sand, and alkali activators were investigated. The effects of each factor were analyzed to determine the optimal mixture ratio and to explore the solidification mechanism.The results indicate that the unconfined compressive strength of saline soil is most significantly enhanced when solidified with a combination of fly ash, aeolian sand, and alkali activators. The optimal mixture ratio was found to be 24 % fly ash, 7 % aeolian sand, and 4.5 mol/L alkali activator. With the incorporation of these solidifying materials, the failure mode of saline soil transitions from plastic to brittle, and the stress-strain curve exhibited a strain-softening behavior. The combined solidification method demonstrated the most pronounced effect in mitigating freeze-thaw damage, with the unconfined compressive strength of the solidified soil reaching 7.01 MPa after seven freeze-thaw cycles, compared to 0.03 MPa for the untreated soil, an increase by a factor of 234.This significant enhancement is attributed to the formation of substantial gel substances, which mitigate the strength loss caused by freeze-thaw cycles. The gel locking mechanism between particles in the solidified soil far exceeds the detrimental effects of freeze-thaw cycles, effectively inhibiting freeze-thaw deterioration. Additionally, the reaction pathways involving AFt and AFm phases reduce the content of SO42- and Cl- in the solidified soil, effectively suppressing salt expansion and significantly improving the soil's strength.

Overburden bed separation grouting is a green mining method to control surface subsidence and protect surface buildings (structures). The performance of cementitious grouting material is the key factor affecting grouting filling. Although offering good fluidity and low cost, the fly ash (FA) slurry demands a significant water supply, undergoes high dehydration rates, and lacks cementing property. These factors result in low grouting efficiency and negatively impact the safety of operations in complex-structure areas. This work developed a CBF + D series all-solid-waste cementitious grouting filling material with blast furnace slag (BFS), FA, carbide slag (CS), desulfurization gypsum (DG), and calcium chloride (CaCl2) as components. Based on the orthogonal test, the basic performance test of the grouting material was carried out using macroscopic and microscopic test methods. The influences of the water–cement ratio, the mass ratio of BFS to FA, the proportion of CS, and the proportion of DG on the slurry density, fluidity, water extraction rate, and uniaxial compressive strength (UCS) of the stone body were assessed. The material’s hydration mechanism was analyzed by combining X-ray diffraction (XRD) and scanning electron microscopy (SEM) microscopic experiments. The optimal parameters for this test were as follows: a water–cement ratio of 0.7, a mass ratio of BFS to FA of 3:1, a proportion of CS of 40%, and a proportion of DG of 4%. Under the optimal conditions, the density of the slurry was 1.41 g·cm−3, with a fluidity of 15.7 cm, a water extraction rate of 0.107, and a UCS of the stone body of 6.25 MPa. The water extraction rate of the slurry is 67% lower than that of the FA slurry and the slurry has good cementation performance, while still maintaining its fluidity. This significantly enhanced the safety and applicability of the grouting filling process. In addition, CBF + D series all-solid-waste cementitious materials have solved the large accumulation of industrial wastes such as FA, BFS, and CS, which maximized the resource utilization rate of these wastes and brought significant economic benefits.