Language model pre-training, such as BERT, has significantly improved the performances of many natural language processing tasks. However, pre-trained language models are usually computationally expensive, so it is difficult to efficiently execute them on resource-restricted devices. To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. By leveraging this new KD method, the plenty of knowledge encoded in a large “teacher” BERT can be effectively transferred to a small “student” TinyBERT. Then, we introduce a new two-stage learning framework for TinyBERT, which performs Transformer distillation at both the pre-training and task-specific learning stages. This framework ensures that TinyBERT can capture the general-domain as well as the task-specific knowledge in BERT. TinyBERT4 with 4 layers is empirically effective and achieves more than 96.8% the performance of its teacher BERT-Base on GLUE benchmark, while being 7.5x smaller and 9.4x faster on inference. TinyBERT4 is also significantly better than 4-layer state-of-the-art baselines on BERT distillation, with only ~28% parameters and ~31% inference time of them. Moreover, TinyBERT6 with 6 layers performs on-par with its teacher BERT-Base.

The batch removal of hexavalent chromium (Cr(VI)) from wastewater under different experimental conditions using economic adsorbents was investigated in this study. These adsorbents were produced from the pyrolysis and activation of the waste tyres (TAC) and from the pyrolysis of sawdust (SPC). The performance of these adsorbents against commercial activated carbon F400 (CAC) has also been carried out. The removal was favoured at low pH, with maximum removal at pH=2 for all types of carbon. The effects of concentration, temperature and particle size have been reported. All sorbents were found to efficiently remove Cr(VI) from solution. The batch sorption kinetics have been tested for a first-order reversible reaction, a first-order and second-order reaction. The rate constants of adsorption for all these kinetic models have been calculated. The applicability of the Langmuir isotherm for the present system has been tested at different temperatures. The thermodynamic parameters (ΔG0, Kc) obtained indicate the endothermic nature of Cr(VI) adsorption on TAC, SPC and CAC.

Quantum information tends to spread out in interacting systems, leading to thermalization as characterized by the volume-law entropy of entanglement, while local measurements that extract classical information of the state tend to interrupt the propagation of information and reduce the entanglement entropy. Can entanglement sustain repeated measurements? The authors address this question in a toy hybrid-circuit model, where qubits undergo both unitary time evolution and sporadic local measurements. The phase diagram features a stable volume-law phase of entanglement for weak measurements and an area-law phase for strong measurements. The two domains in the diagram are separated by a single second-order phase transition. Characterization of both phases as well as of the critical point are presented.

Flaxseed oil is the main component of the flaxseed and has many beneficial functions to human health. In this paper, the ultrasound-assisted extraction of oil from flaxseed is reported. The effects of some operating parameters such as ultrasonic power, extraction time, extraction temperature and solvent to solid ratio on the yield of flaxseed oil have been investigated and some of the results have been compared with that of conventional method. It has been found that ultrasound-assisted extraction requires a shorter extraction time and a reduced solvent consumption. The yield of flaxseed oil has been found to increase with the increase of the ultrasonic power and to decrease as the temperature is increased. Scanning electronic microscopy analysis was carried out on the flaxseed powder after the extraction. The images are powerful evidences to show the effect of ultrasound. The fatty acid compositions of the oils extracted by the ultrasound-assisted method and the conventional method have been analyzed using gas chromatography. It has been shown that the compositions of the flaxseed oils were not affected significantly by the application of ultrasound (p > 0.05). The ultrasound-assisted extraction may be an effective method for lipid production.

The average cash holdings of Chinese-listed firms decreased significantly after the split share structure reform in China, which specified a process that allowed previously nontradable shares held by controlling shareholders to be freely tradable on the exchanges. The reduction in cash holdings is greater for firms with weaker governance and firms facing more financial constraints prior to the reform. The reform also significantly reduced the average corporate savings rate, as measured by cash-to-cash-flow sensitivity. These findings are consistent with the premise that the reform removed a significant market friction, which led to better incentive alignment between controlling shareholders and minority shareholders and relaxed financial constraints. Additional analyses show that the reform affects firms' cash management policies, investment decisions, dividend payout policies, and financing choices differently in private firms than in state-owned enterprises.