The encoder-decoder framework for neural machine translation (NMT) has been shown effective in large data scenarios, but is much less effective for low-resource languages.We present a transfer learning method that significantly improves BLEU scores across a range of low-resource languages.Our key idea is to first train a high-resource language pair (the parent model), then transfer some of the learned parameters to the low-resource pair (the child model) to initialize and constrain training.Using our transfer learning method we improve baseline NMT models by an average of 5.6 BLEU on four low-resource language pairs.Ensembling and unknown word replacement add another 2 BLEU which brings the NMT performance on low-resource machine translation close to a strong syntax based machine translation (SBMT) system, exceeding its performance on one language pair.Additionally, using the transfer learning model for re-scoring, we can improve the SBMT system by an average of 1.3 BLEU, improving the state-of-the-art on low-resource machine translation.

The ambitious goal of this work is to develop a cross-lingual name tagging and linking framework for 282 languages that exist in Wikipedia. Given a document in any of these languages, our framework is able to identify name mentions, assign a coarse-grained or fine-grained type to each mention, and link it to an English Knowledge Base (KB) if it is linkable. We achieve this goal by performing a series of new KB mining methods: generating “silver-standard” annotations by transferring annotations from English to other languages through cross-lingual links and KB properties, refining annotations through self-training and topic selection, deriving language-specific morphology features from anchor links, and mining word translation pairs from cross-lingual links. Both name tagging and linking results for 282 languages are promising on Wikipedia data and on-Wikipedia data.

Yonatan Bisk, Ari Holtzman, Jesse Thomason, Jacob Andreas, Yoshua Bengio, Joyce Chai, Mirella Lapata, Angeliki Lazaridou, Jonathan May, Aleksandr Nisnevich, Nicolas Pinto, Joseph Turian. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020.

Karen Hambardzumyan, Hrant Khachatrian, Jonathan May. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021.

Detecting norm violations in online communities is critical to maintaining healthy and safe spaces for online discussions. Existing machine learning approaches often struggle to adapt to the diverse rules and interpretations across different communities due to the inherent challenges of fine-tuning models for such context-specific tasks. In this paper, we introduce Context-aware Prompt-based Learning for Norm Violation Detection (CPL-NoViD), a novel method that employs prompt-based learning to detect norm violations across various types of rules. CPL-NoViD outperforms the baseline by incorporating context through natural language prompts and demonstrates improved performance across different rule types. Significantly, it not only excels in cross-rule-type and cross-community norm violation detection but also exhibits adaptability in few-shot learning scenarios. Most notably, it establishes a new state-of-the-art in norm violation detection, surpassing existing benchmarks. Our work highlights the potential of prompt-based learning for context-sensitive norm violation detection and paves the way for future research on more adaptable, context-aware models to better support online community moderators.

BCL11B is a Cys2-His2 zinc-finger (C2H2-ZnF) domain-containing, DNA-binding, transcription factor with established roles in the development of various organs and tissues, primarily the immune and nervous systems. BCL11B germline variants have been associated with a variety of developmental syndromes. However, genotype-phenotype correlations along with pathophysiologic mechanisms of selected variants mostly remain elusive. To dissect these, we performed genotype-phenotype correlations of 92 affected individuals harboring a pathogenic or likely pathogenic BCL11B variant, followed by immune phenotyping, analysis of chromatin immunoprecipitation DNA-sequencing data, dual-luciferase reporter assays, and molecular modeling. These integrative analyses enabled us to define three clinical subtypes of BCL11B-related disorders. It is likely that gene-disruptive BCL11B variants and missense variants affecting zinc-binding cysteine and histidine residues cause mild to moderate neurodevelopmental delay with increased propensity for behavioral and dental anomalies, allergies and asthma, and reduced type 2 innate lymphoid cells. Missense variants within C2H2-ZnF DNA-contacting α helices cause highly variable clinical presentations ranging from multisystem anomalies with demise in the first years of life to late-onset, hyperkinetic movement disorder with poor fine motor skills. Those not in direct DNA contact cause a milder phenotype through reduced, target-specific transcriptional activity. However, missense variants affecting C2H2-ZnFs, DNA binding, and "specificity residues" impair BCL11B transcriptional activity in a target-specific, dominant-negative manner along with aberrant regulation of alternative DNA targets, resulting in more severe and unpredictable clinical outcomes. Taken together, we suggest that the phenotypic severity and variability is largely dependent on the DNA-binding affinity and specificity of altered BCL11B proteins.