We describe our latest study of the deep convolutional residual neural networks (ResNet) for protein structure prediction, including deeper and wider ResNets, the efficacy of different input features, and improved 3D model building methods. Our ResNet can predict correct folds (TMscore>0.5) for 26 out of 32 CASP13 FM (template-free-modeling) targets and L/5 long-range contacts for these targets with precision over 80%, a significant improvement over the CASP13 results. Although co-evolution analysis plays an important role in the most successful structure prediction methods, we show that when co-evolution is not used, our ResNet can still predict correct folds for 18 of the 32 CASP13 FM targets including several large ones. This marks a significant improvement over the top co-evolution-based, non-deep learning methods at CASP13, and other non-coevolution-based deep learning models, such as the popular recurrent geometric network (RGN). With only primary sequence, our ResNet can also predict correct folds for all 21 human-designed proteins we tested. In contrast, RGN predicts correct folds for only 3 human-designed proteins and zero CASP13 FM target. In addition, we find that ResNet may fare better for the human-designed proteins when trained without co-evolution information than with co-evolution. These results suggest that ResNet does not simply denoise co-evolution signals, but instead is able to learn important sequence-structure relationship from experimental structures. This has important implications on protein design and engineering especially when evolutionary information is not available.

Abstract In this work, we establish a framework to tackle the inverse protein design problem; the task of predicting a protein’s primary sequence given its backbone conformation. To this end, we develop a generative SE(3)-equivariant model which significantly improves upon existing autoregressive methods. Conditioned on backbone structure, and trained with our novel partial masking scheme and side-chain conformation loss, we achieve state-of-the-art native sequence recovery on structurally independent CASP13, CASP14, CATH4.2, and TS50 test sets. On top of accurately recovering native sequences, we demonstrate that our model captures functional aspects of the underlying protein by accurately predicting the effects of point mutations through testing on Deep Mutational Scanning datasets. We further verify the efficacy of our approach by comparing with recently proposed inverse protein folding methods and by rigorous ablation studies.

Abstract Protein side-chain packing (PSCP), the task of determining amino acid side-chain conformations, has important applications to protein structure prediction, refinement, and design. Many methods have been proposed to resolve this problem, but their accuracy is still unsatisfactory. To address this, we present AttnPacker, an end-to-end, SE(3)-equivariant deep graph transformer architecture for the direct prediction of side-chain coordinates. Unlike existing methods, AttnPacker directly incorporates backbone geometry to simultaneously compute all amino acid side-chain atom coordinates without delegating to a rotamer library, or performing expensive conformational search or sampling steps. Tested on the CASP13 and CASP14 native and non-native protein backbones, AttnPacker predicts side-chain conformations with RMSD significantly lower than the best side-chain packing methods (SCWRL4, FASPR, Rosetta Packer, and DLPacker), and achieves even greater improvements on surface residues. In addition to RMSD, our method also achieves top performance in side-chain dihedral prediction across both data sets.

A bstract Designing protein with desirable structure and functional properties is the pinnacle of computational protein design with unlimited potentials in the scientific community from therapeutic development to combating the global climate crisis. However, designing protein macromolecules at scale remains challenging due to hard-to-realize structures and low sequence design success rate. Recently, many generative models are proposed for protein design but they come with many limitations. Here, we present a VAE-based universal protein structure generative model that can model proteins in a large fold space and generate high-quality realistic 3-dimensional protein structures. We illustrate how our model can enable robust and efficient protein design pipelines with generated conformational decoys that bridge the gap in designing structure conforming sequences. Specifically, sequences generated from our design pipeline outperform native fixed backbone design in 856 out of the 1,016 tested targets(84.3%) through AF2 validation. We also demonstrate our model’s design capability and structural pre-training potential by structurally inpainting the complementarity-determining regions(CDRs) in a set of monoclonal antibodies and achieving superior performance compared to existing methods.

Generative artificial intelligence (AI) has the potential to greatly increase the speed, quality and controllability of antibody design. Traditional de novo antibody discovery requires time and resource intensive screening of large immune or synthetic libraries. These methods also offer little control over the output sequences, which can result in lead candidates with sub-optimal binding and poor developability attributes. Several groups have introduced models for generative antibody design with promising in silico evidence, however, no such method has demonstrated de novo antibody design with experimental validation. Here we use generative deep learning models to de novo design antibodies against three distinct targets, in a zero-shot fashion, where all designs are the result of a single round of model generations with no follow-up optimization. In particular, we screen over 400,000 antibody variants designed for binding to human epidermal growth factor receptor 2 (HER2) using our high-throughput wet lab capabilities. From these screens, we further characterize 421 binders using surface plasmon resonance (SPR), finding three that bind tighter than the therapeutic antibody trastuzumab. The binders are highly diverse, have low sequence identity to known antibodies, and adopt variable structural conformations. Additionally, these binders score highly on our previously introduced Naturalness metric, indicating they are likely to possess desirable developability profiles and low immunogenicity. We open source the HER2 binders and report the measured binding affinities. These results unlock a path to accelerated drug creation for novel therapeutic targets using generative AI combined with high-throughput experimentation.

Abstract Protein complexes are vital to many biological processes and their understanding can lead to the development of new drugs and therapies. Although the structure of individual protein chains can now be predicted with high accuracy, determining the three-dimensional structure of a complex remains a challenge. Protein docking, the task of computationally determining the structure of a protein complex given the unbound structures of its components (and optionally binding site information), provides a way to predict protein complex structure. Traditional docking methods rely on empirical scoring functions and rigid body simulations to predict the binding poses of two or more proteins. However, they often make unrealistic assumptions about input structures, and are not effective at accommodating conformational flexibility or binding site information. In this work, we present DockGPT (Generative Protein Transformer for Docking), an end-to-end deep learning method for flexible and site-specific protein docking that allows conformational flexibility and can effectively make use of binding site information. Tested on multiple benchmarks with unbound and predicted monomer structures as input, we significantly outperform existing methods in both accuracy and running time. Our performance is especially pronounced for antibody-antigen complexes, where we predict binding poses with high accuracy even in the absence of binding site information. Finally, we highlight our method’s generality by extending it to simultaneously dock and co-design the sequence and structure of antibody complementarity determining regions targeting a specified epitope.