Abstract Structural variants (SV) are a major driver of genetic diversity and disease in the human genome and their discovery is imperative to advances in precision medicine and our understanding of human genetics. Existing SV callers rely on hand-engineered features and heuristics to model SVs, which cannot easily scale to the vast diversity of SV types nor fully harness all the information available in sequencing datasets. Since deep neural networks can learn complex abstractions directly from the data, they offer a promising approach for general SV discovery. Here we propose an extensible deep learning framework, Cue , to call and genotype SVs. At a high level, Cue converts sequence alignments to multi-channel images that capture multiple SV-informative signals and uses a stacked hourglass convolutional neural network to predict the type, genotype, and genomic locus of the SVs captured in each image. We show that Cue outperforms the state of the art in the detection of five classes of SVs (including two types of complex SVs and subclonal SVs) on synthetic and real short-read data and that it can be easily extended to other sequencing platforms, such as long and linked read sequencing technologies, while achieving competitive performance. By design, Cue can also be automatically extended to support new SV classes: this versatility is crucial as novel SV types are discovered in ongoing population-scale sequencing initiatives.