Sequencing-based studies have identified novel risk genes for rare, severe epilepsies and revealed a role of rare deleterious variation in common epilepsies. To identify the shared and distinct ultra-rare genetic risk factors for rare and common epilepsies, we performed a whole-exome sequencing (WES) analysis of 9,170 epilepsy-affected individuals and 8,364 controls of European ancestry. We focused on three phenotypic groups; the rare but severe developmental and epileptic encephalopathies (DEE), and the commoner phenotypes of genetic generalized epilepsy (GGE) and non-acquired focal epilepsy (NAFE). We observed that compared to controls, individuals with any type of epilepsy carried an excess of ultra-rare, deleterious variants in constrained genes and in genes previously associated with epilepsy, with the strongest enrichment seen in DEE and the least in NAFE. Moreover, we found that inhibitory GABAA receptor genes were enriched for missense variants across all three classes of epilepsy, while no enrichment was seen in excitatory receptor genes. The larger gene groups for the GABAergic pathway or cation channels also showed a significant mutational burden in DEE and GGE. Although no single gene surpassed exome-wide significance among individuals with GGE or NAFE, highly constrained genes and genes encoding ion channels were among the top associations, including CACNA1G, EEF1A2, and GABRG2 for GGE and LGI1, TRIM3, and GABRG2 for NAFE. Our study confirms a convergence in the genetics of common and rare epilepsies associated with ultra-rare coding variation and highlights a ubiquitous role for GABAergic inhibition in epilepsy etiology in the largest epilepsy WES study to date.