Purpose: To assess the contribution of rare variants in the genetic background towards variability of neurodevelopmental phenotypes in individuals with rare copy-number variants (CNVs) and gene-disruptive mutations. Methods: We analyzed quantitative clinical information, exome-sequencing, and microarray data from 757 probands and 233 parents and siblings who carry disease-associated mutations. Results: The number of rare secondary mutations in functionally intolerant genes (second-hits) correlated with the expressivity of neurodevelopmental phenotypes in probands with 16p12.1 deletion (n=23, p=0.004) and in probands with autism carrying gene-disruptive mutations (n=184, p=0.03) compared to their carrier family members. Probands with 16p12.1 deletion and a strong family history presented more severe clinical features (p=0.04) and higher burden of second-hits compared to those with mild/no family history (p=0.001). The number of secondary variants also correlated with the severity of cognitive impairment in probands carrying pathogenic rare CNVs (n=53) or de novo mutations in disease genes (n=290), and negatively correlated with head size among 80 probands with 16p11.2 deletion. These second-hits involved known disease-associated genes such as SETD5, AUTS2, and NRXN1, and were enriched for genes affecting cellular and developmental processes. Conclusion: Accurate genetic diagnosis of complex disorders will require complete evaluation of the genetic background even after a candidate gene mutation is identified.