Phenotype information is crucial for the interpretation of genomic variants. So far it has only been accessible for bioinformatics workflows after encoding into clinical terms by expert dysmorphologists. Here, we introduce an approach, driven by artificial intelligence that uses portrait photographs for the interpretation of clinical exome data. We measured the value added by computer-assisted image analysis to the diagnostic yield on a cohort consisting of 679 individuals with 105 different monogenic disorders. For each case in the cohort we compiled frontal photos, clinical features and the disease-causing mutations and simulated multiple exomes of different ethnic backgrounds. With the additional use of similarity scores from computer-assisted analysis of frontal photos, we were able to achieve a top-10-accuracy rate for the disease-causing gene of 99 %. As this performance is significantly higher than without the information from facial pattern recognition, we make gestalt scores available for prioritization via an API.