Face recognition is widely considered to be ″special″, involving dedicated brain regions with unique patterns of selectivity. This contrasts with increasing evidence for common patterns of ′visuospatial coding′, where even high-level category-selective areas share the spatial properties of earlier brain regions. Here we examined whether the retinotopic properties of face-selective areas vary around the visual field in a similar fashion to those of early visual cortex, and whether these spatial properties could explain variations in face perception around the visual field. We carried out retinotopic mapping of early (V1-V3) and face-selective cortical regions (OFA, pFus, mFus) using large-field bars of faces (21° eccentricity), with spatial selectivity measured via population receptive field (pRF) analysis. While pRFs were considerably larger in face-selective regions than in V1-V3, their size did not vary consistently either across areas or in line with behavioural anisotropies. However, both early cortex and face-selective areas show a greater number of pRFs and a concomitant increase in visual field coverage along the horizontal vs. vertical meridian and in the lower vs. upper field. Variations in our face-recognition abilities around the visual field could thus be driven by these differences in sampling. We also show that pRF numbers (and subsequent coverage) in mFus were typically greater for upright than inverted faces, suggesting these properties could similarly support the perceptual advantage for upright faces, at least in part. The commonality of these variations in visual field sampling between face-selective cortex and earlier visual regions further support a hierarchical model whereby the spatial selectivity of higher-level areas is built upon the selectivity of lower regions, even for specialised face processing.