Abstract Background Obesity is associated with alterations in the hypothalamic–pituitary–adrenal (HPA) axis. Effects of glucocorticoids on adipose tissues appear to depend on the specific adipose depot, in which they take place. In this study, we aimed to investigate the role of MRI-based adrenal gland volume as an imaging marker in association with different adipose tissue compartments. Methods The study cohort derives from the population-based research platform KORA ( Cooperative Health Research in the Augsburg Region, Germany) MRI sub-study, a cross-sectional sub-study investigating the interactions between subclinical metabolic changes and cardiovascular disease in a study sample of 400 participants. Originally, eligible subjects underwent a whole-body MRI. MRI-based segmentations were performed manually and semi-automatically for adrenal gland volume, visceral adipose tissue (VAT), subcutaneous adipose tissue (SAT), epi- and pericardial fat and renal sinus fat. Hepatic and pancreatic lipid content were measured as pancreatic proton density fraction (PDFF) and MR-spectroscopic hepatic fat fraction (HFF). Multivariable linear regression analyses were performed. Results A number of 307 participants (56.2 ± 9.1 years, 60.3% male, 14.3% with type 2 diabetes (T2DM), 30.6% with obesity, 34.2% with hypertension) were included. In multivariable analyses, strong positive associations between adrenal gland volume and VAT, total adipose tissue (TAT) as well as HFF persisted after extensive step-wise adjustment for possible metabolic confounders (VAT: beta = 0.31, 95%-CI [0.71, 0.81], p < 0.001; TAT: beta = 0.14, 95%-CI [0.06, 0.23], p < 0.001; HFF: beta = 1.17, 95%-CI [1.04, 1.31], p = 0.009). In contrast, associations between adrenal gland volume and SAT were attenuated in multivariate analysis after adjusting for BMI. Associations between pancreatic PDFF, epi- and pericardial fat and renal sinus fat were mediated to a great extent by VAT (pancreatic PDFF: 72%, epicardial adipose tissue: 100%, pericardial adipose tissue: 100%, renal sinus fat: 81.5%). Conclusion Our results found MRI-based adrenal gland volume as a possible imaging biomarker of unfavorable adipose tissue distribution, irrespective of metabolic risk factors. Thus, adrenal gland volume may serve as a potential MRI-based biomarker of metabolic changes and contributes to an individual characterization of metabolic states and individual risk stratification. Future studies should elucidate in a longitudinal study design, if and how HPA axis activation may trigger unfavorable adipose tissue distribution and whether and to which extent this is involved in the pathogenesis of manifest metabolic syndrome.