Magnetic nanocomposites were fabricated by attaching surface-modified magnetite nanoparticles to the surface of reduced graphene oxide (rGO) in this study. By applying an external magnetic field, the rGO were highly aligned in the cement paste. The orientation factor of aligned rGO was found to be 0.71 by analyzing the polarized Raman scattering spectra. The alignment of the rGO contributed to both the mechanical and dielectric properties of the cement paste. The flexural strength of the specimen with aligned rGO improved by 48% compared with that of the cement pastes with randomly distributed rGO. The dielectric constant at 100 Hz of the specimen with aligned rGO was increased by 271% compared with that of cement pastes with randomly distributed rGO. A modified rule of mixtures was proposed to predict their mechanical and dielectric properties. This study offers insight on the development of nanofiller-incorporated cement-based materials with enhanced mechanical and dielectric properties.