A stochastic magnetic boundary, produced by an applied edge resonant magnetic perturbation, is used to suppress most large edge-localized modes (ELMs) in high confinement ($H$-mode) plasmas. The resulting $H$ mode displays rapid, small oscillations with a bursty character modulated by a coherent 130 Hz envelope. The $H$ mode transport barrier and core confinement are unaffected by the stochastic boundary, despite a threefold drop in the toroidal rotation. These results demonstrate that stochastic boundaries are compatible with $H$ modes and may be attractive for ELM control in next-step fusion tokamaks.