High-harmonic generation (HHG) traditionally combines ~100 near-infrared laser photons to generate bright, phase-matched, extreme ultraviolet beams when the emission from many atoms adds constructively. Here, we show that by guiding a mid-infrared femtosecond laser in a high-pressure gas, ultrahigh harmonics can be generated, up to orders greater than 5000, that emerge as a bright supercontinuum that spans the entire electromagnetic spectrum from the ultraviolet to more than 1.6 kilo-electron volts, allowing, in principle, the generation of pulses as short as 2.5 attoseconds. The multiatmosphere gas pressures required for bright, phase-matched emission also support laser beam self-confinement, further enhancing the x-ray yield. Finally, the x-ray beam exhibits high spatial coherence, even though at high gas density the recolliding electrons responsible for HHG encounter other atoms during the emission process.