SUMMARY Sex chromosomes fall into three classes: XX/XY, ZW/ZZ and U/V systems. The rise, evolution and demise of U/V systems have remained enigmatic to date. Here, we analyze genomes spanning the entire brown algal phylogeny to decipher their sex-determination evolutionary history. The birth of U/V sex chromosomes evolved more than 250 million years ago, when a pivotal male-determinant located in a discrete region in proto-U and proto-V chromosomes ceased recombining. Over time, nested inversions led to step-wise expansions, accompanying increasing morphological complexity and sexual differentiation of brown seaweeds. Unlike XX/XY and ZW/ZZ, U/V evolve mainly by gene gain, showing minimal degeneration. They are structurally dynamic, and act as genomic ’cradles’ fostering the birth of new genes. Our analyses show that hermaphroditism arose from ancestral males that acquired U-specific genes by ectopic recombination, and that in the transition from a U/V to an XX/XY system, V-specific genes moved down the genetic hierarchy of sex determination. Both events lead to the demise of U and V and erosion of their specific genomic characteristics. Taken together, our findings offer a comprehensive model of U/V sex chromosome evolution. HIGHLIGHTS Sexes arose in brown algae due to ceased recombination of a male-determining gene-containing region U/V sex chromosomes evolve via gene gain and act as ‘cradles’ of genomic novelty Emergence of XX/XY chromosomes involved demotion of the V-master sex-determining gene Introgression of female-specific genes into a male background allowed hermaphroditism to arise