The spatio-temporal patterning of multicellular tissues is driven by the collective dynamics of cell proliferation and active movement. These processes are mediated by the extracellular matrix environment via a combination of biomolecular and physical cues. Here we show that the passive viscoelastic properties of the matrix that encapsulate a proliferating ball of cells (e.g. a developing organoid) play a critical role in guiding tissue organization in space and time. By varying the viscoelasticity of well-defined model matrices, we show how a spheroidal tissue of breast epithelial cells breaks symmetry and forms finger-like protrusions that invade the matrix. A computational model allows us to recapitulate these observations and leads to a phase diagram that demarcates the regions of morphological stability and instability as a function of matrix viscoelasticity, tissue viscosity, cell motility and cell division rate. Experiments that use biomolecular manipulations to independently vary these parameters confirm our predictions. To further test our theory, we also study the self-organization of an in-vitro intestinal organoid and show that the morphological changes of this system also fits within our paradigm. Altogether, our studies demonstrate the role of stress relaxation mechanisms in determining the dynamics of tissue growth and the symmetry breaking instabilities associated with branching, a fundamental process in morphogenesis and oncogenesis, and suggest ways of controlling tissue form using the extracellular matrix.