Angular correlations between charged trigger and associated particles are measured by the ALICE detector in p-Pb collisions at a nucleon-nucleon centre-of-mass energy of 5.02 TeV for transverse momentum ranges within 0.5 < $p_{\rm T}^{\rm assoc}$ < $p_{\rm T}^{\rm trig}$ < 4 GeV/$c$. The correlations are measured over two units of pseudorapidity and full azimuthal angle in different intervals of event multiplicity, and expressed as associated yield per trigger particle. Two long-range ridge-like structures, one on the near side and one on the away side, are observed when the per-trigger yield obtained in low-multiplicity events is subtracted from the one in high-multiplicity events. The excess on the near-side is qualitatively similar to that recently reported by the CMS collaboration, while the excess on the away-side is reported for the first time. The two-ridge structure projected onto azimuthal angle is quantified with the second and third Fourier coefficients as well as by near-side and away-side yields and widths. The yields on the near side and on the away side are equal within the uncertainties for all studied event multiplicity and $p_{\rm T}$ bins, and the widths show no significant evolution with event multiplicity or $p_{\rm T}$. These findings suggest that the near-side ridge is accompanied by an essentially identical away-side ridge.