We consider two distinct limits of General Relativity that in contrast to thestandard non-relativistic limit can be taken at the level of theEinstein-Hilbert action instead of the equations of motion. One is anon-relativistic limit and leads to a so-called Galilei gravity theory, theother is an ultra-relativistic limit yielding a so-called Carroll gravitytheory. We present both gravity theories in a first-order formalism and showthat in both cases the equations of motion (i) lead to constraints on thegeometry and (ii) are not sufficient to solve for all of the components of theconnection fields in terms of the other fields. Using a second-order formalismwe show that these independent components serve as Lagrange multipliers for thegeometric constraints we found earlier. We point out a few noteworthydifferences between Carroll and Galilei gravity and give some examples ofmatter couplings.