The gauge theory of spin glasses and statistical-mechanical formulation oferror-correcting codes are reviewed with an emphasis on their similarities. Forthe gauge theory, we explain the functional identities on dynamicalautocorrelation functions and on the distribution functions of orderparameters. These functional identities restrict the possibilities of slowdynamics and complex structure of the phase space. An inequality forerror-correcting codes is shown to be interpreted to indicate non-monotonicityof spin orientation as a function of the temperature in spin glasses.