Abstract Most rock slope stability analysis methods are based on the Hoke–Brown criterion under a two‐dimensional state of stress, which somewhat ignores the effect of intermediate principal stress. In this paper, by introducing the improved three‐dimensional H‐B criterion into the Meridian plane, the tangent line of a point on the H‐B strength envelope is regarded as its instantaneous equivalent M‐C parameter. Based on this, a formula for solving the equivalent M‐C strength parameters under a three‐dimensional stress state is established to describe the shear strength parameters of rock mass, considering different stress states. Taking three kinds of rocks as examples, the influence of the intermediate principal stress on their strength parameters is analyzed. On this basis, the realization scheme of the nonlinear strength reduction method is established, the stability of the slope is studied, and an example verifies the feasibility of this method. This method fully considers the nonlinear characteristics of rock slope strength parameters under a three‐dimensional stress state and provides a solid basis for slope stability analysis.