Expanding the application possibilities of brain-computer interfaces (BCIs) is possible through their implementation in mixed reality (MR) environments. However, visual stimuli are displayed against a realistic scene in the MR environment, which degrades BCI performance. The purpose of this study was to optimize stimulus colors in order to improve the MR-BCI system's performance. In the MR environment, a 10-command SSVEP-BCI was deployed. Various stimulus colors and background colors for the BCI system were tested and optimized in offline and online experiments. Color contrast ratios (CCRs) between stimulus and background colors were introduced to assess the performance difference among all conditions. Additionally, we proposed a cross-correlation task-related component analysis based on simulated annealing (SA-xTRCA), which can increase the signal-to-noise ratio (SNR) and detection accuracy by aligning SSVEP trials. The results of an offline experiment showed that the background and stimulus colors had a significant interaction effect that can impact system performance. A possible nonlinear relationship between CCR value and SSVEP detection accuracy exists. Online experiment results demonstrated that the system performed best with polychromatic stimulus on the colored background. The proposed SA-xTRCA significantly outperformed the other four traditional algorithms. The online average information transfer rate (ITR) achieved 57.58 ± 5.31 bits/min. This study proved that system performance can be effectively enhanced by optimizing stimulus color based on background color. In MR environments, CCR can be used as a quantitative criterion for choosing stimulus colors in BCI system design.