Many real-world expensive industrial and engineering multi-objective optimization problems (MOPs) are driven by historical, experimental, or simulation data. In such scenarios, due to the expensive cost and time required, we are only left with a small amount of labeled data to perform the optimization. These offline data-driven MOPs are usually solved by multi-objective evolutionary algorithms (MOEAs) with the help of surrogate models constructed from offline historical data. The key challenge in developing these data-driven MOEAs is that they have to replace multiple conflicting fitness functions by approximating these objective functions, which may produce cumulative approximation errors and misguide the search. In order to build a reliable surrogate model from a small amount of multi-output offline data and solve the DDMOPs, we have proposed an adaptive model selection method with a reliable individual-based model management-driven MOEA. The proposed algorithm dynamically selects between DNN and XGBoost by comparing their k-fold cross-validation MAE error, which can capture the true generalization ability of the surrogates on unseen data. Then, the selected surrogate is updated with a reliable individual selection strategy, where the individual who is closest, both in the decision and objective space, to the most preferred solution among labeled offline data is chosen. As a result, these two strategies guide the underlying MOEA to the Pareto optimal solutions. The empirical results of the ZDT and DTLZ benchmark test suite validate the use of the three state-of-the-art offline DDMOEAs, showing that our algorithm is able to achieve highly competitive results in terms of convergence and diversity for 2–3 objectives. Finally, our algorithm is applied to an offline data-driven multi-objective problem—transonic airfoil (RAE 2822) shape optimization—to validate its efficiency on real-world DDMOPs.