Abstract This paper emphasizes the importance of rigorous validation as a crucial, integral component of Quantitative Structure Property Relationship (QSPR) model development. We consider some examples of published QSPR models, which in spite of their high fitted accuracy for the training sets and apparent mechanistic appeal, fail rigorous validation tests, and, thus, may lack practical utility as reliable screening tools. We present a set of simple guidelines for developing validated and predictive QSPR models. To this end, we discuss several validation strategies including (1) randomization of the modelled property, also called Y‐scrambling, (2) multiple leave‐many‐out cross‐validations, and (3) external validation using rational division of a dataset into training and test sets. We also highlight the need to establish the domain of model applicability in the chemical space to flag molecules for which predictions may be unreliable, and discuss some algorithms that can be used for this purpose. We advocate the broad use of these guidelines in the development of predictive QSPR models.

Abstract The recent REACH Policy of the European Union has led to scientists and regulators to focus their attention on establishing general validation principles for QSAR models in the context of chemical regulation (previously known as the Setubal, nowadays, the OECD principles). This paper gives a brief analysis of some principles: unambiguous algorithm, Applicability Domain (AD), and statistical validation. Some concerns related to QSAR algorithm reproducibility and an example of a fast check of the applicability domain for MLR models are presented. Common myths and misconceptions related to popular techniques for verifying internal predictivity, particularly for MLR models (for instance cross‐validation, bootstrap), are commented on and compared with commonly used statistical techniques for external validation. The differences in the two validating approaches are highlighted, and evidence is presented that only models that have been validated externally, after their internal validation, can be considered reliable and applicable for both external prediction and regulatory purposes.

Quantitative structure–activity relationship modeling is one of the major computational tools employed in medicinal chemistry. However, throughout its entire history it has drawn both praise and criticism concerning its reliability, limitations, successes, and failures. In this paper, we discuss (i) the development and evolution of QSAR; (ii) the current trends, unsolved problems, and pressing challenges; and (iii) several novel and emerging applications of QSAR modeling. Throughout this discussion, we provide guidelines for QSAR development, validation, and application, which are summarized in best practices for building rigorously validated and externally predictive QSAR models. We hope that this Perspective will help communications between computational and experimental chemists toward collaborative development and use of QSAR models. We also believe that the guidelines presented here will help journal editors and reviewers apply more stringent scientific standards to manuscripts reporting new QSAR studies, as well as encourage the use of high quality, validated QSARs for regulatory decision making.

This is the 52nd report of a series of workshops organised by the European Centre for the Validation of Alternative Methods (ECVAM). The main objective of ECVAM, as defined in 1993 by its Scientific Advisory Committee, is to promote the scientific and regulatory acceptance of alternative methods which are of importance to the biosciences, and that reduce, refine or replace the use of laboratory animals. The ECVAM workshop on the quantitative structure-activity relationship applicability domain was held at ECVAM on 29 September–1 October 2004, under the chairmanship of Andrew Worth. The workshop was attended by experts from academia, industry, international organisations and regulatory authorities. The aim of the workshop was to review the state of the art of methods for identifying the domain of applicability of structure-activity relationships (SARs) and quantitative structure-activity relationships (QSARs), collectively referred to as (Q)SARs. The report is intended to provide a source of input to the development of an OECD Guidance Document on (Q)SAR Validation. The report also makes recommendations for further research needed to understand and apply the concept of the (Q)SAR applicability domain (AD).

The main utility of QSAR models is their ability to predict activities/properties for new chemicals, and this external prediction ability is evaluated by means of various validation criteria. As a measure for such evaluation the OECD guidelines have proposed the predictive squared correlation coefficient Q2F1 (Shi et al.). However, other validation criteria have been proposed by other authors: the Golbraikh-Tropsha method, r2m (Roy), Q2F2 (Schüürmann et al.), Q2F3 (Consonni et al.). In QSAR studies these measures are usually in accordance, though this is not always the case, thus doubts can arise when contradictory results are obtained. It is likely that none of the aforementioned criteria is the best in every situation, so a comparative study using simulated data sets is proposed here, using threshold values suggested by the proponents or those widely used in QSAR modeling. In addition, a different and simple external validation measure, the concordance correlation coefficient (CCC), is proposed and compared with other criteria. Huge data sets were used to study the general behavior of validation measures, and the concordance correlation coefficient was shown to be the most restrictive. On using simulated data sets of a more realistic size, it was found that CCC was broadly in agreement, about 96% of the time, with other validation measures in accepting models as predictive, and in almost all the examples it was the most precautionary. The proposed concordance correlation coefficient also works well on real data sets, where it seems to be more stable, and helps in making decisions when the validation measures are in conflict. Since it is conceptually simple, and given its stability and restrictiveness, we propose the concordance correlation coefficient as a complementary, or alternative, more prudent measure of a QSAR model to be externally predictive.

QSARINS (QSAR‐INSUBRIA) is a new software for the development and validation of multiple linear regression Quantitative Structure‐Activity Relationship (QSAR) models by Ordinary Least Squares method and Genetic Algorithm for variable selection. This program is mainly focused on the external validation of QSAR models. Various tools for explorative analysis of the datasets by Principal Component Analysis, prereduction of input molecular descriptors, splitting of datasets in training and prediction sets, detection of outliers and interpolated or extrapolated predictions, internal and external validation by different parameters, consensus modeling and various plots for visualizations are implemented. QSARINS is a user‐friendly platform for QSAR modeling in agreement with the OECD Principles and for the analysis of the reliability of the obtained predicted data. The Insubria Persistent Bioaccumulative and Toxic (PBT) Index model for the prediction of the cumulative behavior of new chemicals as PBTs is implemented. Additionally, QSARINS allows the user to validate single models, predeveloped using also different software. © 2013 Wiley Periodicals, Inc.

The evaluation of regression QSAR model performance, in fitting, robustness, and external prediction, is of pivotal importance. Over the past decade, different external validation parameters have been proposed: QF12, QF22, QF32, rm2̅, and the Golbraikh–Tropsha method. Recently, the concordance correlation coefficient (CCC, Lin), which simply verifies how small the differences are between experimental data and external data set predictions, independently of their range, was proposed by our group as an external validation parameter for use in QSAR studies. In our preliminary work, we demonstrated with thousands of simulated models that CCC is in good agreement with the compared validation criteria (except rm2) using the cutoff values normally applied for the acceptance of QSAR models as externally predictive. In this new work, we have studied and compared the general trends of the various criteria relative to different possible biases (scale and location shifts) in external data distributions, using a wide range of different simulated scenarios. This study, further supported by visual inspection of experimental vs predicted data scatter plots, has highlighted problems related to some criteria. Indeed, if based on the cutoff suggested by the proponent, rm2̅ could also accept not predictive models in two of the possible biases (location, location plus scale), while in the case of scale shift bias, it appears to be the most restrictive. Moreover, QF12 and QF22 showed some problems in one of the possible biases (scale shift). This analysis allowed us to also propose recalibrated, and intercomparable for the same data scatter, new thresholds for each criterion in defining a QSAR model as really externally predictive in a more precautionary approach. An analysis of the results revealed that the scatter plot of experimental vs predicted external data must always be evaluated to support the statistical criteria values: in some cases high statistical parameter values could hide models with unacceptable predictions.

For a predictive assessment of the aquatic toxicity of chemical mixtures, two competing concepts are available: concentration addition and independent action. Concentration addition is generally regarded as a reasonable expectation for the joint toxicity of similarly acting substances. In the opposite case of dissimilarly acting toxicants the choice of the most appropriate concept is a controversial issue. In tests with freshwater algae we therefore studied the extreme situation of multiple exposure to chemicals with strictly different specific mechanisms of action. Concentration response analyses were performed for 16 different biocides, and for mixtures containing all 16 substances in two different concentration ratios. Observed mixture toxicity was compared with predictions, calculated from the concentration response functions of individual toxicants by alternatively applying both concepts. The assumption of independent action yielded accurate predictions, irrespective of the mixture ratio or the effect level under consideration. Moreover, results even demonstrate that dissimilarly acting chemicals can show significant joint effects, predictable by independent action, when combined in concentrations below individual NOEC values, statistically estimated to elicit insignificant individual effects of only 1%. The alternative hypothesis of concentration addition resulted in overestimation of mixture toxicity, but differences between observed and predicted effect concentrations did not exceed a factor of 3.2. This finding complies with previous studies, which indicated near concentration-additive action of mixtures of dissimilarly acting substances. Nevertheless, with the scientific objective to predict multi-component mixture toxicity with the highest possible accuracy, concentration addition obviously is no universal solution. Independent action proves to be superior where components are well known to interact specifically with different molecular target sites, and provided that reliable statistical estimates of low toxic effects of individual mixture constituents can be given. With a regulatory perspective, however, fulfilment of both conditions may be regarded as an extraordinary situation, and hence concentration addition may be defendable as a pragmatic and precautionary default assumption.

Herbicidal s-triazines are widespread contaminants of surface waters. They are highly toxic to algae and other primary producers in aquatic systems. This results from their specific interference with photosynthetic electron transport. Risk assessment for aquatic biota has to consider situations of simultaneous exposure to various of these toxicants. In tests with freshwater algae we predicted and determined the toxicity of multiple mixtures of 18 different s-triazines. The toxicity parameter was the inhibition of reproduction of Scenedesmus vacuolatus. Concentration–response analyses were performed for single toxicants and for mixtures containing all 18 s-triazines in two different concentration ratios. Experiments were designed to allow a valid statistical description of the entire concentration–response relationships, including the low concentration range down to EC1. Observed effects and effect concentrations of mixtures were compared to predictions of mixture toxicity. Predictions were calculated from the concentration–response functions of individual s-triazines by applying the concepts of concentration addition and independent action (response addition) alternatively. Predictions based on independent action tend to underestimate the overall toxicity of s-triazine mixtures. In contrast, the concept of concentration addition provides highly accurate predictions of s-triazine mixture toxicity, irrespective of the effect level under consideration and the concentration ratio of the mixture components. This also holds true when the mixture components are present in concentrations below their individual NOEC values. Concentrations statistically estimated to elicit non-significant effects of only 1% still contribute to the overall toxicity. When present in a multi-component mixture they can co-operate to give a severe joint effect. Applicability of the findings obtained with s-triazines to mixtures of other contaminants in aquatic systems and consequences for risk assessment procedures are discussed.

In the last years, external validation of QSAR models was the subject of intensive debate in the scientific literature. Different groups have proposed different metrics to find "the best" parameter to characterize the external predictivity of a QSAR model. This editorial summarizes the history of parameter development for the external QSAR model validation and suggests, once again, the concurrent use of several different metrics to assess the real predictive capability of QSAR models.