Harlan M. Krumholz, MD, SM; Theodora Bloom, PhD; Richard Sever, PhD; Claire Rawlinson, BSc; John R. Inglis, PhD; Joseph S. Ross, MD, MHS

Abstract To gain insight into changes of scholarly journals’ recommendations, we conducted a systematic review of studies that analysed journals’ Instructions to Authors (ItAs). We summarised results of 153 studies, and meta-analysed how often ItAs addressed: 1) authorship, 2) conflicts of interest, 3) data sharing, 4) ethics approval, 5) funding disclosure, and 6) International Committee of Medical Journal Editors’ Uniform Requirements for Manuscripts. For each topic we found large between-study heterogeneity. Here, we show six factors that explained most of that heterogeneity: 1) time (addressing of topics generally increased over time), 2) country (large differences found between countries), 3) database indexation (large differences found between databases), 4) impact factor (topics were more often addressed in highest than in lowest impact factor journals), 5) discipline (topics were more often addressed in Health Sciences than in other disciplines), and 6) sub-discipline (topics were more often addressed in general than in sub-disciplinary journals).

To assess how authors would describe their contribution to the submitted manuscript without reference to or requirement to satisfy authorship criteria of the International Committee of Medical Journal Editors (ICMJE), we analyzed responses of authors to an open-ended question "Why do you think you should be the author on this manuscript?".Responses of authors (n=1425) who submitted their manuscripts (n=345) to the Croatian Medical Journal, an international general medical journal, from March 2009 until July 2010 were transcribed and matched to ICMJE criteria. Statements that could not be matched were separately categorized. Responses according to the number of authors or their byline position on the manuscript were analyzed using Mann-Whitney U test and Moses test of extreme reactions.The number of authors per manuscript ranged from 1 to 26 (median=4, IQR=3-6), with the median of 2 contributions per author (IQR=2-3). Authors' responses could be matched to the ICMJE criteria in 1116 (87.0%) cases. Among these, only 15.6% clearly declared contributions from all 3 ICMJE criteria; however, if signing of the authorship form was taken as the fulfillment of the third ICMJE criterion, overall fraction of deserving authorship was 54.2%. Non-ICMJE contributions were declared by 98 (7.6%) authors whose other contributions could be matched to ICMJE criteria, and by 116 (13.0%) authors whose contributions could not be matched to ICMJE criteria. The most frequently reported non-ICMJE contribution was literature review. Authors on manuscripts with more than 8 authors declared more contributions than those on manuscript with 8 or fewer authors: median 2, IQR 1-4, vs. median 2, IQR 1-3, respectively (Mann Whitney U test, p=0.001; Moses Test of Extreme Reactions, p<0.001). Almost a third of single authors (n=9; 31.0%) reported contributions that could not be matched to any ICMJE criterion.In cases of multi-author collaborative efforts but not in manuscripts with fewer authors open-ended authorship declaration without instructions on ICMJE criteria elicited responses from authors that were similar to responses when ICMJE criteria were explicitly required. Current authorship criteria and the practice of contribution declaration should be revised in order to capture deserving authorship in biomedical research.

There are a few studies of alignment between different knowledge-indices for evidence-based medicine (EBM). The aim of this study was to investigate whether the type of test used to assess knowledge of EBM affects the estimation of this knowledge in medical students. Medical students enrolled in 1-week EBM course were tested with the Fresno, Berlin, and ACE tests at the beginning and the end of the course. We evaluated the ability of these tests to detect a change in the acquired level of EBM knowledge and compared the estimates of change with those of the Control group that was tested with the ACE and Berlin tests before and after an unrelated non-EBM course. The distributions of test scores and average item difficulty indices were compared among the tests and the groups. Test scores improved on all three tests when compared with their pre-test results and the control. Students had on average a "good" performance on the ACE test, "sufficient" performance on the Berlin test, and "insufficient" performance or have "not passed" on the Fresno test. The post-test improvements in performance on the Fresno test (median 31% increase in percent scores, 95% confidence interval (CI) 25–42%) outperformed those on the ACE (13, 95% CI 13–20%) and Berlin tests (13, 95% CI 7–20%). Post-test score distributions demonstrated that the ACE test had less potential to discriminate between levels of EBM knowledge than other tests. The use of different EBM tests resulted in different assessment of general EBM knowledge in a sample of graduate medical students, with lowest results on the Fresno and highest on the ACE test. In the light of these findings, EBM knowledge assessment should be based on the course's content and learning objectives.

The aim of this article is to present the introduction of a mandatory, vertically integrated course in research methodology into medical curriculum. At the School of Medicine in Split (Croatia) we organized this course in 2010, with the total of 270 hours in the 6-year curriculum. In the first year (50 hours) students learned basic principles of scientific method, structure of scientific article, basic statistical concepts, data analysis, interpretation and presentation. In the second year (25 hours) students applied the knowledge from the first year in real examples of research data to answer a research hypothesis and present the results and conclusions. Students were guided through the process of making a hypothesis, analyzing data, interpreting them, constructing tables and figures, and writing a short research report. At the end of the course they formally presented the results to other students and course teachers, using PowerPoint slides. The third year (25 hours) was devoted to mastering concepts and basic skills of evidencebased medicine (EBM). The course in the fourth year (25 hours) was integrated with the clinical courses (internal medicine, neurology, and psychiatry) and structured as a "journal club". In the fifth year (25 hours), the teaching was devoted to developing a research plan for the graduation thesis that the students had to conduct during the sixth year. The sixth year (120 hours) was devoted to the execution of research planned in the fifth year, including data collection, data analysis, interpretation, and thesis writing and defense.The new course succeeded in increasing students' knowledge and skills for critical thinking and EBM, and prepared them for life-long learning in medicine.

Dear SirAs journal editors committed to publishing research from developing countries, we have repeatedly witnessed the problems of research communities from the “scientific periphery” – defined by...

Abstract In light of the recent increase in the number of preprints and preprints servers, as well as calls for transparent reporting of research, we conducted a cross-sectional analysis of 57 preprint servers’ websites for information on their policies, submission requirements, and transparency in reporting and research integrity recommendations. All servers specified their scope, and a large majority mentioned they apply moderation or screening procedures (n=47, 82%). Out of 18 analysed topics on transparency in reporting and research integrity, the servers addressed a median of 1 (IQR 1 to 3), most commonly data sharing (n=22, 39%), plagiarism (n=15, 26%) and the use of ORCID iD (n=14, 25%). Preprint servers could do more to raise awareness and encourage or require transparent reporting of research and adherence to research integrity standards. In doing so they may improve the quality and trust in the scholarly information exchange.

Objective. The ability of peer review to improve the scientific endeavour, e.g., conduct, reporting, and validity of study findings, is increasingly being questioned (Tennant & Ross-Hellauer, 2020) and calls have been made to showcase changes that occurred to each study due to peer review (Limbu, 2020). Until such transparency is achieved, our objective is to identify and collect studies that analysed differences between preprints or submitted manuscripts and peer reviewed journal articles.   Design. We identified studies based on our knowledge of the field and by checking all research at peer review conferences (presented as podium presentations or posters). We also checked references of identified studies. For all included studies we then extracted the year of publication, sampling method, conflicts of interest, funding, data and protocol sharing, number of analysed version-pairs, sample size calculation, scholarly discipline, method used to compare versions, variables (i.e., manuscript sections) analysed for changes, and metric with which the changes were quantified or qualitatively classified. Future steps will include a search of bibliographic databases (and preprint servers) and launching of an online form that will allow anyone to submit missed studies for inclusion in the review. Current findings are only descriptive, but meta-analyses are planned.  Results. Of 25 studies published from 1990 till the end of 2021, 16 analysed changes between submitted and published papers and 9 between preprints and published papers. Changes were most often analysed by filling out questionnaires or scoring each of the two manuscript versions separately (n=11) or by comparing them visually (n=6). Median number of analysed version-pairs was 59 (IQR, 41- 122). Most studies analysed changes in health (n=18) or social sciences (n=4) manuscripts. Overall, they find a very high similarity between version-pairs, with largest changes occurring in introduction and discussion sections.  Conclusions. Current results indicate that submitted or pre-printed manuscript versions and their peer-reviewed journal version are very similar, with main (analysis) methods and main findings rarely changing. Quantification of these results is pending. Large differences between studies, type of changes, and methods with which they were measured indicate greater need for collaboration in the peer-review field and for core outcome measures for manuscript version changes.