Evaluation angenommener und abgelehnter Kongressbeiträge von Jahrestagungen der Deutschen Gesellschaft für Kardiologie – Herz- und Kreislaufforschung e.V. und deren Bezug zur Publikationsqualität

Abstract

Kongresse und Tagungen wissenschaftlicher Fachgesellschaften dienen der Vorstellung und Vertretung neuer wissenschaftlicher Erkenntnisse, der Netzwerkbildung zur Verbesserung wissenschaftlicher Zusammenarbeit. Sie stellen gleichermaßen ein Forum für Fortbildungsaktivitäten und für den Austausch zwischen jungen und etablierten Forschern mit anderen Fachgesellschaften und Industrieorganisationen dar. Insbesondere sollen Forscher ihre neuesten wissenschaftlichen Erkenntnisse vorstellen, was Publikationen in möglichst angesehenen (peer reviewed) Journalen vorbereiten soll und für junge Wissenschaftler oft einen ersten Schritt in die berufliche Karriere darstellt. Hintergrund: Die Deutsche Gesellschaft für Kardiologie - Herz- und Kreislaufforschung e.V. (DGK) führt seit 1928 (nur durch Kriegsjahre unterbrochen) ihre Jahrestagungen durch. Zwischen 2006 und 2010 wurden für die Jahrestagungen insgesamt 8.411 schriftliche Kurzzusammenfassungen (Abstracts), eingereicht. Für die anonymisierte Begutachtung stehen der Gesellschaft etwa 600 Gutachter mit besonderer Expertise in ihren verschiedenen Arbeitsgebieten zur Verfügung. In dieser Arbeit wird unter mehreren Gesichtspunkten untersucht, ob ein Zusammenhang zwischen den Begutachtungsergebnissen und später eingereichten Publikationen sowie deren Qualität besteht. Die Ergebnisse sollten auch Aussagen über die Qualität des Abstract- Begutachtungsprozesses erlauben. Ziel der Untersuchung: Es sollten drei Fragestellungen bearbeitet werden: (1) Führen angenommene Abstracts häufiger und zu besseren Publikationen als abgelehnte Abstracts? (2) Ist die Qualität der entstandenen experimentellen Publikationen gemessen am Impactfactor (IF) des Instituts für Scientific Information (ISI), höher als die der klinischen Publikationen? (3) Gibt es bei den Abstracts und den daraus entstandenen Annahmen oder Ablehnungen geschlechtsspezifische und altersspezifische Unterschiede: (a) Werden die Abstracts der weiblichen Erstautoren anders bewertet als die Abstracts der männlichen Erstautoren, (b) erreichen Publikationen aus Abstracts weiblicher Erstautoren im Durchschnitt andere Impact-Faktoren als Abstracts männlicher Erstautoren und (c) gibt es einen geschlechtsspezifischen Altersunterschied? Methode: Für eine Literatursuche in PubMed wurden die Erstautoren und die signifikanten Schlüsselwörter aller im Untersuchungszeitraum eingereichten Abstracts verwendet. Aufgefundene Publikationen wurden auf Übereinstimmung mit den entsprechenden Abstracts untersucht und mit dem dazugehörigen Impact-Faktor (IF) der Zeitschrift bewertet, welcher zur Beschreibung der Qualität der Publikation herangezogen wurde. Ergebnisse: Aus 8.411 eingereichten Abstracts entstanden 1.908 (23%) Publikationen mit einem durchschnittlichen IF von 4,11. Aus den angenommenen Abstracts entstanden 1.425 Publikationen (75%) mit einem durchschnittlichen IF von 4,42. Der IF für die 483 experimentellen Publikationen betrug 5,39 und für die 942 klinischen Publikationen 3,93. Für die abgelehnten Abstracts (34%) ergab die Literaturrecherche 483 Publikationen (17%). Der IF für diese Gruppe lag im Mittel bei 3,16. Für die 155 experimentellen Publikationen betrug der mittlere IF 4,21, und für die 328 klinischen Publikationen betrug er 2,67. Weibliche Erstautoren (wA) reichten 2.090 und männliche Erstautoren (mA) reichten 6.321 Abstracts ein. Es gab keine geschlechtsabhängigen Unterschiede bei der Annahmequote (wA: 65,9% vs. mA: 65,8%; p=0,476). Im Durchschnitt wurden die Abstracts der wA (alle: 3,19; angenommen: 3,51 vs. abgelehnt: 2,58) und der mA (alle: 3,18; angenommen: 3,51 vs. abgelehnt: 2,54) durch die Gutachter nicht unterschiedlich bewertet (p=0,354). Später publizierte Abstracts von wA waren vorher durch die Gutachter allerdings besser bewertet worden als nicht-publizierte Abstracts (3,3 vs. 3,1; p<0,0001). Die 366 Publikationen der wA erreichten einen signifikant höheren IF verglichen mit den 1.541 Publikationen der mA (5,1±0,2 vs. 4,4±0,1; p=0,003). Dieser Unterschied bestand unabhängig von Annahme und Ablehnung (angenommen: 5,4±0,3 vs. 4,8±0,1; p=0,029; abgelehnt: 3,9±0,5 vs. 3,1±0,2; p=0,052). Die Publikationsquote der wA war im Vergleich zu mA niedriger (17,4% vs. 23,9%; p<0,0001). Sowohl bei der Abstract-Einreichung (34,2±0,2 vs. 37,1±0,1 Jahre; p<0,0001) als auch bei der Publikation (33,5±0,4 vs. 36,1±0,1 Jahre; p<0,0001) waren wA jünger als mA. Schlussfolgerung: Die Untersuchung bestätigt die Hypothese, dass die angenommenen Abstracts zu einem höheren Prozentsatz und IF-basiert besser publiziert werden als die abgelehnten Abstracts. Die Analyse ergab aber auch, dass ein hoher Anteil (16,8 %) der abgelehnten Abstracts zu begutachteten Publikationen führt. Experimentelle Abstracts erreichen, unabhängig von Annahme oder Ablehnung, einen höheren IF (IF=5,1) als die klinischen Abstracts (IF=3,6) . Die Bewertung der Abstracts und damit die Annahmequote waren praktisch geschlechtsunabhängig, der IF jedoch aller Publikation war bei den wA 17% höher als bei den mA. Dieser Unterschied lag bei den angenommenen Abstracts bei 13% und bei den abgelehnten Abstracts bei 27%. Wird der IF als Maßstab herangezogen, dann publizieren die durchschnittlich jüngeren Frauen besser als ihre männlichen Kollegen. Die vorliegende Arbeit zeigt, dass das von der DGK verwendete Programmsystem detaillierte Auswertungen von Charakteristika der eingereichten Abstracts ermöglicht. Diese Studie bestätigt darüber hinaus das bisher praktizierte Verfahren zur Begutachtung von Abstracts, die für die Jahrestagung der DGK eingereicht wurden, denn es weist einen Zusammenhang zwischen den besser begutachteten Abstracts (=angenommenen Abstracts) und Publikationen mit einem höheren IF nach. Weil aber auch die abgelehnten Abstracts relativ häufig und gut publiziert wurden, sollte das bisherige Begutachtungssystem weiter optimiert werden.

Association between abstract grading with impact factor (IF) and subsequent publications of German Cardiac Society (DGK) Annual Meetings. Specific objective: Scientific meetings allow presentation of novel research findings and serve as a preparation in particular for young scientists, for peer reviewed publications to foster individual academic careers and scientific visibility of individuals and their institutions. The questions were: 1. Are abstracts (abs), which are accepted by the review committee of the DGK, published in higher ranked journals than rejected abs and are reviewers able to recognize and select the scientifically most valuable communications for presentation? 2. Do rejected abstracts reduce peer reviewed publication with good quality? 3. Do gender differences exist in the scientific performance in the DGK? Methods: Between 2006 and 2010 a total of 8.411 abs (2.497 basic science, 5.914 clinical science) were submitted. 25% were submitted by female authors. After anonymisation, the abs were graded on a scale 1-5 by 3-9 reviewers per abstract. Based on the average grade, 5.535 (66%) abstracts were accepted for presentation. PubMed was searched according to first authors, topics and key words. Publications were reviewed and compared with the corresponding abs. Abs grades and IF of the journals were compared and correlated (p<0.05) The performance of the authors was compared also under the aspect of gender and age. Results: From 8.411 submitted abs 1.907 publications were generated (23%). The average IF was 4,5. 1.425 (26%) publications were generated from accepted abs with an average IF of 4.93. The IF of 483 basic science publications averaged 5.94, the IF of 942 clinical papers 4.42. For abs, which were rejected for presentation (34%), the review of the literature revealed 482 publications (17%) with an average IF of 3.22. 1. Abstracts graded and accepted for presentation at the annual DGK meetings were published with higher scores in better journals based on IF than rejected ones. 2. Women produced 25% of the presentations and 20% leading to publication in the years 2006 to 2010, but with higher IF than papers published by men. Women were found 3 years younger compared to men. The findings showed that the abstract grading process with acceptance of abstracts predicts publication success in peer reviewed journals, but can be considerably improved, because many abstracts leading to good or even excellent publications are rejected in the abstract grading process.