Zusammenfassung
Dieser Beitrag beschreibt a) die Ergebnisse einer Literaturstudie zur qualitativen Wahrnehmung wissenschaftlicher Publikationen, b) die Konstruktion eines daraus abgeleiteten Kriterienkatalogs zur Wahrnehmung der Qualität wissenschaftlicher Publikationen sowie c) der Überprüfung dieses Katalogs in qualitativen Interviews mit Wissenschaflterinnen und Wissenschaftlern aus dem Fachspektrum Chemie, Physik, Biologie, Materialwissenschaft und Engineering. Es zeigte sich, dass die Wahrnehmung von Qualität auf äußerlichen und von außen herangetragenen Faktoren, inhaltlichen / semantischen Faktoren und sprachlichen, syntaktischen sowie strukturellen Faktoren beruht.
Abstract
This article describes a) the results of a literature study on the qualitative perception of scientific publications, b) the construction of a catalogue of criteria derived from this study for the perception of the quality of scientific publications, and c) the evaluation of this catalogue in qualitative interviews with scientists from the fields of chemistry, physics, biology, materials science and engineering. It was shown that the perception of quality is based on external and externally induced factors, content / semantic factors and linguistic, syntactic and structural factors.
Résumé
Cet article décrit a) les résultats d’une étude documentaire sur la perception qualitative des publications scientifiques, b) la construction d’un catalogue de critères dérivé de cette étude pour la perception de la qualité des publications scientifiques, et c) l’évaluation de ce catalogue dans le cadre d’entretiens qualitatifs avec des scientifiques des domaines de la chimie, de la physique, de la biologie, de la science des matériaux et de l’ingénierie. Il a été démontré que la perception de la qualité se base sur des facteurs externes et introduits de l’extérieur, sur des facteurs liés au contenu/sémantique ainsi que sur des facteurs linguistiques, syntaxiques et structurels.
1 Einleitung
Das INM–Leibniz-Institut für Neue Materialien ist ein internationales Zentrum für Materialforschung mit Sitz in Saarbrücken. Es vereint multidisziplinäre Wissenschaft und materialorientierten Technologietransfer unter einem Dach. Chemie, Physik, Biologie, Materialwissenschaft und Engineering wirken in enger Kooperation auf hohem Niveau zusammen. Ein wesentlicher Fokus seiner Arbeit ist die Übertragung von biologischen Prinzipien auf das Design neuer Materialien, Strukturen und Oberflächen. Die NTNM-Bibliothek ist die gemeinsame Bibliothek des INM–Leibniz-Institut für Neue Materialien und der Naturwissenschaftlich-Technischen Fakultät (NT) der Universität des Saarlandes.
Der Open-Access-Beauftragte des INM, ein Mitarbeiter der NTNM-Bibliothek, beteiligte sich erfolgreich an einem Ideenwettbewerb im Rahmen einer Förderrichtlinie des Bundesministeriums für Bildung und Forschung (BMBF). Ziel des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts[1] „Sichtbarmachung von Open-Access-Publikationen in den Nachweisinstrumenten einer Bibliothek – visOA“ war es, die Sichtbarkeit von Open-Access-Publikationen zu verbessern, indem sie deutlich gekennzeichnet und hervorgehoben werden. Durch die stärkere Sichtbarmachung von Open-Access-Publikationen soll die Wahrnehmung und Bekanntheit des Themas Open Access bei Publizierenden und Rezipienten erhöht werden, um die Etablierung von Open Access zu beschleunigen.
Um die Wirksamkeit der im Projekt realisierten Maßnahmen zur verbesserten Sichtbarmachung von Open Access in den Nachweisinstrumenten der NTNM-Bibliothek zu überprüfen, wurde durch einen externen Dienstleister[2] Begleitforschung zur qualitativen Wahrnehmung von Open Access durch Wissenschaftlerinnen und Wissenschaftler vorgenommen. Diese umfasste verschiedene Erhebungen:
eine Literaturstudie,
qualitative Interviews,
eine Online-Umfrage zu zwei Erhebungszeitpunkten.
Die Literaturstudie fokussierte auf die inhaltlichen Faktoren, welche die Wahrnehmung der Qualität einer Publikation beeinflussen. Basierend auf dieser Erhebung wurde ein Kriterienkatalog zur qualitativen Bewertung wissenschaftlicher Publikationen entwickelt. Dieser diente der Erstellung von Bögen für Leitfadeninterviews, in denen geprüft wurde, inwiefern die in der Literatur berichteten Faktoren im fachlichen Kontext von visOA tatsächlich Einfluss auf die qualitative Wahrnehmung wissenschaftlicher Werke haben. Die Resultate dieser Leitfadeninterviews gingen in die Entwicklung einer Online-Umfrage ein, die ermittelte, wie die qualitative Wahrnehmung von OpenAccess- und Closed-Access-Publikationen unter den Wissenschaftlerinnen und Wissenschaftlern des INM ausfiel und wie sie sich im Laufe des Projekts und der darin getroffenen Maßnahmen änderte. Dieser Beitrag berichtet die Ergebnisse der Literatur-Studie, der Erstellung des Kriterienkatalogs sowie der qualitativen Interviews, die zugleich eine empirische Überprüfung des Kriterienkatalogs ermöglichten.
2 Literaturstudie
Zur Vorbereitung der qualitativen Interviews und der Onlinebefragung wurde zu Beginn des Projekts eine Literaturstudie zur qualitativen Wahrnehmung wissenschaftlicher Literatur durchgeführt.[3] Der Fokus lag dabei auf der Frage, welche internen Eigenschaften, d. h. im engeren Sinne inhaltlichen Faktoren, die Wahrnehmung einer Publikation als qualitativ hoch- oder minderwertig beeinflussen. Externe, d. h. äußerliche[4] oder von außen herangetragene[5] Eigenschaften, sollten – im Wissen, dass diese die qualitative Wahrnehmung steuern – nicht im Zentrum der Recherche stehen, da deren die Wahrnehmung der Qualität einer Publikation überformende Wirkung ausreichend diskutiert ist (s. Dong et al., 2005).
Die Literaturstudie basierte auf den Ergebnissen einer Recherche in den Datenbanken Library, Information Science & Technology Abstracts, Web of Science, Scopus sowie der Suchmaschine Google Scholar. Desweitern beschrieb der Auftragnehmer in seinem Blog seine Literatursuche und erhielt von einem Leser, Dr. Werner Dees (Universität Gießen), einige wertvolle, weitere Literaturhinweise. Eine konsolidierte Liste der gefundenen Literatur, die in die Konstruktion der Leitfadeninterviews einging, findet sich online als BibTex-Datei zur direkten Weiterverwendung in Literaturverwaltungssoftware (Herb, 2019c) sowie im Abschnitt 6 Literatur.
Auswertung
Eine erste Auswertung der Literatur zeigte, dass für die qualitative Wahrnehmung
äußerliche und von außen herangetragene Faktoren,[6]
die sich aus dem Container eines Artikels, dem publizierenden Journal, ergeben, z. B. Journal Impact Factor (JIF), Name des Journals, Editorial Board des Journals
die sich aus der Zuschreibung eines Artikels zu einer Autorin bzw. einem Autor oder dessen Einrichtung ergeben (vielleicht interpretierbar als Indikator für Relevanz und Vertrauen)
die sich aus quantitativen Informationen zur Resonanz einer Publikation (nicht des Journals wie in 1a) in Zitierdatenbanken oder Sozialen Medien ergeben
inhaltliche Faktoren oder semantische Faktoren, die eine Beziehung zwischen dem Inhalt und der Welt bzw. der Wissenschaft darstellen,
sprachliche, syntaktische sowie strukturelle Faktoren, die Rezeption des Textes und die Überprüfbarkeit der darin beschriebenen Ergebnisse erleichtern,
von Bedeutung sind.
Im nächsten Schritt wurde, basierend auf der Auswertung der ausgewählten Literatur, ein Kriterienkatalog zur Bestimmung der qualitativen Wahrnehmung wissenschaftlicher Literatur entwickelt.
3 Kriterienkatalog: Qualitative Wahrnehmung wissenschaftlicher Publikationen
Dieser aus der Literatur entwickelte Katalog basiert auf der oben ausgeführten Annahme, dass die Kriterien sich im Groben den drei genannten unterschiedlichen Dimensionen zuordnen lassen. Diese Dimensionen wurden nun in Anbetracht der in der Literatur benannten Faktoren weiter differenziert.
Externe Kriterien
Formale Kriterien
Anwendung von Review-Verfahren. (RIN, 2010, KNAW, 2010, Royal Academy of Engineering, 2008)
Herausgeberische Standards (KNAW, 2010, Royal Academy of Engineering, 2008) als eine externe Selektion durch die qualitätssichernde Wirkung der Vorgaben der Herausgeber im Sinne einer Policy, der Publikationen zu genügen haben.
Publikationsjahr (Judge et al., 2007): Dieser Faktor könnte allgemeiner als Aktualität oder Relevanz interpretiert werden oder verweist ggf. eher auf Relevanz (die zeitlich begrenzt ist) oder Qualität, die sich durch Verwertbarkeit auszeichnet, als auf abstrakte Qualität.
Quantitative Kriterien
JIF des publizierenden Journals (KNAW, 2010, Judge et al., 2007), kann wie oben erwähnt eher als von außen herangetragene Eigenschaft verstanden werden.
Zitierzahl (ggf. analog Downloadzahlen, Altmetric-Scores) des Artikels (KNAW, 2010), genau wie in 1.2.1 handelt es sich bei diesem Merkmal um ein von außen herangetragenes.
Zahl der Referenzen (Judge et al., 2007), könnte als Indikator für die Vollständigkeit der Berücksichtigung der aktuellen Forschung verstanden werden.
Soziale Kriterien
Renommee der Autor/innen (Judge et al., 2007; Nazim et al., 1996), in gewisser Weise vergleichbar mir 1.1.1. und 1.1.2, da dieses Kriterium ebenfalls einen Filter, basierend auf Vertrauen, darstellt. Es unterscheidet sich zugleich davon, da das Vertrauen hier nicht Ergebnis eines Kodex (wie z. B. einer Editorial Policy oder einer Peer Review Policy), sondern eines Vertrauens in eine Person ist.
Renommee der Organisation(en) der Autor/innen (Judge et al., 2007): Mehr oder minder eine Variante zu 1.3.1, in diesem Fall fußt das Vertrauen auf der Annahme, eine Tätigkeit für eine Organisation bürge für Qualität.
Renommee des publizierenden Verlags und/ oder Journals (Judge et al., 2007; KNAW, 2010): gewisser Maßen eine Manifestation von 1.1.1 und 1.1.2, jedoch zugleich zu einem gewissen Grad unabhängig davon, da es gegebenenfalls Änderungen der Peer Review und Editorial Policy überdauert oder erst mit Zeitverzug berührt wird.
Inhaltliche Kriterien
Glaubwürdigkeit[7] (Mårtensson et al., 2016): Kohärenz, Konsistenz, Strenge und Transparenz der Forschung.
Wissenschaftliche Strenge der Erhebung: Forschung, die kontextuell, intern valide und zuverlässig ist.
Konsistenz: eine Bedingung, bei der neues Wissen logisch mit vorhandenem Wissen verknüpft ist und im Einklang mit der wissenschaftlichen Methode und Fragestellung steht, beispielsweise durch Berücksichtigung des aktuellen Forschungsstandes.
Kohärenz: Die angemessene Berücksichtigung existierenden Wissens im gewählten Kontext.
Transparenz: Relevantes neues Wissen wird in der Darstellung von Forschungsergebnissen einbezogen und die Fragestellung, die wissenschaftliche Methode und das vorhandene Wissen werden beschrieben.
Die folgenden Spezifizierungen wurden teils anderer ausgewerteter Literatur entnommen und unter dem Merkmal „Transparenz“ subsummiert.
Ist die Beschreibung der Methodologie ausreichend, um eine Replikationsstudie durchführen zu können? (Basta, 2016)
Ist die Datenerhebung im Detail beschrieben? (Szklo, 2006)
Werden die statistischen Auswertungen im Detail beschrieben und ihre Ergebnisse im Detail berichtet, wie die Anwendung von Signifikanztests inklusive Resultate? (Basta, 2016)
Methodik und Design
War das Design der Studie durchdacht? (Judge et al., 2007; Greenhalgh, 1997)
Sind Methoden und Design der Fragestellung angemessen? (Basta, 2016; Nazim et al., 1996)
Wurde eine Kontrolluntersuchung durchgeführt? (Basta, 2016)
Wurden systematische Verzerrungen vermieden oder minimiert? (Judge et al., 2007; Greenhalgh, 1997)
Wurden vorläufige statistische Fragen behandelt oder sind die Befunde reifer? (Judge et al., 2007; Greenhalgh, 1997)
Welche statistischen Verfahren wurden angewandt? Waren Sie der Fragestellung / Datensammlung angemessen? (Judge et al., 2007)
Erlaubt die Beschreibung der Methoden die Einschätzung der Validität und Reliabilität? (Basta, 2016; Judge et al., 2007; Szklo, 2006)
Sind untersuchte Variablen und konfundierende beschrieben? (Szklo, 2006)
Sind die Ergebnisse geeignet, die Forschungsfragen und -hypothesen zu beantworten / zu bewerten? (Basta, 2016)
Beitrag zur Forschung[8] (Mårtensson et al., 2016): Forschung, die originell, relevant und verallgemeinerbar ist.
Originalität: Forschung, die originelle Forschungsziele hat, eine originelle Prozedur/ ein originelles (methodisches) Vorgehen hat und / oder ein originelles Resultat produziert. (Mårtensson et al., 2016; Greenhalgh, 1997, Nazim et al., 1996)
War die Studie größer angelegt oder z. B. substantieller angelegt als frühere Studien? (Greenhalgh, 1997)
Ist die Methodik dieser Studie strenger (insbesondere, wenn es sich um spezifische methodische Kritikpunkte früherer Studien handelt)? (Greenhalgh, 1997)
Relevanz (Mårtensson et al., 2016): Forschung mit relevanter oder aktueller Forschungsidee, anwendbarem Ergebnis.
Generalisierbarkeit (Mårtensson et al., 2016): Das neue Wissen ist praktisch oder theoretisch nützlich in anderen Kontexten als dem untersuchten.
Research Impact und potentieller Research Impact (KNAW, 2010): (Absehbarer) Einfluss auf die weitere Forschung.
Kommunizierbarkeit[9] (Mårtensson et al., 2016): Forschung, die verwertbar, zugänglich und suchbar ist.
Verwertbarkeit: Forschung, die nachvollziehbar/strukturiert, verständlich und anschaulich ist.
Zugänglichkeit: Neues Wissen ist für die Zielgruppe leicht zugänglich.
Open Access.[10]
Data Sharing/ Bereitstellung von Forschungsdaten. (RIN, 2010)
Suchbarkeit: Neues Wissen, das nach Beschreibungsregeln strukturiert und für die Zielgruppe leicht auffindbar ist.
Konformität (Rechtlich ausgerichtete, ethische und nachhaltige Forschung). (Mårtensson et al., 2016)[11]
Übereinstimmung mit Vorschriften/ Regeln: Forschung, die sich nach den aktuell gültigen rechtlichen Aspekten und Regeln richtet.
Ethisch: Forschung, die moralisch vertretbar, offen ist und Chancengleichheit unterstützt.
Nachhaltig: Forschung, die den Aspekten der nachhaltigen Entwicklung entspricht.
Präsentation der Ergebnisse
Sind die Limitierungen der Forschung klar benannt? (Basta, 2016, Judge et al., 2007)
Sind die Implikationen der Forschung klar beschrieben? (Basta, 2016, Judge et al., 2007)
Werden die Ergebnisse angemessen oder über-interpretiert? (Basta, 2016)
Erwägen die Autorinnen und Autoren alternative Erklärungen für ihre Resultate? (Basta, 2016)
Präsentation des Inhaltes
Stilistisch
Klare und lesbare Präsentation. (Judge et al., 2007; Nazim et al., 1996)
Angemessenheit der Abbildungen, Diagramme und sonstigen Abbildungen. (Nazim et al., 1996)
Angemessenheit der Referenzen. (Nazim et al., 1996)
Formal
Länge des Artikels. (Judge et al., 2007; Nazim et al., 1996)
Format / Natur des Papers (Original Paper mit hoher/ niedriger wissenschaftlicher Fragestellung, Review, Analyse Paper, Research Note, Short communication, ...). (Nazim et al., 1996)
4 Qualitative Interviews
4.1 Erhebungsinstrument
Zur Überprüfung, inwiefern die in drei ermittelten Kriterien im fachlich-institutionellen Kontext von visOA zutreffend sind, wurden im Anschluss an die Literaturstudie qualitative Interviews mit Wissenschaftlerinnen und Wissenschaftlern des INM durchgeführt. Das Sample der Interviewten war fachlich und hinsichtlich des akademisch-organisatorischen Status gemischt.
Der Leitfaden wurde aus dem genannten Kriterienkatalog entwickelt. Die zeitliche Dauer, die Adaption an den fachlichen Kontext sowie die Absicht, die Teilnehmenden nicht durch die Detailliertheit des Kriterienkatalogs zu verwirren oder zu verärgern, führten zu einem Fragebogen mit insgesamt neun thematischen Fragen, denen ein Frageblock zur Person und deren Publikationshistorie vorangestellt war (Herb, 2019 a, 2019b).
| Persönliche Informationen • Name • Akademischer Titel • Position • Alter • Geschlecht • Fach/ Forschungsschwerpunkt • Anzahl Publikationen insgesamt • Anzahl Publikationen seit 2013 • Anzahl Open-Access-Publikationen seit 2013 Leitfaden | |
| 1. | Wie definieren Sie Qualität? |
| 2. | Anhand welcher Kriterien bewerten Sie die Qualität wissenschaftlicher Artikel? |
| 3. | Anhand welcher quantitativen Kriterien bewerten Sie die Qualität wissenschaftlicher Artikel? |
| 4. | Anhand welcher inhaltlichen Kriterien bewerten Sie die Qualität wissenschaftlicher Artikel? |
| 5. | Anhand welcher formalen Kriterien bewerten Sie die Qualität wissenschaftlicher Artikel? |
| 6. | Welche Rolle spielen verwendete (empirische) Methoden? |
| 7. | Welche Rolle spielen verwendete statistische Verfahren? |
| 8. | Welche Rolle spielen verwendete Forschungsdesigns? |
| 9. | Welche Rolle spielt die Verfügbarkeit von Daten? |
| 10. | Wie bewerten Sie die Qualität von Open Access und Closed Access? |
| 11. | Welche der von Ihnen bislang erwähnten Kriterien sind ausschlaggebend für die Bewertung von Open Access und Closed Access? |
Frage 1 sollte die Teilnehmenden zu freien Assoziationen über Qualität animieren, in der Hoffnung, sie verfielen bei Frage 2 nicht unmittelbar in die Gleichsetzung Qualität = Impact = Zitierungen. Falls Befragte diese Verengung dennoch vornähmen, wurden sie auch nach anderen Qualität bestimmenden Faktoren befragt. Frage 3 zielte auf quantitative Faktoren, die Qualität ausmachen, darunter z. B. Verbreitung, JIF, Article Level Metrics − wohlwissend, dass sich nicht aus der Qualität einer Publikation ergeben, sondern eher ein Signal vermutlicher Qualität darstellen. Frage 4 wiederum hatte die im engen Sinn inhaltlichen Faktoren im Blick, welche die wahrgenommene Qualität einer Publikation ausmachen. Frage 5 richtete sich auf formale, sprachliche, strukturelle, optische Eigenschaften eines Artikels, die Einfluss auf die wahrgenommene Qualität einer Publikation haben.
Für den Fall, dass die Teilnehmenden aus sich heraus keine Vorstellungen zur Frage 4 nach den inhaltlichen Eigenschaften entwickeln konnten, sollten die Fragen 6 bis 9 Ausführungen zu Frage 4 anregen. Da im Zentrum von visOA die Wahrnehmung von Open Access steht, thematisierte Frage 10, inwiefern die Befragten Open Access in toto als qualitativ minder-, gleich- oder höherwertig im Vergleich zu Closed Access einstufen. Durch Frage 11 sollten die Teilnehmenden zu einer Einschätzung bewegt werden, ob sich die Wahrnehmung von Open Access und Closed Access bezüglich eines vorher diskutierten Merkmals unterscheidet.
4.2 Erhebung und Auswertung
4.2.1 Sample
Das Sample bestand aus zwölf Personen, mit einem Alter zwischen 25 und 51 Jahren, davon acht Männer und vier Frauen. Fünf davon waren promoviert, drei hatten eine Professur inne, vier besaßen einen Master-Abschluss. Der funktionale Status wurde wie folgt beschrieben: Programmbereichsleitende, stellvertretende(r) Programmbereichsleitende, Gruppenleitende, Doktorandinnen/Doktoranden, PostDoc. Die vertretenen akademischen Status waren Professorinnen und Professoren, Promovierte und Promovierende.
Bei der Nennung der Fachzugehörigkeit bzw. Forschungsschwerpunkte wurde das gesamte Spektrum des INM, wie es in der Einleitung dargestellt wurde, abgedeckt.[12] Die Anzahl der referierten Publikationen lag zwischen zwei und 200, bei einem Durchschnitt von ca. 46 und einem Median von 24,5, davon erschienen im Schnitt ca. 23 in den vergangenen fünf Jahren (Median 16,5). Der im Vergleich zum Durchschnitt niedrigere Median ist Indiz einer schiefen Verteilung in einem Sample mit einer größeren Zahl an Wenigpublizierenden denn Vielpublizierenden. Die Teilnehmenden berichteten von insgesamt 53 Gold-Open-Access-Publikationen seit 2013, da eine Teilnehmende keine Angabe zu dieser Frage machen konnte, lag der Durchschnitt bei fünf, der Median bei vier. Nach Publikationen im Green Open Access wurde an dieser Stelle, genau wie im gesamten Interview nicht gefragt, da die qualitative Wahrnehmung von Publikationen im Vordergrund stand und diese bei Green Open Access gleich mit der qualitativen Wahrnehmung der originären Closed-Access-Publikation ist.
4.2.2 Ergebnisse[13]
4.2.2.1 Definition von Qualität
Die allgemeine Definition des Begriffs Qualität fiel den meisten Befragten schwer, viele ignorierten die Vorgabe, ihre Definition nicht auf den Bereich der Wissenschaft zu kaprizieren und wählten sofort deren Kontext, um zu beschreiben, was für sie Qualität ausmacht. Personen, denen diese Trennung gelang, assoziierten Qualität mit Seriosität/ Vertrauenswürdigkeit, mit der Eigenschaft, ein Ziel zu erreichen bzw. einen Nutzen zu erbringen oder als das Ausmaß, zu dem definierte Anforderungen erfüllt werden. Diese mehrfach vertretene Sicht brachte eine teilnehmende Person in der Anforderung des „Erfüllen[s] von Merkmalen, die im Vorfeld so definiert wurden, dass sie den Stand der Technik mindestens darstellen oder übertreffen“ zum Ausdruck. Dieses Übertreffen definierter und kontextabhängiger Anforderungen wurde teils mit einem gewissen Ausmaß an Herausforderung („wenn es nicht jeder machen kann“) kombiniert, eine befragte Person betonte, Qualität habe ein Alleinstellungsmerkmal. Ergänzend wurden Elemente wie Nachhaltigkeit, Bestand und Verlässlichkeit oder Sinnhaftigkeit genannt. Häufig fand sich die Anmerkung, Qualität sei subjektiv und kontextabhängig definiert, die Bestimmung hänge vom Verwendungszweck ab.
4.2.2.2 Interne Kriterien bei der Beurteilung der Qualität eines wissenschaftlichen Artikels
Die Antworten zur Frage nach internen Kriterien wurden quantitativ dominiert von den Aspekten der Reproduzierbarkeit, dem innovativen Charakter und der Relevanz, der Angemessenheit des methodischen und technischen Vorgehens, der Glaubwürdigkeit und Korrektheit der getroffenen Aussagen, der Dokumentation von Technik, Methoden und Auswertung sowie der Berücksichtigung des Standes der Forschung. Teils wurden auch die Formulierung einer klaren Forschungsfrage genannt sowie die Beachtung ethischer Richtlinien.
4.2.2.3 Formale Kriterien bei der Beurteilung der Qualität eines wissenschaftlichen Artikels
Unter den genannten formalen Kriterien dominierten sprachliche Aspekte wie Verständlichkeit und Lesbarkeit, gefolgt von der technischen Qualität der Grafiken (Farbe statt Schwarz-Weiß, hohe Auflösung) sowie Aufbau / Struktur, der Darstellung aller relevanten Informationen in Grafiken, der sprachlichen Nachvollziehbarkeit, exakter Legenden zu den Grafiken. Vereinzelt genannt wurden die lückenlose Darstellung, die Bedingung der Attributionen ohne Scheinautorenschaften, die klare Trennung von Bericht der Stand der Forschung und eigener Ergebnisse einerseits und der eigenen Interpretation der Publizierenden andererseits, die äußere Form, Satz und Druckbild sowie die Zugänglichkeit von begleitenden Informationen (Methoden, Daten). Eine teilnehmende Person betonte formale Kriterien seien sekundär für die Bewertung der wissenschaftlichen Qualität, solange Verständlichkeit gegeben ist.
4.2.2.4 Externe Kriterien bei der Beurteilung der Qualität eines wissenschaftlichen Artikels
Unter den externen Kriterien wurde vor allem der JIF kontrovers eingeschätzt. Teils wurde die Ansicht geäußert, er sei von sekundärer Relevanz bei der qualitativen Einschätzung, teils wurde gar angenommen, externe Faktoren wie der JIF behinderten innovative Forschung. Andere nahmen Zitierzahlen als mögliche Qualitätsindikatoren wahr, räumten aber ein, diese seien keine Garanten für Qualität.
Positiver wahrgenommen wurden Merkmale wie Autorenschaften, publizierendes Journal, dessen Editoren bzw. Editorial Boards oder der Verlag. Allerdings fanden sich auch Aussagen, wonach weder der Name der Journale, noch deren Herausgeberschaft Qualitätsmerkmerkmale darstellten. Mehrere Teilnehmende beschrieben Publikationsorte (Journal / Verlag) und / oder Zitierwerte als korrelative Indikatoren für Qualität, die alleine aber nicht aussagekräftig seien. Mitunter wurde diesen Indikatoren auch attestiert, zusehends an Bedeutung zu verlieren.
Vertreten war ebenfalls die Ansicht, Faktoren wie JIF oder Name des Journals oder Verlags seien Anreize zum Lesen eines Artikels. Das stärkste Qualitätssignal machten insgesamt jedoch die Autorenschaften aus: Kannten Teilnehmende bereits Publikationen einzelner Forschenden oder einer Forschergruppe und bewerteten diese positiv, bestand bei weiteren Veröffentlichungen eine höhere Qualitätsvermutung. Ebenfalls recht starke, jedoch etwas weniger ausgeprägte Qualitätsvermutungen wurden aus Editorials Board abgeleitet, gefolgt von Journal und Verlag. Tendenziell wurden Publikationen in arrivierten Verlagen und Journalen von den Befragten eher als lesenswert wahrgenommen, was jedoch noch keine Aussage über deren Qualität zulässt, sondern eher auf einen Qualitätskredit aufgrund früherer Veröffentlichungen verweist. Mitunter wurde eine Vorliebe für von Fachgesellschaften herausgegebene Journale geäußert, da diese als hochwertiger erachtet werden als Journale kommerzieller Verlage. Als weiteres Qualitätsmerkmal nannte eine teilnehmende Person die Dauer der Existenz eines Journals.
4.2.2.5 Sonstige Kriterien bei der Beurteilung der Qualität eines wissenschaftlichen Artikels
Unter den sonstigen Kriterien diskutierten die Teilnehmenden vor allem die Verfügbarkeit von begleitenden Materialien. Die Einschätzungen hierzu waren divers: Differenziert wurde teils zwischen einem höheren Nutzen / einer größeren Verwertbarkeit von Publikationen, zu denen begleitende Materialien verfügbar sind, und der Qualität einer Publikation, die manche (jedoch nicht die Mehrheit) durch die Verfügbarkeit von Daten gesteigert sahen. Durch die Bank begrüßten die Befragten jedoch die Zugänglichkeit zu Forschungsdaten, z. B. wegen Nachnutzung und maschineller Sekundärauswertung. Zugleich problematisierte eine teilnehmende Person die fehlende Gratifikation für bereitstellende Forscherinnen und Forscher. Eine andere merkte an, dass sich der Nutzen der Daten erst durch eine ausführliche Dokumentation entfaltet. Wurde ein Zusammenhang zwischen der Bereitstellung von Daten und der Qualität einer Publikation gesehen, basierte dieser meist auf der höheren Vertrauenswürdigkeit einer Publikation, zu der Daten verfügbar sind.
4.2.2.6 Qualität von Closed Access und Open Access im Vergleich
Die Teilnehmenden machten in toto keine qualitativen Unterschiede zwischen Closed-Access- und Open-Access-Journalen aus. Manche führten dies auch darauf zurück, dass meist nicht klar sei, ob man eine Closed-Access- oder Open-Access-Publikation rezipiere. In Details zeigten sich jedoch leichte Präferenzen für entweder den einen oder anderen Modus ab: Eine befragte Person bevorzugte aus Autorensicht Open Access aufgrund der schnelleren Publikation einer Submission (ohne, dass diese Eigenschaft unmittelbar inhaltlich qualitativ ist). Analog bevorzugte eine andere Open Access, da ihr am freien Austausch von Informationen gelegen ist. Spiegelbildlich attestierte eine teilnehmende Person Open Access aufgrund der leichten Zugänglichkeit ein indirektes Qualitätsmerkmal − nicht bezüglich des Inhaltes, formalen oder externen Faktoren, sondern wegen der Nutzbarkeit.
Bezüglich formaler Kriterien (wie Struktur, Qualität der Grafiken) erscheinen zwei Befragten hochangesehene Closed-Access-Journale dem Open Access überlegen. Eine Person gab zwar an, sie kenne keine Open-Access-Journale mit hoher Reputation, räumte aber auf Nachfrage ein, sie sehe keinen qualitativen Unterschied zwischen Closed Access und Open Access, sondern allein hinsichtlich der Reputation. Schreibend bevorzugte eine andere (hybriden und goldenen) Open Access bei arrivierten Journalen, nahm jedoch rezipierend generell keinen Qualitätsunterschied wahr. Closed-Access-Journale wurden von einer teilnehmenden Person als qualitativ hochwertiger wahrgenommen, ohne dass sie spezifische Kriterien hierfür nennen konnte. Eine andere befand Closed-Access-Journale im Allgemeinen als von höherer Qualität, nahm jedoch an, dass sich die Unterschiede nivellieren und diagnostiziert diese Nivellierung bereits. Zwei Teilnehmende, von denen eine Open Access und Closed Access als qualitativ gleichwertig betrachte, und eine, die einen Qualitätsvorteil beim Closed Access sah, betonten die Gefährdung der Glaubwürdigkeit von Wissenschaft bzw. Open Access durch Predatory Journals. Eine andere lenkte das Augenmerk auf die Frage der Qualitätssicherung bei Preprint-Servern, die sie als Mittel zum Umgehen der Peer Review betrachtete.
5 Bilanz
Von den im Kriterienkatalog (Abschnitt 3) gesammelten Merkmalen fanden sich nahezu alle als Nennungen in den qualitativen Interviews. Von den externen Kriterien wurden nur das Publikationsjahr und die Zahl der Referenzen nicht genannt, bei den inhaltlichen wurden verschiedene (z. B. Durchführung von Kontrolluntersuchungen, Vorkehrungen zur Vermeidung systematischer Verzerrungen, Anwendung passender statistischer Verfahren, Beschreibung konfundierender Variablen) Merkmale nicht explizit aufgeführt, die jedoch größtenteils dem regelmäßig genannten Kriterium der angemessenen Methodik zugeschlagen werden können. Einzig bei der Frage der Präsentation der Ergebnisse fehlte die explizite Nennung mehrerer Kriterien, wie z. B. die Benennung der Limitierungen der Ergebnisse. Insgesamt scheint damit der erarbeitete Kriterienkatalog die qualitative Wahrnehmung wissenschaftlicher Publikationen, besonders im fachlichen Umfeld der Erhebung (Chemie, Physik, Biologie, Materialwissenschaft und Engineering), zu beschreiben.
Über die Autoren
Dr. Ulrich Herb ist studierter Soziologe und promovierter Informationswissenschaftler. Er ist tätig als freiberuflicher Wissenschaftsberater und Journalist. Seit 2001 arbeitet er an der Saarländischen Universitäts-und Landesbibliothek und ist für die Betreuung von Drittmittelprojekten und elektronischen Publikationsangeboten zuständig.
Uwe Geith ist Diplom-Bibliothekar (WB) mit mehrjähriger Berufserfahrung in Deutschland und in der Schweiz. Seit 2016 ist er für das INM–Leibniz-Institut für Neue Materialien tätig. Er ist stellvertretender Leiter der NTNM-Bibliothek und Beauftragter des INM für Open Access und Forschungsdaten.
6 Literatur
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894Search in Google Scholar
Dong, P., Loh, M., & Mondry, A. (2005). The „impact factor“ revisited. Biomedical digital libraries, 2(7). https://doi.org/10.1186/1742-5581-2-7Search in Google Scholar
Herb, U. (2019a). Instructions for qualitative interviews on the qualitative perception of scientific publications. Zenodo. http://doi.org/10.5281/zenodo.3482888Search in Google Scholar
Herb, U. (2019b). Leitfaden für qualitative Interviews zur qualitativen Wahrnehmung wissenschaftlicher Publikationen. Zenodo. https://zenodo.org/record/3482860Search in Google Scholar
Herb, U. (2019c). Bibliography on criteria for assessing the quality of scientific publications. Zenodo. https://doi.org/10.5281/zenodo.3366168Search in Google Scholar
Ausgewertete Literatur in der Literaturstudie (Abschnitt 2)
Basta, H. (2016). Evaluating Empirical Research. https://www.antioch.edu/wp-content/uploads/2016/12/VWC-RESOURCE_evaluating-empirical-research.pdf [20.1.2020]Search in Google Scholar
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894Search in Google Scholar
Greenhalgh, T. (1997). How to read a paper: Assessing the methodological quality of published papers. BMJ, 315(7103), 305–308. https://doi.org/10.1136/bmj.315.7103.305Search in Google Scholar
Judge, T. A., Cable, D. M., Colbert, A. E., & Rynes, S. L. (2007). What causes a management article to be cited—Article, author, or journal? Academy of Management Journal, 50(3), 491–506. https://doi.org/10.5465/AMJ.2007.25525577Search in Google Scholar
KNAW. (2010). Quality assessment in the design and engineering disciplines. https://www.knaw.nl/shared/resources/actueel/publicaties/pdf/quality-assessment-in-the-design-and-engineering-disciplines [20.1.2020]Search in Google Scholar
Mårtensson, P., Fors, U., Wallin, S.-B., Zander, U., & Nilsson, G. H. (2016). Evaluating research: A multidisciplinary approach to assessing research practice and quality. Research Policy, 45(3), 593–603. https://doi.org/10.1016/J.RESPOL.2015.11.009Search in Google Scholar
Nazim Ali, S., Young, H. C., & Ali, N. M. (1996). Determining the quality of publications and research for tenure or promotion decisions. Library Review, 45(1), 39–53. https://doi.org/10.1108/00242539610107749Search in Google Scholar
Research Information Network RIN. (2010). Quality assurance and assessment of scholarly research. https://doi.org/10.2304/rcie.2010.5.1.3Search in Google Scholar
Szklo, M. (2006). Quality of scientific articles. Revista de Saúde Pública, 40(special issue São Paulo Aug. 2006), 30–35. https://doi.org/10.1590/S0034-89102006000400005Search in Google Scholar
The Royal Academy of Engineering. (2008). The Assessment of Research Quality in Engineering Disciplines https://www.raeng.org.uk/publications/reports/assessment_of_research [20.1.2020]Search in Google Scholar
Zusatzmaterial
Die Onlineversion dieses Artikels bietet Zusatzmaterial (https://doi.org/10.1515/iwp-2020-2074).
© 2020 Walter de Gruyter GmbH, Berlin/Boston
