GradeGRADE Leitlinien: 5. Einschätzung der Qualität der Evidenz – PublikationsbiasGRADE guidelines: 5. Rating the quality of evidence – publication bias☆
Section snippets
Einleitung
In den vier vorherigen Artikeln dieser Serie, die das GRADE-System zur Bewertung der Qualität der Evidenz und zur Einstufung der Stärke der Empfehlung beschreibt, haben wir den Prozess der Formulierung der Fragestellung dargestellt und den GRADE-Ansatz zur Bewertung der Qualität der Evidenz eingeführt, sowie die Möglichkeit der Herabstufung der Qualität aufgrund von Studienlimitationen (Risiko für Bias) behandelt. Dieser fünfte Artikel beschäftigt sich mit der zweiten der fünf Kategorien von
Publikationsbias versus Bias durch selektives Berichten („reporting bias“)
In manchen Klassifikationssystemen gibt es zwei Unterkategorien für Bias bei der Ergebnisdarstellung („reporting bias“): selektives Berichten der Endpunkte, mit dem wir uns im vorhergehenden Artikel dieser Serie beschäftigt haben, und Publikationsbias. Neben dem selektiven Berichten der Endpunkte können jedoch alle Biasquellen, die wir bei den Studienlimitationen angesprochen haben, in den Einzelstudien adressiert werden. Wenn dagegen eine Studie gar nicht veröffentlicht wird, da die
Varianten von Publikationsbias
Die Ergebnisse eines systematischen Reviews werden verzerrt, wenn die Auswahl eingeschlossener Studien in Bezug auf durchgeführte Studien nicht repräsentativ ist. Das kann sowohl zustande kommen, wenn die eingeschlossenen Studien publiziert oder aber auch nicht publiziert sind. So können verzerrte Ergebnisse in einem frühen Review auftreten, in dem später publizierte Studien nicht berücksichtigt wurden – ein Phänomen, das manchmal als Verzögerungsbias (“lag time bias”) bezeichnet wird [8]. Wenn
Höheres Risiko für Publikationsbias in Reviews mit kleinen Studien
Das Risiko für Publikationsbias kann für Reviews, die auf kleinen randomisierten, kontrollierten Studien (RCTs) basieren, größer sein [17], [18], [19]. Für RCTs mit einer hohen Anzahl Patienten besteht eine geringere Wahrscheinlichkeit, dass sie nicht publiziert oder ignoriert werden und sie liefern in der Regel präzisere Schätzer für den Behandlungseffekt, egal ob „positiv“ oder „negativ“ (d. h. ob ein statistisch signifikanter Unterschied zwischen Interventions- und Kontrollgruppe gezeigt
Große Studien sind nicht immun
Obwohl größere Studien mit einer höheren Wahrscheinlichkeit publiziert werden, können Sponsoren, die nicht mit den Ergebnissen zufrieden sind, die Publikation verzögern oder sogar unterbinden [14], [22], [23]. Sie können auch Studien, die aufgrund ihrer Wichtigkeit in hochwertigen medizinischen Zeitschriften publiziert werden könnten, in Zeitschriften mit nur eingeschränkter Leserschaft publizieren. Es könnte ihnen auch gelingen, die Ergebnisse der Studien durch wissenschaftlich unsolide
Wann sollte wegen Publikationsbias heruntergestuft werden – Einfluss der Industrie
Die Autoren von Reviews und Leitlinienentwickler sollten generell die Herabstufung aufgrund der Wahrscheinlichkeit von Publikationsbias in Betracht ziehen, wenn sich die Evidenz aus einer Vielzahl kleiner Studien zusammensetzt [17], [18], [19], [20], [21]. Die Wahrscheinlichkeit, aufgrund von Publikationsbias herabzustufen, sollte zunehmen, wenn die Mehrzahl dieser kleinen Studien finanziell durch profitorientierte Sponsoren unterstützt wurde oder dies sehr wahrscheinlich ist (oder wenn die
Nutzung der Studienergebnisse zur Einschätzung der Wahrscheinlichkeit für Publikationsbias
Ein weiteres Kriterium für Publikationsbias ist das Verteilungsmuster, das die Studienergebnisse ergeben. Der Verdacht kann stärker werden, wenn eine visuelle Betrachtung einen asymmetrischen (Abbildung 1B) anstelle eines symmetrischen (Abbildung 1A) Funnel Plots (auch Trichtergrafik genannt) ergibt oder wenn statistische Tests auf Asymmetrie positiv ausfallen [29], [30]. Obwohl Funnel Plots hilfreich sein können, sollten Reviewautoren und Leitlinienersteller bedenken, dass die visuelle
Publikationsbias in Beobachtungsstudien
Das Risiko für Publikationsbias ist für Beobachtungsstudien vermutlich höher als für RCTs [3], [32], besonders für kleine Beobachtungsstudien und Studien, die mit routinemäßig gesammelten Daten (z. B. in der elektronischen Patientenakte oder in einem Diabetesregister) oder mit Daten aus vorhergehenden Studien durchgeführt wurden. In diesen Fällen ist es für den Reviewautor schwer einzuschätzen, ob die Beobachtungsstudien, die in der Literatur auftauchen, vollständig sind oder nur einen Teil der
Herabstufen für Publikationsbias – ein Beispiel
Ein systematischer Review über Flavonoide für Patienten mit Hämorrhoiden liefert ein Beispiel für einen Evidenzkörper, bei dem das Herabstufen für Publikationsbias mit hoher Wahrscheinlichkeit angebracht ist [51]. Alle Studien, die zwischen 40 und 234 Patienten umfassten – meistens um die 100 –, waren durch die Industrie finanziert. Darüber hinaus lässt der Funnel Plot Publikationsbias vermuten. (Abbildung 2).
Berücksichtigung der Schwierigkeiten bei der Einschätzung der Wahrscheinlichkeit für Publikationsbias
Unglücklicherweise ist es sehr schwer, Publikationsbias mit Sicherheit auszuschließen oder einen Grenzwert als Anlass für die Herabstufung festzulegen. Angesichts dieser Herausforderungen schlägt GRADE für das GRADE-Evidenzprofil hinsichtlich Publikationsbias die Bezeichnungen „nicht entdeckt“ und „starker Verdacht“ vor. In Kenntnis der Unsicherheit schlägt GRADE gegenwärtig vor, maximal eine Stufe (nicht zwei) herabzustufen, wenn Verdacht auf Publikationsbias vorliegt. Nichts desto trotz
Literatur (51)
Language bias in randomised controlled trials published in English and German
Lancet
(1997)- et al.
N-acetylcysteine in the prevention of contrast-induced nephropathy: publication bias perpetuated by meta-analyses
Am Heart J
(2007) - et al.
Misleading data analyses in salmeterol (SMART) study
Lancet
(2005) - et al.
The Salmeterol Multicenter Asthma Research Trial: a comparison of usual pharmacotherapy for asthma or usual pharmacotherapy plus salmeterol
Chest
(2006) - et al.
In an empirical evaluation of the funnel plot, researchers could not visually identify publication bias
J Clin Epidemiol
(2005) - et al.
Contour-enhanced meta-analysis funnel plots help distinguish publication bias from other causes of asymmetry
J Clin Epidemiol
(2008) - et al.
Recursive cumulative meta-analysis: a diagnostic for the evolution of total randomized evidence from group and individual patient data
J Clin Epidemiol
(1999) - et al.
WHO facilitates international collaboration in setting standards for clinical trial registration
Lancet
(2005) - et al.
Publication bias in clinical research
Lancet
(1991) - et al.
Reporting Bias
Publication bias in clinical trials
The Cochrane Database of Systematic Reviews
Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards
Jama
Publication bias: evidence of delayed publication in a cohort study of clinical research projects
Bmj
Bias in reporting clinical trials
Br J Clin Pharmacol
Bias in location and selection of studies
BMJ
Publication and related biases
Health Technol Assess
Time to publication for results of clinical trials
The Cochrane Database of Systematic Reviews
Direction and impact of language bias in meta-analyses of controlled trials: empirical study
Int J Epidemiol
Grey literature in meta-analyses of randomized trials of health care interventions
The Cochrane Database of Systematic Reviews
Fair conduct and fair reporting of clinical trials
Jama
Impact of covert duplicate publication on meta-analysis: a case study
BMJ
Evidence b(i)ased medicine--selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications
BMJ
Different patterns of duplicate publication: an analysis of articles used in systematic reviews
JAMA
Publication bias and dissemination of clinical research
J Natl Cancer Inst
Bias in meta-analysis detected by a simple, graphical test
Bmj
Cited by (21)
Advice and education provide small short-term improvements in pain and disability in people with non-specific spinal pain: a systematic review
2021, Journal of PhysiotherapyCitation Excerpt :The Indirectness domain was not assessed because the inclusions (patients, treatments and comparators) closely matched the research question. The Imprecision domain was downgraded by one level if the 95% confidence interval (95% CI) width was > 20 points (ie, twice the pre-defined minimum clinically important difference of 10 points on a 100-point scale).24 Dichotomous outcomes were downgraded by one level if the lower or upper limits of the 95% CI included appreciable benefit or harm (ie, 95% CI < 0.75 or > 1.25).
GRADE equity guidelines 1: Considering health equity in GRADE guideline development - introduction and rationale
2019, Zeitschrift fur Evidenz, Fortbildung und Qualitat im GesundheitswesenGRADE: Using evidence to decision frameworks for adoption, adaptation and de novo generation of trustworthy guideline recommendations - GRADE-ADOLOPMENT
2019, Zeitschrift fur Evidenz, Fortbildung und Qualitat im GesundheitswesenComparative effectiveness and safety of screening and counselling interventions conducted by non-physicians and physicians: A systematic review
2015, Zeitschrift fur Evidenz, Fortbildung und Qualitat im GesundheitswesenGRADE guidelines: 12. Developing Summary of Findings tables - Dichotomous outcomes
2013, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
- ☆
Übersetzt und adaptiert von: Guyatt, G.H., Oxman, A.D., Montori, V., Vist, G., Kunz, R., Brozek, J., Alonso-Coello, P., Djulbegovic, B., Atkins, D., Falck-Ytter, Y., Williams, J.W., Jr., Meerpohl, J., Norris, S.L., Akl, E.A. & Schunemann, H.J. (2011) GRADE guidelines: 5. Rating the quality of evidence - publication bias. Journal of Clinical Epidemiology, 64(12), 1277-82.