Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders

Julia Niemann-Lenz; Anja Dittrich; Jule Scheper

doi:10.5771/2192-4007-2023-4-327

Contents
- Chapter Expand | CollapseAuthorsPage
- I–III Titelei/Inhaltsverzeichnis I–III
- 277–288 EDITORIAL 277–288
  - Editorial to the Special Issue: (Re)Establishing quality criteria for content analysis: A critical perspective on the field’s core method Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi
- 289–304 RESEARCH-IN-BRIEF 289–304
  - Establishing standards for human-annotated samples applied in supervised machine learning – Evidence from a Monte Carlo simulation Corinna Oschatz, Marius Sältzer, Sebastian Stier Corinna Oschatz, Marius Sältzer, Sebastian Stier
- 305–376 FULL PAPER 305–376
  - 305–326 Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni 305–326
  - 327–353 Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders Julia Niemann-Lenz, Anja Dittrich, Jule Scheper Julia Niemann-Lenz, Anja Dittrich, Jule Scheper 327–353
  - 354–376 Ethical challenges in contemporary quantitative content analysis Annemarie Wiedicke Annemarie Wiedicke 354–376
Durchsuchen Sie das Werk
Geben Sie ein Keyword in die Suchleiste ein
CC-BY-NC-ND Access

SCM Studies in Communication and Media , page 327 - 353

Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders

Autoren

Julia Niemann-Lenz Anja Dittrich Jule Scheper

DOI
- doi.org/10.5771/2192-4007-2023-4-327
- ISSN online: 2192-4007
Zusammenfassung

Obwohl die Inhaltsanalyse eine der wichtigsten Methoden der empiri- schen Sozialforschung ist, findet der Codier-Prozess bislang nur wenig Beachtung. Dies ist besonders gravierend angesichts aktueller Entwicklungen, wie dem vermehrten Einsatz von Crowdworker*innen als Codierer*innen. Die vorliegende Studie zielt daher darauf ab, den Codierprozess genauer zu beleuchten. Konkret wird untersucht, wie a) die Codierqualität hinsichtlich Reliabilität und Validität zwischen studentischen Codierer*innen, die häufig zum Codieren genutzt werden, und neuerdings sehr beliebten Crowdworker*innen vari- iert, b) Merkmale der Codierer*innen, konkret Persönlichkeitsmerkmale und Soziodemo- grafika, die Codierqualität beeinflussen und c) manifeste und latente Kategorietypen, die für Codierer*innen unterschiedlich schwer zu codieren sind, die Qualität der Codierung beeinflussen. Zur Überprüfung der Forschungsfragen wurden von Studierenden und Crowdworker*innen Tweets zum Thema Abtreibung codiert. Ein deskriptiver Vergleich offenbart, dass die Validität in beiden Codierer*innengruppen für manifeste, also einfache, Kategorietypen ausreichend, für latente, also schwierige, Kategorietypen jedoch unzurei- chend ist. In Bezug auf die Reliabilität schneiden die studentischen Codierer*innen etwas besser ab als die Crowdworker*innen, insbesondere wenn strengere Kriterien wie Krippen- dorffs Alpha angelegt werden. Die Ergebnisse zeigen darüber hinaus, dass die Eigenschaf- ten der Codierer*innen nur einen geringen Einfluss auf die Codierqualität haben, während die Kategorietypen einen signifikanten Einfluss haben.

Abstract

Although the quantitative content analysis is one of the most important methods in empirical social research, the coding process receives little attention. This is particularly concerning in light of current developments, such as the rise of the use of crowdworkers as coders. Therefore, this study aims to shed light on the coding process by examining a) how the coding quality in terms of reliability and validity differs between student coders, which are traditionally often used for coding, and increasingly used crowdworkers, b) how coder characteristics such as personality traits and sociodemographics influence the coding qual- ity, and c) how manifest and latent category types, that are coded with varying levels of difficulty for coders, impact coding quality. To test these research questions, 300 tweets on the topic of abortion were coded by both students and crowdworkers. A descriptive com- parison reveals that the validity in both coder groups is sufficient for manifest, i.e. simple, category types but inadequate for latent, i.e. difficult, category types. Regarding reliability, student coders outperform crowdworkers slightly, particularly when more stringent crite- ria such as Krippendorff’s alpha are considered. The results show that the coder character- istics have only a minor impact on quality, while category types have a significant impact.
Share