Inter-rater agreement in sleep stage classification between centers with different backgrounds

Zusammenfassung

Fragestellung

Unterschiede in der visuellen Schlafauswertung zwischen einem klinischen Zentrum (Universität Marburg, UMA) und zwei Zentren mit Forschungshintergrund (Deutsches Zentrum für Luft- und Raumfahrt, DLR und Universität Dortmund, UDO) sollten bestimmt werden. Die neuen AASM Regeln zur Schlafstadienklassifikation wurden bezüglich ihrer Eignung zur Erhöhung der Übereinstimmung in der Schlafstadienauswertung überprüft.

Patienten und Methoden

Jedes Zentrum trug mit 20 Nächten bei. Alle 60 Nächte (37 Probanden, 9 weiblich, mittleres Alter ± Standardabweichung = 41.8 ± 16.1 Jahre) wurden von jedem Zentrum nach Rechtschaffen und Kales ausgewertet. 20 Probanden wurden auf Schlafapnoe untersucht. Die übrigen Versuchspersonen nahmen an Verkehrslärmwirkungsstudien teil und waren schlafgesund.

Ergebnisse

Laut kappa-Statistik war die Übereinstimmung zwischen den Zentren in 38 % exzellent, in 62 % mäßig bis gut und niemals schlecht. kappa-Durchschnittswerte sanken in der Reihenfolge REM, Wach, Stadium 2, Tiefschlaf (Stadium 3 und Stadium 4 kombiniert), Stadium 4, Stadium 1 und Stadium 3. Die in den verschiedenen Schlafstadien verbrachte Zeit war positiv mit kappa-Werten korreliert. Paarweise Vergleiche zeigten, dass UDO signifikant schlechter in Stadium 1 übereinstimmte. Für die übrigen Schlafstadien konnten jedoch keine signifikanten Unterschiede zwischen den Zentren gefunden werden. Venn-Diagramme zeigten, dass UDO tendenziell mehr Wach und UMA tendenziell mehr Stadium 4 alleine klassifizierten.

Schlussfolgerungen

Insgesamt waren die Unterschiede zwischen den Zentren gering ausgeprägt. Sowohl durch paarweise kappa-Vergleiche zwischen mehreren Zentren/Auswertern als auch durch Venn-Diagramme können systematische Abweichungen einzelner Zentren/ Auswerter aufgedeckt werden, und diese sollten anschließend vertiefendes Training erhalten. Die neuen AASM-Regeln zur Schlafstadienklassifikation werden die Übereinstimmung in der Auswertung vermutlich erhöhen, was zukünftige Studien jedoch erst noch zeigen müssen.

Summary

Question of the study

To investigate inter-rater agree- ment between scorers from three centers with clinical (Marburg University, UMA) or research (German Aerospace Center, DLR and Dortmund University, UDO) backgrounds. Additionally, sleep scoring rules of the new AASM manual for the scoring of sleep and associated events were reviewed regarding possible implications for inter-rater agreement.

Patients and methods

Each of three centers contributed 20 nights. All 60 nights (37 subjects, 9 female, mean age ± sd = 41.8 ± 16.1 years) were scored by each center according to the rules of Rechtschaffen and Kales. Twenty subjects underwent obstructive sleep apnea (OSA) diagnosis, the remaining subjects participated in studies on the effects of traffic noise on sleep and were free of intrinsic sleep disorders.

Results

According to kappa statistics, inter-rater agreement between the three centers was excellent in 38 %, fair to good in 62 % and never poor. Mean kappa values decreased in the order rapid eye movement sleep, wake, stage 2, slow wave sleep, stage 4, stage 1 and stage 3. Time spent in the different sleep stages was positively correlated with kappa values. Pairwise comparisons revealed that agreement on stage 1 was significantly worse for UDO, but concerning all other stages none of the centers deviated significantly from the other two. Analyses of Venn diagrams showed tendencies of UDO for scoring wake alone and of UMA for scoring stage 4 alone.

Conclusions

Differences between clinical and research centers were overall minor. Pairwise kappa comparisons of several centers/scorers as well as Venn diagrams may detect systematic deviances of single centers/ scorers that consequently should receive additional training. The revised AASM rules for sleep scoring will most likely increase inter-rater agreement, but future studies will have to prove this.