Collecting Validity Evidence For Longitudinal Measurement Designs Using Multi-Trait Multi-Method and Latent Growth Curve Models
Öz
In
spite of the recent trends in Educational Research highlighting the importance
of non-cognitive traits, such as well-being, as priority learning outcomes,
longitudinal measurement models that would be the most suited to measure such
states and traits have not been fully explored. The current study illustrates
some of the potential advantages of longitudinal assessment designs using data
collected to study the relationship between sleep quality and well-being of university
of education students through a prospective research study. The data were
collected using a four-week assessment design and required students to respond
to "weekly" self-ratings scales on-line. The relationships between
weekly measurements were evaluated using the Multi Trait Multi Method, while
the predictive power of sleep quality or other indicators on well-being were
estimated using the Latent Growth Curve Modeling. The findings support that
longitudinal measurement models can be useful assessment tools when making
inferences about state versus trait nature of the variables from the affective
domain and whether the intra- or the inter-relationships among them change over
time. Moreover, the results suggest that using longitudinal, instead of
single-take, measurements may greatly enhance the validity arguments when it
the competencies of interest are prone show growth or change over time.
Anahtar Kelimeler
Longitudinal assessment designs multi-trait multi-method latent growth curve emotional states sleep quality.
Kaynakça
- Ağargün, M.Y., Kara, H. & Anlar, O. (1996). Pittsburgh Uyku Kalitesi İndeksi’nin geçerliği ve güvenirliği. Türk Psikiyatri Dergisi, 7, 107-111. Aydın, A., Selvi, Y. & Güzel Özdemir, P. (2013). Depresyon hastalarında aleksitiminin bedenselleştirme ve uyku kalitesi üzerine etkisi. Nöropsikiyatri Arşivi, 50, 65-69. Borgonovi, F. & Pál, J. (2016). A framework for the analysis of student well-being in the PISA 2015 study. Paris: OECD Publishing, http://dx.doi.org/10.1787/5jlpszwghvvb-en. Buysse, D. J., Reynolds, C. F., Monk, T. H., Berman, S.R. & Kupfer, D.J. (1988). The Pittsburgh Sleep Quality Index: A new instrument for psychiatric practice and research. Psychiatry Research, 28, 193-213. Curcio, G., Ferrara, M. & Gennaro, L.D. (2006). Sleep loss, learning capacity and academic performance. Sleep Medicine Reviews, 10, 323–337. doi:10.1016/j.smrv.2005.11.001. Eid, M., & Diener, E. (Eds.). (2006). Handbook of multimethod measurement in psychology. Washington, DC: American Psychological Association. Euser, A. M., Zoccali, C., Jager, K. J. & Dekker, F. W. (2009). Cohort Studies: Prospective versus Retrospective. Nephron Clinical Practice, 113, 214-217. Geiser, C., Eid, M., Nussbeck, F. W., Courvoisier, D. S. & Cole, D. A. (2010). Analyzing true change in longitudinal multitrait-multimethod studies: application of a multimethod change model to depression and anxiety in children. Developmental Psychology, 46(1), 29-45. Geiser, C. (2008). Structural equation modeling of multitrait-multimethod-multioccasion data. (Unpublished doctoral dissertation). Freie Universitat Berlin, Germany. Retrieved from http://www.diss.fuberlin.de/diss/servlets/MCRFileNodeServlet/FUDISS_derivate_000000004268/Dissertation_Christian_Geiser.pdf?hosts=. Hoffman, L. (2015). Longitudinal analysis. New York: Routledge Taylor & Francis Group. Kahraman, N., Akbaş, D. & Sözer, E. (2019). Bilişsel-olmayan öğrenme durum ve süreçlerini ölçme ve değerlendirmede boylamsal yaklaşımlar: duygu cetveli alan uygulaması örneği. Bolu Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(1), 257-269. Koch, T., Schultze, M., Eid,M. & Geiser, C. (2014). A longitudinal multilevel CFA MTMM model for interchangeable and structurally different methods. Front. Psychol., 5. doi:10.3389/fpsyg.2014.00311. McDonald, R. P. (1999). Test Theory: A Unified Treatment. Mahwah, NJ: Lawrence Erlbaum Associates, Inc. Meredith, W. & Tisak, J. (1990). Latent curve analysıs. Psychometrika, 55(1), 107-122. Merey, Z., Pişkin, M., Boysan, M. ve Şehribanoğlu, S. (2013). Türk öğretmenlerde tükenmişlik: Uyku kalitesi ve mesleki doyumun etkisi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 28 (3), 332-342. Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed.). New York: American Council on Education and Macmillan. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741-749. Muthén, B. O. & Curran, P. J. (1997). General longitudinal modeling of individual differences in experimental designs: a latent variable framework for analysis and power estimation. Psychological Methods, 2(4), 371-402. Muthén, L. K. & Muthén, B. O. (1998-2012). Mplus User Guide (7th ed.). Los Angeles, CA: Muthén & Muthén. Widaman, K. F., Ferrer, E. & Conger, R. D. (2010). Factorial invariance within longitudinal structural equation models: measuring the same construct across time. Child Development Perspectives, 4(1), 10-18.
Boylamsal Ölçme Modelleri için Geçerlik Argümanı: Çoklu-Özellik Çoklu-Yöntem ve Örtük Büyüme Modellerinin Kullanımı
Öz
Boylamsal
ölçme modellerinin geliştirilmesi ve yaygınlaşması, iyi-oluş, duygusal olarak
dengeli olma gibi sonuç değil, süreç ifade eden duyuşsal özellikler ve bu
özelliklerin yordayıcılarının çalışıldığı tüm eğitim bilimleri araştırmaları
için çok büyük ve henüz tam da anlamıyla karşılanmayan bir ihtiyaçtır. Bu
çalışma, bu amaçla kullanılabilecek boylamsal bir ölçme modelinin nasıl
geliştirilebileceği ve uygulanabileceğini "uyku kalitesi" ve
"iyi-oluş" arasındaki dinamik ilişkinin modellendiği, öğretmen
adaylarının sosyal-duygusal becerilerinin çalışıldığı prospektif (prospective)
bir alan araştırması üzerinden örneklendirmektedir. Bireylerin uyku kaliteleri,
duygu durumları ve genel iyi-oluşları ile ilgili ölçümlerin tek seferlik ya da
tekrarlı oluşlarına göre karşılaştırmalı olarak etkililiği Çoklu Özellik Çoklu
Yöntem (ÇÖÇY) kullanılarak, yordayıcılıkları ise Örtük Büyüme Modelleri ile test
edilmiştir. Bulgular, uyku kalitesi ve iyi-oluş gibi süreç ifade eden
özelliklerin ölçülmesinde ve ilişkilendirilmesinde boylamsal ölçme modellerinin
oldukça kullanışlı olabileceğini göstermektedir. Sonuçlar, tekrarlı veriler
üzerinden yapılacak ÇÖÇY ve Örtük Büyüme Modelleri analizleri ile toplanan
detaylı kanıtların yapılacak geçerlilik argümanlarını zenginleştireceğini
destekler niteliktedir.
Anahtar Kelimeler
Boylamsal ölçme desenleri çoklu-özellik çoklu-yöntem örtük büyüme modeli duygu durumları uyku kalitesi.
Kaynakça
- Ağargün, M.Y., Kara, H. & Anlar, O. (1996). Pittsburgh Uyku Kalitesi İndeksi’nin geçerliği ve güvenirliği. Türk Psikiyatri Dergisi, 7, 107-111. Aydın, A., Selvi, Y. & Güzel Özdemir, P. (2013). Depresyon hastalarında aleksitiminin bedenselleştirme ve uyku kalitesi üzerine etkisi. Nöropsikiyatri Arşivi, 50, 65-69. Borgonovi, F. & Pál, J. (2016). A framework for the analysis of student well-being in the PISA 2015 study. Paris: OECD Publishing, http://dx.doi.org/10.1787/5jlpszwghvvb-en. Buysse, D. J., Reynolds, C. F., Monk, T. H., Berman, S.R. & Kupfer, D.J. (1988). The Pittsburgh Sleep Quality Index: A new instrument for psychiatric practice and research. Psychiatry Research, 28, 193-213. Curcio, G., Ferrara, M. & Gennaro, L.D. (2006). Sleep loss, learning capacity and academic performance. Sleep Medicine Reviews, 10, 323–337. doi:10.1016/j.smrv.2005.11.001. Eid, M., & Diener, E. (Eds.). (2006). Handbook of multimethod measurement in psychology. Washington, DC: American Psychological Association. Euser, A. M., Zoccali, C., Jager, K. J. & Dekker, F. W. (2009). Cohort Studies: Prospective versus Retrospective. Nephron Clinical Practice, 113, 214-217. Geiser, C., Eid, M., Nussbeck, F. W., Courvoisier, D. S. & Cole, D. A. (2010). Analyzing true change in longitudinal multitrait-multimethod studies: application of a multimethod change model to depression and anxiety in children. Developmental Psychology, 46(1), 29-45. Geiser, C. (2008). Structural equation modeling of multitrait-multimethod-multioccasion data. (Unpublished doctoral dissertation). Freie Universitat Berlin, Germany. Retrieved from http://www.diss.fuberlin.de/diss/servlets/MCRFileNodeServlet/FUDISS_derivate_000000004268/Dissertation_Christian_Geiser.pdf?hosts=. Hoffman, L. (2015). Longitudinal analysis. New York: Routledge Taylor & Francis Group. Kahraman, N., Akbaş, D. & Sözer, E. (2019). Bilişsel-olmayan öğrenme durum ve süreçlerini ölçme ve değerlendirmede boylamsal yaklaşımlar: duygu cetveli alan uygulaması örneği. Bolu Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(1), 257-269. Koch, T., Schultze, M., Eid,M. & Geiser, C. (2014). A longitudinal multilevel CFA MTMM model for interchangeable and structurally different methods. Front. Psychol., 5. doi:10.3389/fpsyg.2014.00311. McDonald, R. P. (1999). Test Theory: A Unified Treatment. Mahwah, NJ: Lawrence Erlbaum Associates, Inc. Meredith, W. & Tisak, J. (1990). Latent curve analysıs. Psychometrika, 55(1), 107-122. Merey, Z., Pişkin, M., Boysan, M. ve Şehribanoğlu, S. (2013). Türk öğretmenlerde tükenmişlik: Uyku kalitesi ve mesleki doyumun etkisi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 28 (3), 332-342. Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed.). New York: American Council on Education and Macmillan. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741-749. Muthén, B. O. & Curran, P. J. (1997). General longitudinal modeling of individual differences in experimental designs: a latent variable framework for analysis and power estimation. Psychological Methods, 2(4), 371-402. Muthén, L. K. & Muthén, B. O. (1998-2012). Mplus User Guide (7th ed.). Los Angeles, CA: Muthén & Muthén. Widaman, K. F., Ferrer, E. & Conger, R. D. (2010). Factorial invariance within longitudinal structural equation models: measuring the same construct across time. Child Development Perspectives, 4(1), 10-18.