Resumos

Introdução

Educação pode ser entendida como uma prestação de serviço, gerando satisfação ou insatisfação em relação aos seus aspectos. Nesse sentido, a qualidade dos serviços oferecidos e a satisfação dos discentes são fundamentais para as Instituições de Ensino Superior (IES) que buscam sobreviver no mercado educacional (VIEIRA; KUNKEL; RIGHI, 2012Vieira, K. M.; Kunkel, F. I. R.; Righi, M. B. Desenvolvimento e validação do modelo PLS-PM aplicado à satisfação dos alunos de uma instituição de ensino superior. Perspectiva, Erechim, v. 36, n. 134, p. 109-124, 2012.).

A preocupação com a qualidade na educação tem aumentado nos últimos anos e os governos começam a manifestar, em suas políticas, uma preocupação cada vez maior com essa questão (DAVOK, 2007Davok, D. F. Qualidade em educação. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 12, n. 3, p. 505-513, 2007.).

Qualidade em serviços pode ser compreendida como a capacidade que um processo possui de satisfazer uma necessidade, solucionar um problema ou fornecer um benefício a alguém. De acordo com Davok (2007)Davok, D. F. Qualidade em educação. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 12, n. 3, p. 505-513, 2007., generalizando, o conceito de qualidade na área educacional abarca as estruturas, os processos e os resultados educacionais.

Para que o processo de ensino esteja inserido na melhoria contínua da qualidade, se faz necessária a busca pelo empenho de todos os envolvidos no processo, procurando desempenhar suas atividades da melhor forma e reconhecendo a importância da autoavaliação no ambiente universitário (ZANELLA; LOPES; SEIDEL, 2009Zanella, A.; Lopes, L. F. D.; Seidel, E. J. Diagnóstico do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. Revista GEPROS: Gestão da Produção, Operações e Sistemas, Bauru, v. 4, n. 3, p. 123-140, 2009.).

Uma metodologia que tem sido utilizada para a avaliação da satisfação é a Teoria da Resposta ao Item (TRI). A TRI é um conjunto de modelos matemáticos que define uma maneira de estabelecer uma relação entre variáveis latentes e suas manifestações, possibilitando a criação de medidas padronizadas. A TRI pode ser descrita como uma teoria baseada em inferências estatísticas, na qual características latentes de indivíduos ou sistemas são estimadas, tendo como base as respostas destes a um determinado conjunto de itens (AYALA, 2009Ayala, R. J. The theory and practice of Item Response Theory. New York: The Guilford Press, 2009.). Também é uma poderosa ferramenta estatística que surgiu para suprir as necessidades decorrentes das limitações da Teoria Clássica da Medida (TCM) ou Teoria Clássica do Teste (TCT), teoria que tradicionalmente era – e ainda é – utilizada nas avaliações. Atualmente, a TRI vem sendo bastante difundida no mundo todo, principalmente na área de educação e testes psicológicos. Uma relação de trabalhos sobre TRI publicados no Brasil até o ano de 2009 encontra-se disponível em Moreira Junior (2010).

Este trabalho tem como objetivo utilizar a TRI como ferramenta de avaliação da satisfação dos alunos das disciplinas de Estatística da Universidade Federal de Santa Maria (UFSM), com aplicação do Modelo de Resposta Gradual de natureza unidimensional e cumulativa da TRI, criando uma escala de medida, na qual se localizam os itens de satisfação e os respondentes, numa mesma unidade de medida. Os dados utilizados são oriundos das pesquisas de Zanella (2008)Zanella, A. Diagnóstico da qualidade do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. 2008. 119 f. Dissertação (Mestrado em Engenharia de Produção)-Programa de Pós-Graduação em Engenharia de Produção, Centro de Tecnologia, Universidade Federal de Santa Maria, Santa Maria, 2008., Zanella, Lopes e Seidel (2009)Zanella, A.; Lopes, L. F. D.; Seidel, E. J. Diagnóstico do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. Revista GEPROS: Gestão da Produção, Operações e Sistemas, Bauru, v. 4, n. 3, p. 123-140, 2009. e Zanella, Seidel e Lopes (2010)Zanella, A.; Seidel, E. J.; Lopes, L. F. D. Validação de questionário de satisfação usando análise fatorial. Revista INGEPRO: Inovação, Gestão e Produção, Santa Maria, v. 2, n. 12, p. 102-112, 2010., em que foi aplicado um questionário para verificar o nível de satisfação quanto aos professores do Departamento de Estatística da UFSM, a infraestrutura oferecida e a contribuição da disciplina de Estatística para a formação profissional dos estudantes, bem como identificar aspectos do perfil desses alunos.

O uso de métodos estatísticos vem crescendo entre acadêmicos e pesquisadores de diversas áreas (BONAFÉ; LOFFREDO; CAMPOS, 2010Bonafé, F. S. S.; Loffredo, L. C. M.; Campos, J. A. D. B. Atitudes em relação à Bioestatística de discentes e docentes da Faculdade de Ciências Farmacêuticas de Araraquara-UNESP. Revista de Ciências Farmacêuticas Básica e Aplicada, Araraquara, v. 31, n. 2, p. 143-147, 2010.), e a importância de suas aplicações como ferramenta de auxílio na tomada de decisões, de acordo com Mantovani e Gouvêa (2012)Mantovani, D. M. N.; Gouvêa, M. A. Estatística aplicada à Administração: um estudo de atitudes versus desempenho do aluno. Revista Iberoamericana de Educacíon, Madrid, n. 58/2, p. 1-12, 2012., tem crescido e, com isto, surge a necessidade de se compreenderem as dificuldades no ensino desta disciplina.

O estudo justifica-se, então, pelo fato de que é necessário investigar os aspectos de satisfação ou insatisfação dos alunos em relação a tudo o que cerca o ensino da disciplina de Estatística, permitindo entender como está tal processo e o que pode ser melhorado.

Contudo, há de se frisar que o aluno não deve ser entendido como simplesmente um consumidor (um cliente), mas, sim, deve ser encarado como um verdadeiro parceiro no processo de aprendizagem (SOUZA; REINERT, 2010Souza, S. A.; Reinert, J. N. Avaliação de um curso de ensino superior através da satisfação/insatisfação discente. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 15, n. 1, p. 159-176, 2010.), fazendo com que o processo seja construído em conjunto por gestores, professores, estudantes e demais agentes.

Avaliação da satisfação

Segundo Santos e Ferreira (2005)Santos, C. R.; Ferreira, M. C. L. Avaliação Educacional: um olhar reflexivo sobre sua prática. São Paulo: Avercamp, 2005., a avaliação pode ser entendida como uma apreciação da qualidade e da eficácia do sistema de ensino como um todo ou parte dele, e deve provocar, no aluno, uma reflexão sobre o que ele vem vivenciando durante as situações de aprendizagem.

A avaliação não consiste em um instrumento de medida de atividades de indivíduos isolados e nem em um mecanismo de exposição da fragilidade ou das deficiências de alguns profissionais específicos. Esta deve ser compreendida e promovida como um processo de caráter pedagógico e de construção de valores, não se limitando à elaboração de relatórios e diagnósticos, e ao julgamento de resultados e ações já realizadas. Avaliação é um processo e, como tal, deve fazer parte da instituição, e realizar-se como cultura (BALZAN; DIAS SOBRINHO, 2005Balzan, N. C.; Dias Sobrinho, J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2005.). Neste sentido, para Souza e Reinert (2010)Souza, S. A.; Reinert, J. N. Avaliação de um curso de ensino superior através da satisfação/insatisfação discente. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 15, n. 1, p. 159-176, 2010., a satisfação tem grande relevância na avaliação discente de cursos superiores, por resultar de um julgamento formulado a partir da realidade percebida.

Segundo Paulins (2005)Paulins, V. A. An analysis of customer service quality to college students as influenced by customer appearance through dress during the in-store shopping process. Journal of Retailing and Consumer Services, v. 12, n. 5, p. 345-355, 2005. http://dx.doi.org/10.1016/j.jretconser.2004.11.003.
http://dx.doi.org/10.1016/j.jretconser.2... , a satisfação dos clientes depende muito da qualidade dos serviços que estão consumindo e da qualidade que eles esperam dos serviços. Dessa forma, pode-se entender, no contexto universitário, que a percepção do estudante com relação à qualidade dos serviços educacionais recebidos é proporcional às suas expectativas sobre os mesmos.

De acordo com Vieira, Milach e Huppes (2008)Vieira, K. M.; Milach, F. T.; Huppes, D. Equações estruturais aplicadas à satisfação dos alunos: um estudo no curso de ciências contábeis. Revista Contabilidade & Finanças, São Paulo, v. 19, n. 48, p. 65-76, 2008. e Vieira, Kunkel e Righi (2012)Vieira, K. M.; Kunkel, F. I. R.; Righi, M. B. Desenvolvimento e validação do modelo PLS-PM aplicado à satisfação dos alunos de uma instituição de ensino superior. Perspectiva, Erechim, v. 36, n. 134, p. 109-124, 2012., compreender quais as variáveis que influenciam a satisfação dos acadêmicos é fundamental para as IES que desejam manter a qualidade dos serviços prestados. Neste sentido, segundo Zanella, Lopes e Seidel (2009)Zanella, A.; Lopes, L. F. D.; Seidel, E. J. Diagnóstico do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. Revista GEPROS: Gestão da Produção, Operações e Sistemas, Bauru, v. 4, n. 3, p. 123-140, 2009., a avaliação da satisfação do aluno pode ser entendida como um processo que gera conhecimento e informação para a tomada de decisões.

Monitorar os níveis de satisfação dos acadêmicos, avaliando o seu interesse e o dos professores, as formas de ensino, os currículos e a organização do curso, é uma maneira de garantir a satisfação das necessidades tanto dos alunos como da sociedade (VIEIRA; MILACH; HUPPES, 2008Vieira, K. M.; Milach, F. T.; Huppes, D. Equações estruturais aplicadas à satisfação dos alunos: um estudo no curso de ciências contábeis. Revista Contabilidade & Finanças, São Paulo, v. 19, n. 48, p. 65-76, 2008.). Além disso, medir a satisfação do aluno é uma questão de sobrevivência para a IES, pois esta deve buscar continuamente a avaliação da satisfação. Para isso, é necessário ter um instrumento que indique se o caminho seguido está ou não em conformidade com aquilo que o consumidor (aluno) espera (MOREIRA JUNIOR, 2010).

Os questionários de satisfação possibilitam a uma instituição a indicação precisa do grau de acerto das diretrizes de seus processos, bem como podem determinar a qualidade dos serviços resultantes desses processos (ZANELLA; SEIDEL; LOPES, 2010Zanella, A.; Seidel, E. J.; Lopes, L. F. D. Validação de questionário de satisfação usando análise fatorial. Revista INGEPRO: Inovação, Gestão e Produção, Santa Maria, v. 2, n. 12, p. 102-112, 2010.). Da mesma forma que outras organizações modernas, as IES devem cumprir exigências de qualidade, competência e produtividade (VIEIRA; KUNKEL; RIGHI, 2012Vieira, K. M.; Kunkel, F. I. R.; Righi, M. B. Desenvolvimento e validação do modelo PLS-PM aplicado à satisfação dos alunos de uma instituição de ensino superior. Perspectiva, Erechim, v. 36, n. 134, p. 109-124, 2012.).

Assim, como concluem Zanella, Lopes e Seidel (2009)Zanella, A.; Lopes, L. F. D.; Seidel, E. J. Diagnóstico do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. Revista GEPROS: Gestão da Produção, Operações e Sistemas, Bauru, v. 4, n. 3, p. 123-140, 2009., em seu estudo, a avaliação da satisfação do aluno pode ser entendida como um processo que gera conhecimento e informação para a tomada de decisões sobre os procedimentos de ensino de Estatística.

Teoria da Resposta ao Item (TRI)

A TRI é uma metodologia que sugere formas de representar a relação entre a probabilidade de um indivíduo apresentar certa resposta a um item e seus traços latentes (habilidades), por meio de um modelo matemático (ANDRADE; TAVARES; VALLE, 2000Andrade, D. F.; Tavares, H. R.; Valle, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.).

Traços latentes (ou variáveis latentes) são características do indivíduo que não podem ser observadas diretamente, isto é, não existe um aparelho capaz de medi-las diretamente, como, por exemplo, um termômetro que mede diretamente a temperatura. São exemplos de traços latentes: nível de satisfação, conhecimento, habilidade, grau de depressão etc. Portanto, essas características são mensuradas através de variáveis secundárias que sejam relacionadas com o traço latente em estudo. O traço latente é medido em uma escala criada através da aplicação da TRI. Essa escala pode ser criada com quaisquer valores de média e desvio padrão, entretanto é comum utilizar uma escala (0, 1), isto é, com média igual a zero e desvio padrão igual a um.

Existem várias vantagens em se utilizar a Teoria de Resposta ao Item em vez da Teoria Clássica de Medidas (TCM), dentre as quais se destacam:

a) A TRI permite fazer comparações de respondentes de populações diferentes quando são submetidos a testes ou questionário que tenham alguns itens comuns e ainda permite a comparação de indivíduos de mesma população submetidos a testes totalmente diferentes. Na TCM, só é possível comparar indivíduos submetidos ao mesmo teste (testes paralelos) (ANDRADE; TAVARES; VALLE, 2000Andrade, D. F.; Tavares, H. R.; Valle, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.);

b) Na TRI, os itens e os indivíduos estão na mesma escala; assim, o nível de uma característica que um indivíduo possui pode ser comparado ao nível da característica exigida pelo item, o que facilita a interpretação da escala gerada e permite também conhecer quais itens que estão produzindo informação ao longo da escala. Na TCM, os itens e indivíduos não estão na mesma escala (EMBRETSON; REISE, 2000Embretson, S.; Reise, S. P. Item Response Theory for psychologists. New Jersey: Lawrence Erlbaum Associates, 2000.);

c) A TRI possui o princípio da invariância, isto é, os parâmetros dos itens não dependem do traço latente do respondente e os parâmetros dos indivíduos não dependem dos itens apresentados, sendo este princípio um dos grandes benefícios da TRI. Na TCM, o escore do indivíduo depende do grau de dificuldade dos itens (HAMBLETON; SWAMINATAN; ROGERS, 1991).

Embora tenha começado na área de avaliação educacional (SOARES, 2005SOARES, T. M. Utilização da teoria da resposta ao item na produção de indicadores sócio-econômicos. Pesquisa Operacional, Rio de Janeiro, v. 25, n. 1, 2005.), a TRI expandiu-se rapidamente para as mais diversas áreas que têm como objetivo a avaliação, como no caso da avaliação da satisfação (BORTOLOTTI, 2003Bortolotti, S. L. V. Aplicação de um modelo de desdobramento graduado generalizado da teoria da resposta ao item – TRI. 2003. 107 f. Dissertação (Mestrado em Engenharia de Produção)-Programa de Pós-Graduação em Engenharia de Produção, Centro Tecnológico, Universidade Federal de Santa Catarina, Florianópolis, 2003.; BORTOLOTTI; ANDRADE, 2007Bortolotti, S. L. V.; Andrade, D. F. Aplicação de um modelo de desdobramento graduado generalizado – GGUM da teoria da resposta ao item. Estudos em Avaliação Educacional, São Paulo, v. 18, n. 37, p. 157-188, 2007.; COSTA, 2001Costa, M. B. F. Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. 2001. Dissertação (Mestrado em Ciências)-Programa de Pós-Graduação em Métodos Numéricos em Engenharia, Universidade Federal do Paraná, Curitiba, 2001.; COSTA; CHAVES NETO, 2002Costa, M. B. F.; Chaves Neto, A. Aplicação da Teoria da Resposta ao Item (TRI) na avaliação do grau de satisfação do consumidor em um serviço específico. In: REUNIÃO REGIONAL DA ASSOCIAÇÃO BRASILEIRA DE ESTATÍSTICA 34., 2002, Fortaleza - CE. Resumos... São Paulo: ABE - Associação Brasileira de Estatística, 2002. p. 31-31.; MENDES, 2006Mendes, E. L. Uma metodologia para avaliação da satisfação do consumidor com os serviços prestados pelas distribuidoras de energia elétrica. 2006. 148 f. Tese (Doutorado em Engenharia Elétrica)-Programa de Pós-Graduação em Engenharia Elétrica, Departamento de Engenharia Elétrica, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2006.).

Existe uma grande variedade de modelos matemáticos que são utilizados na TRI e a escolha desse modelo depende basicamente do tipo de item (dicotômico, politômico, gradual, etc.), da natureza do traço latente (cumulativo, não cumulativo) e da dimensionalidade do traço latente (unidimensional ou multidimensional). A dimensionalidade está relacionada com a quantidade de traços latentes que estão sendo analisados. A maioria das aplicações da TRI considera apenas um traço latente (AYALA, 2009Ayala, R. J. The theory and practice of Item Response Theory. New York: The Guilford Press, 2009.; EMBRETSON; REISE, 2000Embretson, S.; Reise, S. P. Item Response Theory for psychologists. New Jersey: Lawrence Erlbaum Associates, 2000.; HAMBLETON; SWAMINATHAN; ROGERS, 1991Hambleton, R. K.; Swaminathan, H.; Rogers, H. J. Fundamentals of item response theory. Newbury Park: Sage, 1991.).

Neste estudo, os itens foram construídos em uma escala gradual com cinco categorias de respostas. Dentre os modelos desenvolvidos para itens com resposta gradual, destaca-se o Modelo de Resposta Gradual (MRG) de Samejima (1969______. Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph Supplement, Stacks, n. 17, 1969., 1972Samejima, F. A general model for free response data. Psychometrika Monograph Supplement, Stacks, n. 18, 1972., 1997______. Graded response model. In: VAN DER LINDEN, W. J.; HAMBLETON, R. K. (Ed.). Handbook of modern item response theory. New York: Springer, 1997. p. 85-100.). Neste modelo, são estimados dois tipos de parâmetros relacionados com o item:

1.º) O parâmetro de dificuldade (“b_i,k”): este parâmetro é referido como o parâmetro “limiar”. O parâmetro de dificuldade refere-se à probabilidade de um indivíduo comum com determinado nível do traço latente selecionar uma categoria de resposta (por exemplo, insatisfeito) ou uma categoria mais alta ordenada (por exemplo, pouco insatisfeito, satisfeito ou muito satisfeito). Esse parâmetro representa o ponto na escala do traço latente em que há 50% de chance de que uma dada categoria de resposta ou uma categoria mais alta ordenada seja selecionada, isto é, estes parâmetros representam os limiares entre as categorias de resposta;

2.º) O parâmetro de discriminação (“a_i”): este parâmetro representa o quanto um item discrimina entre os respondentes de diferentes níveis do traço latente, determinando a “qualidade” do item. Quanto maior o valor deste parâmetro, melhor é o item e melhor é a discriminação entre os indivíduos nos diferentes níveis de traço latente.

Suponha que os escores das categorias de um item i são arranjados em ordem do menor para o maior e denotados por k=0;1;...; m_i, em que m_i+1 é o número de categorias do i-ésimo item. A probabilidade de um indivíduo j escolher uma particular categoria de resposta ou outra mais alta do item i pode ser dada por uma extensão do Modelo Logístico Unidimensional de Dois Parâmetros (MLU2) (ANDRADE; TAVARES; VALLE, 2000Andrade, D. F.; Tavares, H. R.; Valle, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.), conforme a Equação 1:

Nesse modelo, a discriminação de uma categoria específica de resposta depende tanto do parâmetro de inclinação a_i, comum a todas as categorias do item, quanto da distância das categorias de dificuldade adjacentes. Necessariamente, deve-se ter uma ordenação entre o nível de dificuldade das categorias de um dado item, de acordo com a classificação de seus escores, ou seja,

A probabilidade de um indivíduo j receber um escore k no item i é dada então pela Equação 2:

Observa-se que em um item com () categorias, $m_i$valores de dificuldade necessitam ser estimados, além do parâmetro de inclinação do item. Assim, para cada item, o número de parâmetros a ser estimado será dado pelo seu número de categorias de resposta. A Figura 1 apresenta um gráfico de um item com parâmetros estimados pelo MRG, denominado Curva Característica do Item (CCI), para um item hipotético com quatro categorias e com parâmetros a₁ = 1; b_1,1 = -2; b₁,₂ = 0, e b_1,3 = 2.

Figura 1
- Exemplo de gráfico de um MRG
Fonte: Andrade, Tavares e Valle (2000)Andrade, D. F.; Tavares, H. R.; Valle, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000..

Observando-se o gráfico da Figura 1, dá-se a seguinte interpretação: indivíduos que possuem o valor do traço latente inferior a –2 têm maior probabilidade de responder à categoria 1; indivíduos que possuem o valor do traço latente entre –2 e 0 têm maior probabilidade de responder à categoria 2; indivíduos que possuem o valor do traço latente entre 0 e 2 têm maior probabilidade de responder à categoria 3, e indivíduos que possuem o valor do traço latente maior que 2 têm maior probabilidade de responder à categoria 4.

Nos modelos politômicos, o parâmetro de discriminação deve ser interpretado cuidadosamente (MATTEUCCI: STRACQUALURSI, 2006Matteucci, M.; Stracqualursi, L. Student assessment via Graded Response Model. Statistica, Bologna, anno LXVI, n. 4, p. 435-447, 2006.). Para avaliar a quantia de discriminação que um item fornece, utiliza-se a função de informação do item (FII), que no MRG é dada pela Equação 3:

A estimação dos parâmetros no MRG é feita por meio de métodos estatísticos que necessitam de recursos computacionais para serem utilizados. Em geral, utiliza-se o método da Máxima Verossimilhança (MV) ou algum método bayesiano, como, por exemplo, da Esperança a Posteriori (EAP) ou da Moda a Posteriori (MAP) (BAKER, 1992Baker, F. B. Item response theory parameter estimation techniques. New York: Marcel Dekker, 1992.). O processo de estimação dos parâmetros dos itens e dos respondentes está implementado em softwares específicos, tais como MULTILOG (THISSEN, 1991______. Multiloguser’s guide: multiple, categorical item analysis and testing score using Item Response Theory. Chicago: Scientific Software, 1991., 2003Thissen, D. Multilog 7.0. Multiple, categorical item analysis and test scoring using item response theory. Lincolnwood: Scientific Software International, 2003.; TOIT, 2003Toit, M. IRT from SSI: Bilog-Mg, Multilog, Parscale, Testfact. Chicago: Scientific Software, 2003.) e PARSCALE (MURAKI; BOCK, 1997Muraki, E.; Bock, R. D. Parscale: IRT Based Test Scoring and Item Analysis for Graded Open-Ended Exercises and Performance Tasks. Chicago: Scientific Software Inc., 1997.; TOIT, 2003Toit, M. IRT from SSI: Bilog-Mg, Multilog, Parscale, Testfact. Chicago: Scientific Software, 2003.). Neste trabalho, os parâmetros do modelo foram estimados por meio do método da Máxima Verossimilhança Marginal, método implementado no software MULTILOG.

Para interpretar os valores dos parâmetros dos itens, é necessário conhecer a escala na qual estes foram determinados. A construção da escala é feita definindo-se níveis âncora e identificando itens âncoras. Considerando-se dois níveis âncora, X e Y com X<Y, um item é âncora para um nível Y se, e somente se, satisfizer as condições (BEATON; ALLEN, 1992Beaton, A. E.; Allen, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, p. 191-204, 1992.):

Isto significa que, para um item ser considerado âncora em um determinado nível âncora Y, é necessário que seja respondido positivamente por pelo menos 65% dos respondentes com este nível do traço latente e por uma proporção menor do que 50% dos respondentes de um nível de traço latente imediatamente inferior X. E ainda que a diferença entre a proporção de respondentes destes dois níveis consecutivos deve ser pelo menos de 30% (BEATON; ALLEN, 1992Beaton, A. E.; Allen, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, p. 191-204, 1992.). Portanto, um item é considerado âncora quando for típico daquele nível ancora Y e atender às três condições descritas. Essas condições são válidas para os Modelos Logísticos (dicotômicos) da TRI, porém, conforme Mafra (2010)Mafra, P. M. R. Proposta de uma sistemática para a modelagem de risco de crédito sob a perspectiva da teoria da criação do conhecimento: uma abordagem da teoria da resposta ao item. 2010. Tese (Doutorado em Engenharia e Gestão do Conhecimento)-Universidade Federal de Santa Catarina, Florianópolis, 2010., podem ser adaptadas à Modelos Politômicos, em que não é verificado se um item é âncora, mas se uma categoria do item é âncora. Para os Modelos Politômicos, esse é um processo de dicotomização das k categorias dos itens, de tal forma que é possível verificar se k-1 categorias são âncoras ou não. No entanto, não é possível verificar se a categoria mais baixa da escala é âncora, conforme a aplicação de Mafra (2010)Mafra, P. M. R. Proposta de uma sistemática para a modelagem de risco de crédito sob a perspectiva da teoria da criação do conhecimento: uma abordagem da teoria da resposta ao item. 2010. Tese (Doutorado em Engenharia e Gestão do Conhecimento)-Universidade Federal de Santa Catarina, Florianópolis, 2010..

A partir das respostas obtidas de respondentes a um conjunto de itens, a TRI possibilita a estimação dos parâmetros dos itens e dos indivíduos em uma escala de medida. Por exemplo, neste estudo, em que está sendo avaliado nível de satisfação, a análise com a TRI irá estimar o nível de satisfação do respondente (traço latente) e também os parâmetros dos itens de modo a criar uma escala de medida do nível de satisfação.

Metodologia

O desenvolvimento do presente trabalho constitui-se de pesquisa bibliográfica e de campo, com abordagem quantitativa, desenvolvida para avaliar a satisfação dos alunos das disciplinas de Estatística em relação aos professores do Departamento de Estatística da Universidade Federal de Santa Maria (UFSM), à infraestrutura das salas de aula e à disciplina. A amostra foi constituída de 500 alunos dos cursos de graduação e pós-graduação que tiveram aula da disciplina de Estatística no primeiro semestre do ano de 2007, conforme especificado por Zanella (2008)Zanella, A. Diagnóstico da qualidade do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. 2008. 119 f. Dissertação (Mestrado em Engenharia de Produção)-Programa de Pós-Graduação em Engenharia de Produção, Centro de Tecnologia, Universidade Federal de Santa Maria, Santa Maria, 2008., Zanella, Lopes e Seidel (2009)Zanella, A.; Lopes, L. F. D.; Seidel, E. J. Diagnóstico do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. Revista GEPROS: Gestão da Produção, Operações e Sistemas, Bauru, v. 4, n. 3, p. 123-140, 2009. e Zanella, Seidel e Lopes (2010)Zanella, A.; Seidel, E. J.; Lopes, L. F. D. Validação de questionário de satisfação usando análise fatorial. Revista INGEPRO: Inovação, Gestão e Produção, Santa Maria, v. 2, n. 12, p. 102-112, 2010.. Estudos anteriores sobre o modelo de resposta gradual indicam que é necessária uma amostra de pelo menos 500 respondentes, distribuídos nos diferentes níveis do traço latente, para obter uma calibração adequada dos itens (REISE; YU, 1990Reise, S. P.; Yu, J. Parameter recovery in the graded response model using MULTILOG. Journal of Educational Measurement, Washington, v. 27, n. 2, p. 133-144, 1990. http://dx.doi.org/10.1111/j.1745-3984.1990.tb00738.x.
http://dx.doi.org/10.1111/j.1745-3984.19... ). A coleta dos dados foi realizada por meio de um questionário fechado, composto por 30 itens. Os sete primeiros eram qualitativos e buscavam caracterizar o perfil dos alunos. Os demais, num total de 23 itens, eram quantitativos e buscavam investigar a satisfação do aluno, sendo que 13 itens avaliavam o professor, três itens avaliavam a infraestrutura e sete itens avaliavam a disciplina. Esses itens foram construídos baseados na escala de Likert, que permite respostas com níveis variados de classificação, e passaram por uma validação do construto, sendo validados por Zanella, Seidel e Lopes (2010Zanella, A.; Seidel, E. J.; Lopes, L. F. D. Validação de questionário de satisfação usando análise fatorial. Revista INGEPRO: Inovação, Gestão e Produção, Santa Maria, v. 2, n. 12, p. 102-112, 2010.). O embasamento teórico utilizado na construção dos itens pode ser encontrado em Zanella (2008)Zanella, A. Diagnóstico da qualidade do ensino-aprendizagem e satisfação dos alunos nas disciplinas de estatística da UFSM. 2008. 119 f. Dissertação (Mestrado em Engenharia de Produção)-Programa de Pós-Graduação em Engenharia de Produção, Centro de Tecnologia, Universidade Federal de Santa Maria, Santa Maria, 2008.. As opções de resposta variavam em “muito insatisfeito” a “muito satisfeito”, em uma escala de 1 a 5. A descrição dos itens é apresentada no Quadro 1.

As análises utilizadas foram estatísticas descritivas, tabelas de frequências, análise multivariada (análise fatorial) e a Teoria da Resposta ao Item (TRI) com o Modelo de Resposta Gradual (MRG). Foi utilizado o software FACTOR, versão 9.2 (LORENZO-SEVA; FERRNADO, 2013Lorenzo-Seva, U.; Ferrnado, P. J. Manual of the Program Factor. Tarragona: Departament de Psicologia, Universitat Rovira i Virgili, 2013. Disponível em: <http://psico.fcep.urv.cat/utilitats/factor/documentation/Manual-of-the-Factor-Program-v92.pdf>. Acesso em: 30 maio 2014.), para a análise fatorial de dados qualitativos, e o software MULTILOG (TOIT, 2003Toit, M. IRT from SSI: Bilog-Mg, Multilog, Parscale, Testfact. Chicago: Scientific Software, 2003.), para a análise da TRI. A TRI foi utilizada para a avaliação dos 23 itens, para a estimação do valor do traço latente e para a criação da escala de medida.

Resultados

Primeiramente, foi feita uma análise descritiva dos dados para a caracterização do perfil da amostra. Observou-se que 92,2% dos alunos eram de cursos de graduação, 49,3% tinham entre 20 e 24 anos, e 36,5% tinham vínculo empregatício ou estavam realizando algum estágio. Além disso, 38,9% nunca estudavam Estatística fora da sala de aula, enquanto que 55,1% estudavam fora da sala de aula por até duas horas semanais. Quanto à bibliografia indicada para a disciplina de estatística, 27,1% nunca consultavam, 65,9% consultavam somente quando necessário e 7,0% consultavam com frequência. Em relação às tarefas solicitadas pelo professor, 5% nunca realizavam, 45,3% sempre realizavam e 49,7% só realizavam quando tinham tempo disponível. Cerca de 5,6% dos alunos eram repetentes na disciplina de Estatística.

A Tabela 1 apresenta o percentual das respostas válidas aos 23 itens utilizados na avaliação da satisfação, descritos no Quadro 1. Também são apresentados os valores médios de satisfação, os quais variam de 1 a 5, sendo dessa forma classificados: quanto mais próximo de 1, menor é o grau de satisfação, e quanto mais próximo de 5, maior é o grau de satisfação.

Observando-se a Tabela 1, podem-se verificar diversos itens que trazem satisfação ou não aos alunos. Entretanto, essa é uma análise basicamente descritiva e não possui a capacidade de fornecer informação sobre a qualidade dos itens e dos seus resultados. Por exemplo, pode-se verificar que o item 11 (pontualidade e assiduidade do professor) é o que possui maior satisfação média (4,5), em que 88,1% dos alunos afirmaram que estavam “satisfeitos” ou “muito satisfeitos”; entretanto, não há indicadores que avaliam se esse item é bom para avaliar a satisfação do aluno. Os itens 16 (disponibilidade de material bibliográfico) e 19 (interação do curso com a disciplina) tiveram a menor satisfação média, porém também não é possível saber se estes são bons indicadores para avaliar a satisfação. A análise feita por meio da TRI pode verificar se esses itens são bons indicadores.

Antes da análise por meio da TRI, foi feita uma Análise Fatorial baseada na matriz das correlações tetracóricas, para verificar a suposição de unidimensionalidade dos dados. O procedimento utilizado para determinar o número de fatores foi a implementação ótima da Análise Paralela (TIMMERMAN; LORENZO-SEVA, 2011Timmerman, M. E.; Lorenzo-Seva, U. Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, Washington, v. 16, n. 2, p. 209-220, 2011. http://dx.doi.org/10.1037/a0023353. PMid:21500916
http://dx.doi.org/10.1037/a0023353... ). As variáveis do presente estudo são de natureza qualitativa e utilizam uma escala Likert equilibrada com cinco categorias. A Figura 2 apresenta o resultado da análise fatorial obtida pelo software FACTOR.

Figura 2
- Resultado da Análise Fatorial
Fonte: Elaborado pelos autores (2013).

Conforme se observa na Figura 2, o número aconselhado de dimensões, quando o percentil 95 é considerado, é de uma dimensão, em que o componente principal dominante, que se destaca fortemente dos demais, explica 53,5% da variância, o que sugere que existe um fator dominante. Isso não significa que o construto seja propriamente unidimensional, mas a existência de um fator dominante permite que uma análise com modelos unidimensionais da TRI possa ser realizada (ANDRADE; TAVARES; VALLE, 2000Andrade, D. F.; Tavares, H. R.; Valle, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.). Esse fator dominante é o traço latente que está sendo medido, que foi denominado como “a satisfação dos alunos das disciplinas de Estatística da UFSM”.

Com a suposição de unidimensionalidade verificada, pode-se utilizar o MRG da TRI. O tratamento dos dados foi feito utilizando-se um software específico para a estimação dos parâmetros dos itens e do traço latente, chamado MULTILOG (TOIT, 2003Toit, M. IRT from SSI: Bilog-Mg, Multilog, Parscale, Testfact. Chicago: Scientific Software, 2003.). No processo de calibração, são estimados os parâmetros de discriminação “a_i” de cada item, os da localização “b_i,k” de cada categoria e de cada item, e os traços latentes dos respondentes (nível de satisfação de cada respondente). A Figura 3 apresenta os gráficos das CCI dos 23 itens avaliados. Nessa Figura, as categorias estão apresentadas nas curvas dos gráficos, da esquerda (muito insatisfeito) para a direita (muito satisfeito). Observa-se que, quando as categorias do item não se sobressaem em alguma região do gráfico, isso pode ser um indicativo de que o item não possui uma boa qualidade para avaliar o traço latente ou um problema da amostra, que pode não conter sujeitos em todos os níveis do traço latente. Nota-se que os itens 11 e 14 não apresentaram um bom desempenho. O item 11 possui baixa discriminação (0,79) e está posicionado muito abaixo do esperado (–3,92) para uma escala com média zero e desvio padrão 1 (0, 1). Observa-se que a sua curva da categoria 5 (muito satisfeito) se sobressai em relação às demais categorias em praticamente todo o intervalo do traço latente no gráfico entre -3 e 3. Isso indica que, nesse item, todos os indivíduos se consideram satisfeitos e, por isso, não há discriminação entre satisfeitos e insatisfeitos. Já o item 14 está bem localizado (–1,00), mas possui uma discriminação baixa (0,59). Observa-se que apenas duas de suas curvas se sobressaem em relação às demais: as categorias 3 e 5. A princípio, esses dois itens não se mostram adequados para compor o questionário. Uma solução possível seria recategorizar (diminuindo a quantidade de categorias) o item, de tal forma que as categorias resultantes se sobressaíssem em alguma região no gráfico. Outra alternativa seria eliminar esses itens da análise. Os demais itens parecem adequados, embora alguns deles apresentem alguma categoria que não se sobressai em nenhuma região do gráfico.

Figura 3
- Gráficos CCI dos 23 itens
Fonte: Elaborado pelos autores (2013).

Pelo fato de haver dois itens (11 e 14) que não foram ajustados adequadamente, a análise foi refeita, desconsiderando-se esses itens. Para desconsiderar itens no Software MULTILOG, codifica-se com o valor 0 (zero) todas as categorias dos itens que não devem ser considerados na análise. Embora esses itens sejam desconsiderados, o Software MULTILOG gera um resultado para esses itens e até o gráfico, que deverão ser ignorados na análise; no entanto, o erro padrão é estimado como sendo igual a 0 (zero). Na Tabela 2, são visualizadas as estimativas dos parâmetros de discriminação dos itens e de localização das categorias e os respectivos erros padrão (entre parênteses), além do valor médio do parâmetro b para cada item, para a nova calibração que desconsidera os itens 11 e 14. A Figura 4 apresenta os gráficos das CCI desses 21 itens avaliados.

Figura 4
- Gráficos CCI dos 21 itens (desconsideram-se o 11 e o 14)
Fonte: Elaborado pelos autores (2013).

O primeiro b_i,k, no caso o b_i,1, indica o ponto de inflexão da curva da primeira categoria. O último b_i,k, no caso o b_i,4, indica o ponto de inflexão da curva da última categoria. Os b_i,k intermediários referem-se aos pontos médios dos picos entre duas categorias adjacentes (EMBRETSON; REISE, 2000Embretson, S.; Reise, S. P. Item Response Theory for psychologists. New Jersey: Lawrence Erlbaum Associates, 2000.). Nesse estudo, existem dois b_i,k intermediários: no caso, o b_i,2, cujo valor é a média entre os pontos de picos entre as categorias 2 e 3, e o b_i,3, cujo valor é a média entre os pontos de picos entre as categorias 3 e 4. Já a média dos valores dos b_i,k indica qual a posição do item na escala criada e, neste estudo, indica também o nível médio de satisfação do item. Por exemplo, o item 19 (interação do curso com a disciplina) possui o maior valor de b médio (–0,22) enquanto que o item 3 (domínio do assunto apresentado pelo professor) possui o menor valor de b médio (–1,76), sendo que a média geral foi –0,88. Isso indica que os itens estão posicionados entre os valores –1,76 e –0,22 na escala, ou seja, como todos os valores médios dos b_i,k dos itens são negativos, conclui-se que todos os itens foram avaliados mais como satisfatórios do que insatisfatórios.

O grau de discriminação de um item (o valor de “a_i”) determina a “qualidade” do item, isto é, quanto maior o valor de “a_i”, maior o grau de discriminação do item. Observa-se, na Tabela 2, que os parâmetros de discriminação variaram de 1,15 a 2,63, indicando que todos os itens possuem um poder de discriminação satisfatório, já que os itens com discriminação baixa foram removidos. Por exemplo, o item 7 (clareza do professor) possui o maior valor de a_i enquanto que o item 16 (disponibilidade das referências bibliográficas) possui o menor valor de a_i.

Para uma interpretação mais detalhada da CCI, utilizou-se o item 5 (a₅ = 2,54; b_5,1 = –1,93; b_5,2 = –1,02; b_5,3 = –0,12; b_5,4 = 0,75), cuja CCI é apresentada na Figura 5.

Figura 5
- CCI do Item 5
Fonte: Elaborado pelos autores (2013).

A Figura 5 apresenta o gráfico do MRG para o item 5, considerando-se o nível de satisfação entre –3 e 3, que é o intervalo em que praticamente todos os indivíduos estarão situados na escala (0,1). Este item possui a seguinte descrição: “Capacidade de estímulo/motivação utilizada pelo professor”. Indivíduos com satisfação nesta escala, entre –3,0 e –1,8, têm maior probabilidade de responder a categoria 1 (muito insatisfeito); indivíduos com grau de satisfação entre –1,8 e –1,0 têm maior probabilidade de responder a categoria 2 (insatisfeito); indivíduos com grau de satisfação entre –1,0 e 0,0 têm maior probabilidade de responder a categoria 3 (indiferente); indivíduos com grau de satisfação entre 0,0 e 0,7 têm maior probabilidade de responder a categoria 4 (satisfeito), e indivíduos com grau de satisfação maior que 0,7 têm maior probabilidade de responder a categoria 5 (muito satisfeito). Esse é um exemplo de item que funciona adequadamente para avaliar a satisfação dos alunos, pois consegue discriminar os alunos entre as categorias de satisfação.

A Figura 6 apresenta a Função de Informação Total (FIT) do instrumento de medida. Observa-se que o instrumento de medida tem maior informação no intervalo entre –3 e 1, o que corrobora com a posição dos itens na escala, segundo esse modelo, os quais situam-se entre –1,76 e –0,22. Isso significa que esse questionário de avaliação é mais adequado para medir a satisfação de indivíduos que possuem nível de satisfação entre –3 e 1. Além disso, os itens são, por estarem posicionados na região negativa da escala (0,1), “fáceis”, ou seja, a maioria dos indivíduos estará satisfeito com eles, como foi observado na Tabela 2.

Figura 6
- Função de Informação do Teste
Fonte: Elaborado pelos autores (2013).

A Tabela 3 apresenta a distribuição de frequência do traço latente, ou seja, do nível de satisfação. Observa-se que os dados encontram-se pouco dispersos e que nenhum respondente teve nível de satisfação estimado abaixo de –3 ou acima de 3 na escala (0, 1). O nível de satisfação médio foi de 0,003, com desvio padrão igual a 0,94, sendo que a maioria dos valores está localizada entre –2 e 2. O erro padrão das estimativas do traço latente variou entre 0,17 e 0,48, indicando uma boa precisão das estimativas. Observa-se que 50,4% dos respondentes possuem satisfação acima do valor da média da escala (zero).

Após a estimação dos parâmetros dos itens e da satisfação dos respondentes, estabeleceram-se as categorias âncoras dos itens e os níveis âncoras, com base nas condições mencionadas na Seção 3. O posicionamento dos itens foi realizado com os resultados da calibração dos itens. Os níveis âncoras foram estabelecidos em função do desvio padrão da escala utilizada na calibração dos itens, que é igual a 1 (um), no intervalo entre –3 e 3. A Tabela 4 apresenta as categorias âncoras de cada nível âncora. Observa-se que, conforme os resultados de Mafra (2010)Mafra, P. M. R. Proposta de uma sistemática para a modelagem de risco de crédito sob a perspectiva da teoria da criação do conhecimento: uma abordagem da teoria da resposta ao item. 2010. Tese (Doutorado em Engenharia e Gestão do Conhecimento)-Universidade Federal de Santa Catarina, Florianópolis, 2010., não é possível caracterizar a categoria mais baixa, no caso, “Muito Insatisfeito”, como categoria âncora, segundo o procedimento adotado. No entanto, pode-se afirmar que aqueles que estão posicionados abaixo do nível âncora mais baixo, estão muito insatisfeitos com todos os itens. Observa-se, ainda, que, dentre os 21 itens avaliados, apenas o item 16 não possui nenhuma categoria âncora.

A interpretação de um indivíduo posicionado na escala por meio do valor estimado do seu traço latente é feita em relação ao nível em que ele se encontra. Com base na descrição dos itens, os níveis da escala de satisfação podem ser definidos assim:

• •

  Nível –3: Alunos posicionados nesse nível estão insatisfeitos em relação ao domínio do assunto apresentado pelo professor da disciplina e às informações ou esclarecimentos quanto ao planejamento da disciplina. No estudo realizado, 2,0% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível –2: Alunos posicionados nesse nível estão insatisfeitos em relação aos seguintes aspectos: disponibilidade do professor em responder às solicitações dos alunos; confiança inspirada pela postura do professor da disciplina; capacidade de síntese do conteúdo pelo professor da disciplina; apresentação da teoria e aplicação prática dos temas abordados; possibilidade de contatar o professor fora da sala de aula; forma de avaliação proposta pelo professor da disciplina; estruturação com que as aulas são apresentadas; profundidade/desenvolvimento dos temas em relação aos objetivos da disciplina, e entendimento, participação e acompanhamento dos assuntos abordados. Mas esses alunos também estão parcialmente satisfeitos em relação às informações ou aos esclarecimentos quanto ao planejamento da disciplina. No estudo realizado, 12,8% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível –1: Alunos posicionados nesse nível estão insatisfeitos em relação aos seguintes aspectos: capacidade de estímulo/motivação utilizada pelo professor; capacidade do professor em manter o aluno atento e interessado na aula; aplicabilidade/aprendizagem dos temas abordados; interação curricular do curso com a disciplina; afinidade entre sua ocupação profissional e os conhecimentos recebidos; melhoria no seu desempenho profissional, gerando resultados positivos, e atendimento da disciplina às suas expectativas. Esses alunos também estão parcialmente satisfeitos em relação a confiança inspirada pela postura do professor da disciplina; clareza apresentada pelo professor ao apresentar os conteúdos; apresentação da teoria e aplicação prática dos temas abordados; possibilidade de contatar o professor fora da sala de aula; forma de avaliação proposta pelo professor da disciplina; estruturação com que as aulas são apresentadas; qualidade dos recursos didáticos e demais materiais relacionados à disciplina; profundidade/desenvolvimento dos temas em relação aos objetivos da disciplina, e entendimento, participação e acompanhamento dos assuntos abordados. No estudo realizado, 34,8% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível 0: Alunos posicionados nesse nível estão parcialmente satisfeitos em relação aos seguintes aspectos: interação curricular do curso com a disciplina; afinidade entre sua ocupação profissional e os conhecimentos recebidos, e atendimento da disciplina às suas expectativas. Esses alunos também estão parcialmente satisfeitos com a disponibilidade do professor em responder às solicitações dos alunos; a confiança inspirada pela postura do professor da disciplina; a capacidade de síntese do conteúdo pelo professor da disciplina; a clareza apresentada pelo professor ao apresentar os conteúdos; a apresentação da teoria e aplicação prática dos temas abordados; a forma de avaliação proposta pelo professor da disciplina; as informações/esclarecimento quanto ao planejamento da disciplina, e a estruturação com que as aulas são apresentadas. No estudo realizado, 37,4% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível 1: Alunos posicionados nesse nível estão satisfeitos em relação à interação curricular do curso com a disciplina e à afinidade entre sua ocupação profissional e os conhecimentos recebidos. Esses alunos também estão muito satisfeitos em relação aos seguintes aspectos: disponibilidade do professor em responder às solicitações dos alunos; confiança inspirada pela postura do professor da disciplina; capacidade de síntese do conteúdo pelo professor da disciplina; capacidade de estímulo/motivação utilizada pelo professor; clareza apresentada pelo professor ao apresentar os conteúdos; apresentação da teoria e aplicação prática dos temas abordados; forma de avaliação proposta pelo professor da disciplina; informações/esclarecimento quanto ao planejamento da disciplina, e estruturação com que as aulas são apresentadas. No estudo realizado, 10,8% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível 2: Alunos posicionados nesse nível estão muito satisfeitos com a interação curricular do curso com a disciplina; a afinidade entre sua ocupação profissional e os conhecimentos recebidos, e a melhoria no seu desempenho profissional, gerando resultados positivos. No estudo realizado, 2,2% dos alunos da amostra estão posicionados nesse nível.

• •

  Nível 3: Não foram encontradas categorias âncoras nesse nível. Na amostra utilizada neste estudo, não há nenhum aluno posicionado nesse nível.

Conclusões

Neste trabalho, foi utilizada a Teoria de Resposta ao Item como ferramenta para a avaliação da satisfação dos alunos das disciplinas de Estatística Básica e Estatística Geral da Universidade Federal de Santa Maria (UFSM). Foi aplicado o Modelo de Resposta Gradual (MRG) da TRI, de natureza unidimensional e cumulativa, por meio do qual foi criada uma escala de medida para a satisfação, na qual foram posicionados os itens de satisfação e os respondentes, numa mesma unidade de medida. Os níveis da escala criada foram identificados e caracterizados, sendo então feita uma avaliação da satisfação dos alunos das disciplinas de Estatística Básica e Estatística Geral da UFSM.

O resultado da análise fatorial mostrou que existe um fator dominante (satisfação do aluno) que caracteriza a unidimensionalidade do construto. Quanto aos parâmetros dos itens, na primeira análise, apenas dois itens mostraram-se inadequados. Posteriormente, esses itens foram removidos e a análise foi refeita, em que se observou que todos os itens apresentaram resultados adequados. Em relação ao parâmetro de posição “b_k” das categorias dos itens, verificou-se que todos os valores médios dos “b_k” foram negativos, concluindo-se, assim, que todos os itens foram avaliados mais como satisfatórios do que insatisfatórios. Dessa forma, se conclui que não há um item com o qual a maioria está insatisfeita. Já os parâmetros de discriminação “a” dos itens indicaram que todos os itens possuíam um poder de discriminação satisfatório. Por meio da FIT, foi possível verificar que os itens que compunham o questionário eram “fáceis”, ou seja, são itens nos quais a maioria dos indivíduos irá declarar que está satisfeita com estes. Também foram identificadas várias categorias âncoras de itens, num total de 53 categorias âncoras distribuídas em seis níveis âncoras, que foram devidamente caracterizados. Apenas um item não apresentou nenhuma categoria âncora. Foi possível identificar em que nível da escala de satisfação os alunos estão situados.

Pode-se concluir que o MRG da TRI foi adequado para a análise dos dados, a identificação de itens problemáticos, a construção de uma escala para a satisfação dos alunos e a identificação de níveis âncoras. Além disso, o uso do MRG permite obter mais informação das respostas dos indivíduos do que um modelo dicotômico permitiria, uma vez que leva em consideração a probabilidade de ele responder cada categoria de resposta e não somente se está ou não satisfeito, no caso de um modelo dicotômico.

Segundo a propriedade da invariância dos parâmetros dos itens, todos os itens continuarão com a mesma probabilidade de serem considerados satisfatórios ou não, até que ocorra uma mudança prática que altere o valor dos seus parâmetros. Por exemplo, o item com maior probabilidade de ser considerado insatisfatório é o item 19, descrito por “Interação curricular do curso com a disciplina”. Poderia ser feita uma reformulação curricular nos cursos que têm disciplina de Estatística, a fim de mostrar a integração das ferramentas estatísticas com as demais disciplinas da grade curricular do curso, indicando quais as outras disciplinas que precisam utilizar ferramentas estatísticas, mostrando a importância da disciplina de Estatística no contexto curricular do curso. Na TRI, a escala deve ser construída para posicionar os parâmetros dos itens e ser utilizada ao longo do tempo. Isso funciona bem na avaliação educacional, em que um item que é difícil continua a ser difícil ao longo do tempo, caso ele não se torne conhecido do público. No entanto, quando há mudança nas propriedades psicométricas de algum item, este precisa ter seus parâmetros estimados novamente. Isso pode ocorrer na situação supracitada, em que houve uma suposta melhoria no processo e aquele item pode passar a ser mais satisfatório do que os outros, que não tiveram seus parâmetros alterados. É claro que isso só pode ser verificado por meio da aplicação dos itens a uma nova amostra de indivíduos. Nesse caso hipotético, apenas aquele item teria seus parâmetros modificados. Isso não significa que seria construída uma nova escala de tempos em tempos, mas que alguns itens podem sofrer mudanças nas suas propriedades psicométricas ao longo do tempo, devendo ter as suas estimativas atualizadas. Eventualmente, isso pode ocorrer também na avaliação educacional, quando um item, por exemplo, de Geografia, pode ter seus parâmetros alterados, devido à emancipação de um novo país ou ao o surgimento de um novo bloco econômico.

O segundo item com maior probabilidade de ser considerado insatisfatório é o 20, descrito como “Afinidade entre sua ocupação profissional e os conhecimentos recebidos”, indicando que falta ao professor fazer uma conexão entre os conteúdos e a prática profissional do aluno.

Outros dois itens com alta probabilidade de serem considerados insatisfatórios tratam da relação entre a disciplina e o atendimento às expectativas do aluno e à sua melhoria profissional. Isto indica que há mais chance de insatisfação dos alunos em questões que relacionam a disciplina de Estatística e a sua área de atuação profissional.

Já o item 3, descrito como “O domínio do assunto apresentado pelo professor da disciplina”, foi o item com maior probabilidade de ser considerado satisfatório, mostrando que, na visão do aluno, o professor tem bom domínio dos conteúdos ensinados em sala de aula. Além disso, os cinco itens com maior probabilidade de serem considerados satisfatórios pelos alunos tratam do conhecimento, da capacidade de planejamento e da disponibilidade que o professor apresenta ao ministrar a disciplina de Estatística.

Os resultados obtidos permitem que os responsáveis pelo ensino da Estatística possam observar os aspectos da satisfação ou da insatisfação dos alunos, para detectar em que é possível melhorar os procedimentos para que o ensino seja cada vez mais satisfatório.

Para estudos futuros, sugere-se:

• •

  Aumentar a quantidade de itens do tipo “difícil”, ou seja, mais difíceis de serem considerados satisfatórios pelo aluno, para melhorar a estimativa do traço latente dos alunos satisfeitos;

• •

  Aumentar o tamanho da amostra para melhorar a estimativa dos parâmetros dos itens;

• •

  Diminuir o erro padrão;

• •

  Verificar o desempenho por meio de estudos de simulação.

Referências

Datas de Publicação

Histórico