Rev Méd Chile 2007; 135: 1282-1290

ARTÍCULOS DE INVESTIGACIÓN

Guías de práctica clínica en atención primaria: Una evaluación crítica

Clinical practice guidelines in primary health care: A critical appraisal

Tomás Pantoja, Heather Strain, Lorena Valenzuela

Departamento de Medicina Familiar, Facultad de Medicina, Pontificia Universidad Católica de Chile. Santiago, Chile.

Dirección para correspondencia

Background: There are doubts about the real usefulness of clinical guidelines to induce changes in practice, specially in primary health care. Those guidelines with inconsistent recommendations can even be misleading. Aim: To assess the quality of Chilean primary health care guidelines and to identify factors associated with high quality guidelines. Material and methods: Chilean primary care guidelines published and disseminated using any strategy 1999 and 2004 were analyzed. Each selected guideline was assessed independently by two evaluators using the Appraisal of Guidelines, Research and Evaluation (AGREE) instrument following standardized instructions. Descriptive statistics for each dimension of the AGREE instrument were calculated for each guideline. Results: A total of 33 guidelines were retrieved. Fifteen were located using a manual search and 18 from electronic sources. Twenty four did not match our definition of guidelines, therefore only nine were included in the final assessment. There were important differences in the scores obtained by each guideline in different dimensions, with relevant methodological shortcomings. However, no significant differences in scores were found when guidelines were compared by year of elaboration. Conclusions: Our results suggest that previous efforts in primary health care guideline development were misdirected and that important changes are necessary to generate high quality guidelines.

(Key words: Patient care management; Practice guidelines; Primary health care)

Durante la última década, el sistema de salud chileno ha incorporado algunos de los conceptos de la medicina basada en evidencia (MBE) en áreas como la evaluación de tecnologías sanitarias y la elaboración de guías de práctica clínica (GPC). Dichas iniciativas se han visto reforzadas en el contexto del proceso de reforma del sector actualmente en implementación en el país^1,2

De acuerdo al Institute of Medicine de los Estados Unidos de Norteamérica (IoM), las GPC son "recomendaciones desarrolladas sistemáticamente para asistir las decisiones de profesionales sanitarios y pacientes, acerca del cuidado de salud apropiado, en circunstancias clínicas específicas". Debieran identificar recomendaciones para el manejo apropiado y costo-efectivo de condiciones específicas, con el fin de promover una buena práctica clínica. El sistema sanitario chileno ha adoptado un marco conceptual similar al definir los diferentes instrumentos de estandarización que se utilizarán en la reforma del sector⁴.

Dadas las características específicas de la atención primaria (AP), gran parte de los médicos generales y otros profesionales sanitarios parecen preferir el uso de GPC o protocolos basados en evidencia, más que la práctica de la MBE "clásica"^5-7. Por lo tanto, la implementación de GPC válidas parece ser una forma atractiva para mejorar la calidad y la efectividad clínica en AP.

Sin embargo, con el crecimiento exponencial en la elaboración de GPC, ha aparecido una también creciente preocupación respecto a aquellas guías que ofrecen recomendaciones inconsistentes⁸. Esto no sólo disminuye su credibilidad, sino que también podría producir daño a los pacientes si se ponen en práctica recomendaciones erróneas.

Enfrentados a la inmensa cantidad de GPC disponibles, los médicos y otros profesionales sanitarios deben juzgar su calidad a través de algún método. Esto requiere determinar si los elaboradores de las guías han sido rigurosos en minimizar los potenciales sesgos. A pesar de la gran cantidad de publicaciones respecto a la evaluación crítica de estudios primarios y revisiones sistemáticas^9-11, su aplicación al campo de las GPC ha tenido un menor desarrollo. En 1992, el IoM comenzó el desarrollo de un instrumento evaluativo, basado en los "atributos deseables" de una buena GPC. Posteriormente, se han utilizado diferentes sets de criterios desarrollados ad-hoc, sin una evaluación formal de su validez y confia-bilidad^12,13. Sin embargo, en los últimos años, el esfuerzo de un grupo internacional de investigadores, denominado el grupo AGREE (Appraisal of Guidelines, Research and Evaluation), ha permitido el desarrollo de una metodología genérica para evaluar la calidad de las GPC^14,15. El instrumento AGREE evalúa tanto la calidad del reporte, como la de algunos aspectos de las recomendaciones.

Para lograr mejores resultados sanitarios en los pacientes a través de la implementación de GPC, una primera etapa debiera ser la evaluación crítica de aquellas guías que se implementarán. La utilización de un instrumento validado -como el AGREE- permitirá analizar la calidad de las guías elaboradas en nuestro país. Asimismo, será posible identificar aquellos factores relacionados con dicha calidad, permitiendo mejorar sus procesos de elaboración. El presente artículo reporta la evaluación de aquellas guías de AP elaboradas en el período previo al régimen de garantías explícitas en salud (RGES).

METODOLOGÍA

Se incluyeron todas aquellas GPC dirigidas a problemas relevantes de AP, elaboradas por diferentes organizaciones (Ministerio de Salud, Servicios de Salud, sociedades científicas), publicadas y diseminadas a través de diferentes estrategias entre los años 1999 y 2004.

Estrategia de búsqueda. Las GPC utilizadas en el ámbito de la AP chilena fueron localizadas a través de:

La lista de referencias identificada en este proceso fue examinada por dos investigadores. Los artículos y documentos que incluyeron en sus títulos palabras como "guías", "protocolos", "estándares" o "consenso", fueron elegibles si recomendaban acciones para ser llevadas a cabo en situaciones clínicas específicas. Se excluyeron las editoriales y revisiones. Los desacuerdos en la elegibilidad de documentos individuales fueron resueltos por discusión y consenso.

Instrumento. El instrumento AGREE fue utilizado para evaluar la calidad de las GPC (disponible en http://www.agreecollaboration.org). Se trata de un instrumento genérico y que puede ser aplicado a guías de cualquier condición de salud, en sus aspectos preventivos, diagnósticos o terapéuticos. Consta de 23 preguntas con respuestas en una escala ordinal de 1 a 4 y organizadas en seis dominios. Cada dominio intenta evaluar una dimensión separada de la calidad de las guías:

Recolección de la información. Cada guía seleccionada fue evaluada en forma independiente por dos evaluadores, aplicando el instrumento AGREE. Los evaluadores accedieron a toda la información disponible respecto de cada guía antes de iniciar el proceso de evaluación. Las discrepancias fueron resueltas a través de discusión abierta y consenso y, en caso de desacuerdo persistente, por un tercer evaluador ciego a las evaluaciones previas. La información para cada guía y evaluador fue registrada en el formato estandarizado del instrumento AGREE.

Análisis estadístico. La escala ordinal con que se evaluó cada estándar fue convertida a una binaria en que 1/2 correspondieron a no cumplimiento y 3/4 a cumplimiento del estándar respectivo. Se evaluó la concordancia entre evaluadores a través del cálculo de los coeficientes kappa (κ) para el total y cada una de las guías. Se calculó el número de estándares satisfechos por cada guía, así como la mediana y el rango para el grupo completo de guías. Además, se calculó la frecuencia de adherencia a cada uno de los 23 ítems del instrumento. En ambos casos, se realizó una comparación de frecuencias para grupos múltiples utilizando pruebas no-paramétricas (test Q de Cochran).

Dada la estructura multidimensional del instrumento AGREE, se calcularon los puntajes por dimensión como porcentajes sobre la máxima puntuación posible en cada una de ellas. De esta manera, se analizaron las diferencias en los puntajes de las distintas dimensiones a través de una prueba no-paramétrica para comparaciones múltiples (test de Kruskal-Wallis).

Para evaluar el efecto de las variables independientes (año de publicación, organización elabo-radora de la guía, desarrollo local o nacional) sobre las diferentes dimensiones, se realizó una serie de comparaciones de medianas (test de Mann-Whitney) dicotomizando la variable independiente. Finalmente, se intentó evaluar tendencias en el tiempo de la adherencia a estándares metodológicos de calidad, a través de la construcción de modelos de regresión lineal múltiple con el año de elaboración como variable independiente. Los datos fueron codificados y analizados utilizando el paquete estadístico SPSS para Windows 11.0, 1998.

RESULTADOS

Se identificaron 33 documentos, 15 obtenidos de la búsqueda manual y 18 de la búsqueda electrónica. Veinticuatro de ellos (72%) no correspondieron a nuestra definición de GPC, por lo cuál sólo 9 documentos fueron incluidos en el análisis final (Anexo 1).

La concordancia global entre evaluadores fue moderada (κ = 0,57), variando de acuerdo a la guía evaluada entre 0,23 y 0,73. Debido a ello, 5 guías con coeficientes κ <0,5, fueron re-evaluadas por un tercer evaluador.

En la evaluación global cualitativa del instrumento AGREE, 6 de las GPC (66%) fueron clasificadas como no recomendadas, 2 (23%), como recomendadas con modificaciones y sólo 1 (11%) resultó claramente recomendada. La mediana de estándares satisfechos en las 9 guías evaluadas fue de 6 (26%), con rango entre 2 (8,7%) y 17 (74%) para las guías 5 y 6, respectivamente (Figura 1).

La mediana de la adherencia a los ítems individuales del instrumento AGREE fue de 22%, con rango entre 0% y 89% (Tabla 1). Los aspectos relacionados con el objetivo de la guía y las recomendaciones aparecen bien evaluados, en comparación con aquellos relacionados con la búsqueda y selección de la evidencia, que fueron los peor evaluados. Asimismo, el reporte de los conflictos de interés del grupo elaborador de la guía fue un área evaluada en forma muy deficiente.

Los puntajes obtenidos por dimensión en cada guía se presentan en la Tabla 2, destacando diferencias significativas entre las medianas calculadas en cada una de ellas. La dimensión mejor evaluada fue claridad y presentación (63%), mientras que aquellas con puntajes consistentemente deficientes fueron independencia editorial (8%) y aplicabilidad (6%).

Sólo fue posible definir en forma confiable la variable independiente "año de elaboración", por lo cual fue la única utilizada en el análisis. No se identificaron diferencias significativas en los puntajes obtenidos en cada una de las dimensiones, al comparar las guías elaboradas en el período 1999-2001 (n =3) con aquellas elaboradas en los años 2002-2004 (n =6). Debido al pequeño número de observaciones (n =9) no fue posible realizar análisis de regresión lineal múltiple en relación a ninguna de las variables independientes definidas en el protocolo del estudio.

DISCUSIÓN

Llama la atención que sólo 28% de los documentos identificados originalmente como GPC, fueran considerados como tales de acuerdo a la definición del IoM de Estados Unidos de Norteamérica. Dicha definición es ampliamente aceptada a nivel internacional y es la utilizada por la mayoría de las publicaciones en el área^3,16-19. Uno de los déficit identificados fue la ausencia de recomendaciones propiamente tales, con documentos que más bien incluían descripciones narrativas de condiciones clínicas específicas. Asimismo, no se explicitaban los métodos a través de los cuales los documentos habían sido elaborados, ni la evidencia científica en la que se basaban algunas de las recomendaciones.

Dentro de las GPC incluidas, la mediana de estándares satisfechos fue de sólo 26%, reflejando importantes deficiencias en aspectos como la búsqueda y selección de la evidencia y el reporte de los conflictos de interés. Esto concuerda con el análisis por dimensión en que resultan mejor evaluados aspectos como la claridad/presentación y alcance/objetivo, comparados con el rigor en la elaboración y la independencia editorial. Asimismo, un área muy deficitaria es aquella relacionada con la aplicabilidad de las recomendaciones a la práctica clínica, la que prácticamente no es abordada en las guías evaluadas. Es decir, incluso en aquellos documentos considerados GPC, se observaron importantes limitaciones, especialmente en aspectos que pueden conducir a sesgo en las recomendaciones.

Creemos que esta situación -similar a la descrita en la literatura internacional^12,20,21- refleja la falta de procesos estandarizados de elaboración de estas herramientas en nuestro país, lo que ha llevado a la producción de documentos de calidad variable. La experiencia internacional muestra que para generar GPC de buena calidad, es necesario establecer grupos multidisciplinarios que dispongan de una cantidad razonable de recursos y con independencia del financiador¹⁶-19,22-25. Dicha_s condiciones no se dan en nuestro país, en el que gran parte del proceso es realizado por individuos o grupos unidisciplinarios, con escasez de recursos y vinculados directa o indirectamente al financiador.

Dadas las dificultades que parecen existir en la elaboración de GPC, una alternativa es la adaptación a la realidad local de guías elaboradas por organizaciones extranjeras²⁶. A través de este proceso sería posible obtener recomendaciones válidas con menor uso de recursos y en un tiempo menor al requerido por un proceso formal de elaboración. Sin embargo, los procesos de adaptación presentan una serie de desafíos metodológicos que no se encuentran completamente resueltos y que pudieran dificultar su realización (Pantoja T et al. Adapting clinical practice guidelines in Chilean primary care. Presentado en 3^rd G-I-N Conference, Lyon-France, 5-7 diciembre 2005).

Para que los beneficiarios finales de las GPC obtengan los resultados sanitarios esperados, éstas debieran ser implementadas a través de estrategias de probada efectividad^27,28. El proceso de elaboración/adaptación, diseminación e implementa-ción constituye un continuo que intenta que las recomendaciones basadas en evidencia sean aplicadas por los clínicos en su práctica. Dicho proceso es facilitado sí, en el proceso de elaboración se consideran explícitamente aquellos aspectos que influirán en la aplicación de las recomendaciones. Lamentablemente, en el caso de las GPC analizadas en este estudio dichos aspectos no son considerados, lo que probablemente contribuirá a un bajo nivel de implementa-ción. Asimismo, la inexistencia de estrategias específicas de implementación influye negativamente en la obtención de los resultados esperados en los pacientes. Un factor central a considerar aquí serían las barreras y facilitadores locales a la implementación de nuevas prácticas y al cambio en la conducta de los profesionales^29,30.

Dentro de las limitaciones de nuestro estudio, destacan aquellas relacionadas con el proceso de búsqueda y con los criterios de inclusión. Actualmente no existen algoritmos específicos para la búsqueda de GPC en bases de datos, por lo cual deben definirse estrategias ad-hoc de acuerdo a los objetivos de cada proceso de búsqueda. Creemos que nuestra estrategia incluyó todas las fuentes relevantes para la identificación de documentos que pudieran corresponder a la definición de GPC, incluyendo los contactos con informantes claves. Sin embargo, sólo a través de la comparación de nuestros resultados con aquellos de una estrategia "estándar" será posible en el futuro establecer su sensibilidad y especificidad.

Para la inclusión de documentos en nuestro estudio utilizamos una definición ampliamente aceptada del concepto de GPC. Sin embargo, su aplicación estuvo sujeta a la subjetividad de los evaluadores que realizaron un juicio respecto a si un documento específico correspondía o no a una GPC. Creemos que la participación de dos evaluadores aplicando criterios de inclusión para cada documento fue una estrategia que nos protegió parcialmente de este tipo de sesgo.

En síntesis, las GPC son instrumentos desarrollados para facilitar la toma de decisiones basadas en evidencia científica. El sistema de salud chileno ha fomentado el desarrollo de guías en diversos ámbitos, incluyendo la AP. Si la elaboración, diseminación e implementación de las GPC es deficiente, los pacientes no obtendrán los beneficios esperados de ellas. Nuestros resultados sugieren que los esfuerzos recientes en la elaboración de GPC en Chile están mal enfocados y es necesario rediseñar el proceso utilizado. Una alternativa sería enfocar los esfuerzos hacia la adaptación de GPC desarrolladas en el extranjero por organizaciones especialmente dedicadas a ello. Esta solución sería de menor costo que el desarrollo de guías de novo y si las GPC originales son seleccionadas rigurosamente, aumentará la posibilidad de obtener guías adaptadas de buena calidad. Sin embargo, el proceso de adaptación también presenta desafíos prácticos y metodológicos que deben ser considerados para obtener los resultados esperados.

Finalmente, debemos recordar que no basta la mera existencia de GPC para que se produzcan los cambios propuestos en el cuidado de salud de los pacientes. Las GPC no son autoimplementa-bles y es necesario diseñar estrategias específicas para su diseminación e implementación en las organizaciones del sistema sanitario a las cuales están dirigidas.

REFERENCIAS

1. Ministerio de Salud. Plan de Acceso Universal con Garantías Explícitas, AUGE. Santiago: Gobierno de Chile; 2002.

2. Ministerio de Salud. Hacia un nuevo modelo de gestión en salud. Contenidos del Proyecto de Ley de Autoridad Sanitaria y Gestión en Salud y de medidas administrativas inmediatas. 2002.

3. Institute of Medicine (Field MJ & Lohr KN eds). Guidelines for Clinical Practice. From Development to Use. Washington DC: National Academy Press; 1992.

4. Ministerio de Salud. División de Planificación y Presupuesto. Departamento Calidad de Prestadores. Instructivo: establece requisitos básicos para la elaboración de guías clínicas y protocolos del Ministerio de Salud. Santiago, Chile; 2000.

5. McColl A, Smith H, White P, Field J. General practitioners' perceptions of the route to evidence based medicine: a questionnaire survey. BMJ 1998; 316: 361-5.

6. Young JM, Ward JE. Evidence-based medicine in general practice: beliefs and barriers among Australian GPs. J Eval Clin Pract 2001; 7: 201-10.

7. Pantoja T. Promoting an evidence-based practice in a Chilean primary care health centre University of Oxford; 2000.

8. Thomson R, McElroy H, Sudlow M. Guidelines on anticoagulant treatment in atrial fibrillation in Great Britain: variation in content and implications for treatment. BMJ 1998; 316: 509-13.

9. Moher D, Cook DJ, Jadad AR, Tugwell PX, Moher M, Jones A et al. Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess 1999; 3.

10. Moher D, Jadad AR, Nichol G, Penman N, Tugwell P, Walsh S. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Controlled Clin Trials 1995; 16: 62-73.

11. Guyatt GH, Rennie D. Users' Guides to the Medical Literature. A Manual for Evidence-Based Clinical Practice. Chicago: AMA Press; 2002.

12. Grilli R, Magrini N, Penna A, Mura G, Liberati A. Practice guidelines developed by specialty societies: the need for a critical appraisal. Lancet 2000; 355: 103-6.

13. Shekelle PG, Ortiz E, Rhodes S, Morton SC, Eccles MP, Grimshaw JM et al. Validity of the Agency for Healthcare Research and Quality clinical practice guidelines. How quickly do guidelines become outdated? JAMA 2001; 286: 1461-7.

14. Cluzeau FA, Littlejohns P, Grimshaw JM, Feder G, Moran SE. Development and application of a generic methodology to assess the quality of clinical guidelines. International Journal for Quality in Health Care 1999; 11: 21-8.

15. The Appraisal of Guidelines Research and Evaluation in Europe (AGREE) Collaborative Group. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12: 18-23.

16. Scottish Intercollegiate Guidelines Network. Sign 50: A guideline developers' handbook. 2002.

17. New Zealand Guidelines Group. Handbook for the preparation of explicit evidence-based clinical practice guidelines. Wellington; 2001.

18. Unidad de Evaluación de Tecnologías de Salud. Departamento de Calidad de Prestadores. División de Planificación y Presupuesto.Ministerio de Salud. Pauta para la Elaboración, Aplicación y Evaluación de Guías de Práctica Clínica. 2002.

19. National Institute for Health and Clinical Excellence. The guidelines manual. London; 2006.

20. Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA 1999; 281: 1900-5.

21. Fervers B, Burgers JS, Haugh MC, Brouwers M, Browman G, Cluzeau FA et al. Predictors of high quality clinical practice guidelines: examples in oncology. Int J Qual Health Care 2005; 17: 123-32.

22. Pantoja T. Guías de práctica clínica: algunas reflexiones acerca de su desarrollo e implementa-ción. Rev Chil Med Farn 2003; 4: 52-5.

23. Eccles MP, Clapp Z, Grimshaw JM, Adams PC, Higgins B, Purves I et al. Developing valid guidelines: methodological and procedural issues from the North of England Evidence Based Guideline Development Project. Qual Health Care 1996; 5: 44-50.

24. Grimshaw JM, Russell I. Achieving health gain through clinical guidelines. I: Developing scientifically valid guidelines. Qual Health Care 1993; 2: 243-8.

25. Jovell AJ, Navarro-Rubio MD, Aymerich M, Serra-Prat M. Metodología de diseño y elaboración de guías de práctica clínica en atención primaria. Atención Primaria 1997; 20: 259-66.

26. Graham ID, Harrison MB, Brouwers M, Davies B, Dunn S. Facilitating the use of evidence in practice: evaluating and adapting clinical practice guidelines for local use by health care organizations. JOGNN 2002; 31: 599-611.

27. Grol R, Grimshaw JM. From best evidence to best practice: effective implementation of change in patients' care. Lancet 2003; 362: 1225-30.

28. Grimshaw JM, Thomas RE, MacLennan G, Fraser C, Ramsay C, Vale L et al. Effectiveness and efficiency of guideline dissemination and implementation strategies. Health Technol Assess 2004; 8: 1-352.

29. Cabana MD, Rand CS, Powe NR, Wu AW, Wilson MH, Abboud P-AC et al. Why don't physicians follow clinical practice guidelines? JAMA 1999; 282: 1458-65.

30. Flottorp S, Oxman AD. Identifying barriers and tailoring interventions to improve the management of urinary tract infections and sore throat: a pragmatic study using qualitative methods. BMC Health Services Research 2003; 3.

Recibido el 4 de enero, 2007. Aceptado el 25 de junio, 2007.

Correspondencia a: Tomás Pantoja. Departamento de Medicina Familiar, Facultad de Medicina. Pontificia Universidad Católica de Chile. Lira 44, Edificio Decanato, Primer Piso, Santiago. Tel: 3548111. Fax: 6645408. E mail: tpantoja@med.puc.cl