Proceso de estudio

Este estudio acompañó un curso de tercer año de la carrera "ingeniería informática empresarial" en la Universidad de Talca, en el cual se combina la dinámica de sistemas con la macroeconomía. En una primera fase se estudian modelos predefinidos, desde un simple flujo con un acumulador hasta el caso de la inestabilidad en un sistema de producción presentado en el capítulo 4 del texto docente de Morecroft (2007). De esta forma, los estudiantes se acostumbran a explorar la conducta de un modelo, de elaborar diagramas de bucle causal de él y de interpretar lo observado.

Para la fase "MacroLab", se forman 10 grupos de alumnos –uno por sector. La primera actividad es estudiar la estructura y la conducta del sector de cada grupo de manera aislada. Esto reduce la complejidad del modelo entero a una pequeña porción. Cada grupo elabora un DBC de "su" sector.

Luego se ensamblan los DBC de sector para conformar un DBC de referencia, lo que plantea la necesidad de conectar los DBC de sector, y surgen los bucles de retroalimentación trans-sector.

Finalmente, se define un escenario de shock para cada grupo, que ocurre en una de las variables de "su" sector. El encargo es de explorar la manera en la que este shock impacta a las variables "producción" y "tasa de desempleo". Es así que cada grupo parte desde una variable distinta, pero todos deben llegar a comprender los efectos en las mismas dos variables. Parte de este trabajo es la identificación de los bucles relevantes para los efectos directos e indirectos de cada shock. Se elabora un DBC propio a cada escenario. Trabajaron los siguientes shocks:

Asumimos que el DBC elaborado por cada grupo es una aproximación al modelo. Dado que todos se basan en el mismo modelo de MacroLab, no hay delicadas situaciones de extracción de conocimientos: el conjunto de variables y de vínculos causales claramente definido. Un grupo de estudiantes memoristas recogió los DBC de los diferentes grupos y el DBC de referencia. Luego los interpretó como "diagramas causales" (sin los bucles) y aplicó el cálculo de la Razón de Distancia a cada uno de los modelos (Quiroz y Aravena, 2008).

RESULTADOS DE LA EXPLORACION

LA MUESTRA

El estudio se ha hecho con un curso de 26 estudiantes. Hubo un grupo por sector:

Distancia respecto del modelo de referencia

Los resultados están resumidos en la siguiente tabla:

Dos de los modelos grupales no se terminaron a tiempo, por lo cual fueron dejados fuera del análisis. A primera vista, la Razón de Distancia es pequeña en todos los casos, ya que 3% a 4% de diferencia es poco. En este sentido, queda claro que todos los modelos de grupo están bien enmarcados en el modelo de referencia. Se puede interpretar que los grupos han sido capaces de leer bien el modelo de simulación y de no inventar nuevas variables y/o vínculos causales.

Sin embargo, también llama la atención que el porcentaje de las variables usadas –entre 11% y 26%– también es bajo. Ello significa que los diferentes grupos tomaron en cuenta una parte reducida del modelo entero para analizar sus respectivos escenarios de shock. Surge la pregunta de si estas partes-del-modelo fueron más bien similares entre los grupos o no.

Distancias entre grupos

En general, los modelos de grupo han sido bastante similares: con RD desde 6% hasta 18%, podemos inferir que la mayor parte de las variables y de los vínculos han sido idénticos. No obstante, el tamaño de los modelos de grupo es reducido, así que una diferencia de 15% significa que entre dos modelos de 20 variables cada uno, existen 3 a 4 diferencias.

Resulta inconveniente que la naturaleza compacta de la RD esconde mucha información interesante cuando se busca entender las diferencias. Surgieron dos preguntas nuevas:

- ¿cómo fue la cobertura de las variables macroeconómicas por los modelos de grupo?
- ¿cómo fue la cobertura del modelo de referencia por los modelos de grupo?

Cobertura del modelo de referencia

Los libros docentes de macroeconomía tratan de forma privilegiada un cierto conjunto de variables, que también forman parte del modelo de MacroLab. Sobre los modelos de grupo analizados se han observado las siguientes tasas de cobertura (porcentaje de los modelos de grupo que incluyen la variable en cuestión):

No debe sorprender que el empleo, la tasa de desempleo y el producto hayan estado en cada uno de los modelos grupales: fue parte de las tareas asignadas mostrar y explicar su conducta. La decreciente importancia de las otras variables significa que, con excepción de la demanda agregada, del salario nominal, del (nivel de) precio y de la tasa de interés, las otras variables tienen una importancia reducida. Se deduce de este hecho que algunos de los shocks activan solamente una parte de la estructura causal del MacroLab, lo que llama a reflexionar sobre su calidad como actividad de aprendizaje.

Una traza de ello se hace visible en la siguiente tabla, que representa la cantidad de variables principales y su cobertura (porcentaje de todas las variables principales) para cada uno de los escenarios de shock:

Se evidencia que algunos de estos escenarios han conducido los estudiantes a través de gran parte de las variables principales, sobre todo "consumo" y "política monetaria". Otros escenarios –especialmente "productividad" hicieron tocar muy pocas de estas variables.

Sin embargo, antes de entrar en interpretar los resultados, debemos también responder la segunda de las preguntas anteriormente planteadas. En el diagrama causal mostrado en la página siguiente, el tamaño de las letras de los nombres de variable corresponde al número de modelos de grupo en el cual han sido usados. Las variables subrayadas corresponden a las variables principales tratadas en el párrafo previo. Tal como los porcentajes de la tabla previa, el diagrama informa que muchas variables del modelo no han sido representadas en los trabajos de los grupos y otras variables sólo en parte de los grupos; sin embargo, la visualización deja ver el contexto del modelo entero (que los porcentajes esconden).

Se ve claramente la existencia de agrupaciones de variables más usadas en ciertas partes del modelo. La variable más usada (fuera de las obligatorias por la pregunta por responder de todos los grupos) es la demanda agregada, que también queda en una posición muy central en el diagrama.

DISCUSION DE HALLAZGOS Y PROBLEMAS

HALLAZGOS

El uso del método de la RD ha permitido detectar:

1. que todos los grupos fueron fieles al modelo subyacente del MacroLab,
2. que algunos de los escenarios de shock llevaron a los estudiantes a construir modelos mentales que incluyen una gran proporción de las variables principales, pero otros no.

Si bien el primer punto no es sino la confirmación de algo que era de esperar, el segundo punto conduce a una pregunta importante: ¿por qué algunas variables han sido tomadas en cuenta por más grupos que otras variables?

En la próxima sección se muestra cómo la inclusión de los bucles de retroalimentación permite responder la pregunta e ir más allá en el sentido de diseñar una herramienta de planificación o diseño de escenarios de estudio.

Problemas - el nivel de los bucles

La dinámica de sistemas da mucha importancia a los bucles de retroalimentación. Sin embargo, en el procedimiento de la RD no aparecen –razón por la que los diagramas previos no fueron de "bucles causales". Los bucles de retroalimentación son emergentes con respecto a las variables y vínculos causales. Al inspeccionar una variable, no es posible saber si ella forma parte de uno o varios bucles. De ello se desprende que al analizar un modelo al nivel de los bucles de retroalimentación, se forman agrupaciones de variables, como lo muestra la figura 4.

Al resaltar los bucles causales, esta figura permite ver la organización del modelo de una manera distinta a la de las variables más frecuentemente usadas. Y aún si la figura muestra solamente los 26 bucles más inmediatos (hay otros más largos), ya se ve que es un modelo complejo, en el cual muchos bucles se superponen parcialmente. Cada bucle está señalado por un número y el signo de su polaridad. Llama la atención que los bucles se concentran en algunas regiones que parecen poco conectadas entre ellas. Por ejemplo, los bucles 1-9, fuertemente entrelazados, no tienen una interfaz directa con los demás bucles. A través de la variable "demanda agregada", un gran número de bucles se tocan mutuamente.

La figura 5 combina los bucles con la presentación diferenciada de las variables, de modo de dejar ver la relación entre la frecuencia de inclusión de las variables con las ubicaciones de los bucles.

Al observar la figura previa, surge la intuición que eventualmente la frecuencia de uso de las diferentes variables depende de si forman parte de uno o varios bucles de retroalimentación.

- los bucles aparecen como círculos con borde grueso, identificados por su número (comparar con los DBC previos); si la polaridad es positiva, el borde y el número son negros, si es negativa el color es gris y la fuente es cursiva.

- una línea negra sólida entre dos bucles representa la activación mutua: si algo gatilla un cambio en uno de los bucles, éste se propaga al otro bucle, y viceversa. En general, una o varias variables pertenecen a varios bucles (los bucles se superponen parcialmente).

- una línea gris y puntilleada representa una agrupación de bucles. Entre dos tales agrupaciones no hay conexión directa, pero una o varias variables intermedias permiten llegar de uno al otro; las flechas grises indican la dirección de esta activación, que por lo tanto es en sentido único.

Los bucles 1 y 2 de la agrupación a comparten la mayoría de sus variables constituyentes, y no es posible inducir un cambio en uno sin que también cambie el otro. Lo mismo ocurre entre la mayoría de los bucles de la agrupación b. Además, un cambio que interviene dentro de la agrupación a se propaga a la agrupación b, pero el contrario no es verdad. Análogamente ocurre entre las agrupaciones b y c, b y d, b y e, b y f y finalmente f y e.

La separación entre las agrupaciones d y e obedece al deseo de mantener el número de líneas negras lo más bajo posible; de hecho, todos los bucles de d y de e incluyen la variable "demanda agregada", por lo cual habría sido correcto representarlos a todos como una red de tipo "estrella". Sin embargo, tal diagrama sería difícil de analizar. Para evitar esta dificultad, se separaron en dos agrupaciones y están contactados por una línea negra sólida, que representa el hecho de su fuerte conexión.

Basado en este diagrama, podemos ver que si un shock interviene en una variable que pertenece a un bucle de la agrupación a, puede propagarse a través de todas las agrupaciones y todos los bucles (y sus respectivas variables). En cambio, un shock en una variable del bucle 17 (agrupación d), dejaría excluidos los bucles de las agrupaciones a, b y c. Todas estas relaciones de activación se han representado en la siguiente matriz:

Los números de los bucles aparecen como rótulos de fila y de columna, y la tabla se lee de izquierda a derecha, por ejemplo: "el bucle 1 activa al bucle 2". Las relaciones que aparecen como línea sólida en el diagrama previo son simétricas; las que son representadas como flechas grises van en sentido único: "el bucle 1 activa al bucle 5".

Tanto el diagrama como la matriz ponen de manifiesto que las variables de algunas agrupaciones de bucles se prestan para definir escenarios de shock con un gran potencial de involucrar virtualmente todos los bucles y por lo tanto a todas las variables principales. Al mismo tiempo, algunas agrupaciones son más bien islas en el modelo, y plantear un shock en una de sus variables equivale a excluir la posibilidad de involucrar a variables de los bucles de otras.

Un análisis de los diferentes shocks respecto de los bucles que se activan muestra esta diferencia. Primero, hay que reconocer que los shocks son, en general, perturbaciones exógenas, por lo cual no intervienen en variables perteneciente a un bucle, sino que en variables que se conectan con otras variables, que –a su vez– sí pertenecen a ciertos bucles. En base de las membresías de las diferentes variables a determinados bucles, se parte considerando las variables de shock y las activaciones sucesivas de bucles, se descubre que los grupos de bucles alcanzables desde la variable del shock no son siempre los mismos:

Por ejemplo, el shock del grupo del sector "trabajo" interviene en una variable conectada a los bucles del grupo f, que a su vez permite llegar a los bucles de los grupos e y d. Nos debe llamar la atención que solamente los escenarios de shock de los sectores "consumo", "dinero" y "política monetaria" tienen un contexto de estructura de bucles causales que incluya a casi todos los bucles (y sus respectivas variables); los demás escenarios sólo se conectan con aproximadamente la mitad de los bucles.

Consideremos también que el presente análisis está enteramente basado en la estructura causal del modelo, es decir, en las posibilidades estructurales de traspasar cambios entre variables. Sin embargo, no siempre todos los bucles se activan. Ello depende de los valores particulares del shock y de sus efectos inmediatos. Es así que un análisis de la dominancia de bucles y de la polaridad dominante enfocado en las conductas (Ford, 1999) se presenta como alternativa para analizar la cobertura de diferentes shocks en términos de variables principales involucradas. Sin embargo, esta posibilidad no es el objeto del presente artículo.

Se concluye que la razón de la desigual cobertura de variables entre los escenarios es la activación desigual de bucles por los diferentes shocks. En base de esta constatación, se puede especificar una solución para el problema.

Consecuencias para itinerarios flexibles

La presencia de múltiples bucles de retroalimentación en un modelo grande como MacroLab no asegura la conexión entre todas las partes del modelo. En este sentido, la idea de asignar un "sector" del modelo a cada grupo de estudiantes –si bien parecía indicada al inicio de la experiencia– debe ser descartada.

El docente como diseñador de experiencias de aprendizaje debe entonces definir los escenarios de manera diferente. Haremos ahora el supuesto que se requieren escenarios chicos y grandes. Los escenarios chicos activarán una parte chica de los bucles y permiten tratar enfocadamente ciertas variables o de introducir los estudiantes al trabajo con un modelo grande. Los escenarios grandes activarán la mayor parte o incluso todos los bucles; si hay varios de cobertura suficientemente similar, por lo tanto se puede dar libertad de elección a los estudiantes y el curso gana en flexibilidad –lo que fue la intención de la exploración con MacroLab.

Se requiere entonces conocer de antemano la cobertura de bucles de cualquier escenario de shock, por lo cual será necesario recorrer por un proceso de diseño con las siguientes etapas:

a) determinar el conjunto de bucles de retroalimentación del modelo;
b) determinar la pertenencia de las diferentes variables a los diferentes bucles;
c) determinar las conexiones entre los bucles;
d) definir la variable donde se aplicará el shock (y las variables de interés);
e) determinar los bucles con los cuales se conecta la variable del shock;
f) determinar los bucles conectados a este conjunto inicial de bucles.

Claramente, los pasos a), b) y c) son genéricos, ya que se deberían repetir para cada escenario particular. Esto hace deseable la existencia de una herramienta que facilite la realización de estos pasos. Lamentablemente, ninguno de los softwares disponible en el mercado permite hacer esto directamente. Sin embargo, las diferentes matrices presentadas en este artículo permiten implementar un método correspondiente.

Existen algoritmos de detección de bucles, por lo cual el paso a) ya no requiere una nueva solución. Los softwares detectan simplemente todos los bucles que pasen por una determinada variable, pero se han publicado métodos para detectar conjuntos independientes de bucles (Kampmann, 1996; Kampmann y Oliva, 2004; Oliva, 2006). Por tanto, estos métodos buscan conjuntos de bucles que sean lo menos dependientes entre ellos (lo que minimiza los traslapes entre bucles); ello no corresponde a nuestra meta de disponer de un conjunto de bucles con la mayor conectividad posible entre ellos. Por lo tanto, hace falta explorar hasta qué punto los conjuntos de bucles indicados por estos métodos se prestan para nuestros fines. Hasta el momento de avanzar en este tema, el docente tendrá que proceder por prueba y error.

El mismo recorrido de detección de bucles pasa por las variables, por lo cual la lista de variables de cada bucle puede ser derivada de este mismo paso. Las conexiones entre los bucles requieren la comparación de todos los pares de bucles y la detección de eventuales variables pertenecientes a ambos bucles en comparación. Este mismo paso c) nos genera la matriz de activación presentada en la tabla 6. El paso e) hace uso de las listas de variables por bucle para identificar los bucles iniciales.

Finalmente, el paso f) consiste en explotar la matriz de activación. En ella encontramos las conexiones directas entre los bucles y podemos iniciar la búsqueda con el conjunto inicial de bucles. Para cada uno buscamos las celdas "1" e identificamos el número del bucle (rótulo de la columna) y lo insertamos en una lista aparte, si todavía no se encuentra en ella. Cuando terminamos con el último de los bucles iniciales comparamos el conjunto de bucles iniciales con la lista: todos los números en la lista que no están en los bucles iniciales se copian a la lista de bucles iniciales. Luego se repite el procedimiento, hasta que en una repetición (iteración) no se han agregado nuevos bucles: esto será la señal de que ya no se ampliará el conjunto de bucles activables. De manera opcional, podríamos calcular el porcentaje de cobertura en términos de bucles, el porcentaje de cobertura de las variables de modelo e incluso verificar si ciertas variables específicas están dentro del conjunto de estas variables.

Tal herramienta permitiría a docentes de macroeconomía confeccionar actividades de estudio para que sus estudiantes exploren la naturaleza de los procesos macroeconómicos de manera progresiva, flexible y con el rigor de la simulación, sin obligarlos a modelar la macroeconomía. Tal exploración es una variante del aprendizaje por descubrimiento, que podría ir más allá del uso de los ILE basados en la proyección de DBC. Cabe mencionar que la dinámica de sistemas ofrece una serie de modelos que son un referente en su ámbito, pero que son complejos de analizar; basten como ejemplos World3 (Meadows et al., 2004) y Urban dynamics (Forrester, 1969). Poder facilitar el uso de tales modelos en la docencia puede consistir en desarrollar la herramienta descrita, que reduce el esfuerzo de preparación e incluso podría acercar los modelos de dinámica de sistemas a académicos que actualmente no practican esta disciplina.

Consecuencias para el estudio de modelos mentales en el contexto de la dinámica de sistemas

El presente intento indica que la comparación de variables y vínculos causales no es satisfactoria del punto de vista de la dinámica de sistemas. Si los bucles de retroalimentación son relevantes para entender la conducta de un sistema, también lo son para analizar la forma como una persona comprende este sistema. Por lo tanto, los bucles deberían formar parte de la comparación.

No hay métodos formalmente establecidos para comparar los bucles entre diferentes modelos mentales. Una posibilidad de comparar versiones sucesivas de modelos mentales ha sido enunciada por Schaffernicht (2006): se basa en que entre dos versiones del modelo mental que una persona se hace de un sistema dinámico, puede darse que un bucle aparezca, que se modifique o que sea eliminado. Se puede entonces detectar el porcentaje de los bucles que haya sufrido tales cambios y construir un indicador de cambio.

Este procedimiento podría ser adaptado para ser usado en la comparación de los modelos mentales que diferentes personas se hacen de un sistema dinámico. Sin embargo, solamente funcionará si ambas personas se basan en el mismo conjunto de bucles, ya que este método no contempla la posibilidad de múltiples conjuntos de bucles. Asumiendo que en un caso como MacroLab, el "conjunto más corto de bucles" (Oliva, 2006) sirva, podemos incorporar el método de construcción de este conjunto al procedimiento de exploración de los estudiantes. En este caso, todos se basarían en un mismo conjunto de bucles.

No obstante, si la detección de los bucles es parte del proceso de aprendizaje de los estudiantes (o de otros actores), y si no se puede garantizar que haya un conjunto único de bucles, entonces un método de comparación de modelos mentales debería poder trabajar con diferentes conjuntos de bucles. En este caso, habrá que agregar al procedimiento de Schaffernicht (que fue bucle por bucle) un componente que compara los conjuntos de bucles (al nivel global). Se abre aquí un campo de investigación que no solamente puede servir al ámbito de la educación, sino que también a otras áreas de la investigación, como en toma de decisiones.

CONCLUSIONES

El objetivo de la exploración reportada en estas páginas fue de averiguar si los modelos mentales que elaboran estudiantes de macroeconomía al indagar diferentes shocks –es decir, entrar el modelo desde diferentes variables– son similares entre ellos y con respecto a las variables principales, que típicamente se discuten en los libros docentes de nivel introductorio.

Se definieron 10 escenarios de shock y los modelos mentales (causales) de 10 grupos de estudiantes fueron comparados con un modelo de referencia y entre ellos mediante el método de la "razón de distancia" (RD).

En efecto, los RD de los 10 grupos, en relación con el modelo de referencia, fueron bastante similares. También aparecieron similares en las comparaciones entre los grupos. Sin embargo, una inspección más detallada –cosa que no facilita la RD por su carácter sintético– reveló diferencias preocupantes.

El análisis de los bucles de retroalimentación y de las relaciones entre ellos permitió aclarar que algunos bucles son más conectados con los demás bucles que otros: existen regiones más aisladas que otras, por lo cual las variables que pertenecen solamente a estos bucles no se prestan para iniciar indagaciones que cubran la globalidad del modelo (MacroLab). Se reveló así que el método de comparación de los modelos vía RD es insatisfactorio, porque no toma en cuenta los bucles de retroalimentación.

Se propuso un método de diseño de actividades de aprendizaje, donde el docente analiza las relaciones entre los bucles de retroalimentación y determina las variables de shock, de modo de asegurar una cobertura igual de cierto conjunto de variables por parte de todos los grupos de estudiantes. De esta manera, se podrá conservar la idea de diseñar itinerarios variados de aprendizaje, asegurando flexibilidad. Sin embargo, la multiplicidad de conjuntos de bucles y el origen de los métodos de detección llaman a realizar estudios con la meta de confirmar si estos métodos son adecuados para este uso.

También se arrojó luz al proceso de trabajo de los estudiantes en este contexto; se encontró que hay dos heurísticas, de las cuales la primera es aconsejable: el uso de un DBC general para guiar la exploración del comportamiento del modelo de simulación. La segunda variante, si bien más intuitiva para los estudiantes de este estudio, se desaconseja.

Finalmente, se señaló la necesidad de diseño de un método de comparación de modelos mentales que incluya el concepto de bucle y lo explota. Esto serviría no sólo al diseño de actividades de aprendizaje, sino que también a otras áreas donde los modelos mentales de los actores frente a sistemas dinámicamente complejos son de interés.

MacroLab será el contexto de una nueva prueba del revisado método de diseño. En este sentido, el presente trabajo se cierra reafirmando que el uso indicado de los bucles como ayuda al diseño de actividades de exploración de modelos de simulación, presenta la oportunidad de incluir modelos substancialmente más complejos que los usuales en la docencia universitaria.

NOTA

BIBLIOGRAFIA

Doyle, J. K. & D. N. Ford (1998). Mental models concepts for system dynamics research. System Dynamics Review 14 (1): 3-29.

Doyle, J. K. & D. N. Ford (1999). Mental models concepts revisited: some clarifications and a reply to Lane, System Dynamics Review 15 (4): 411-415.

Forrester, J. (1969). Urban dynamics, Productivity Press.

Ford, D. (1999). A behavioral approach to feedback loop dominance analysis, System Dynamics Review 15 (1), Spring 1999; pág. 3.

Johnson-Laird, P. N. (1999). Deductive reasoning, Annual Review of Psychology; 1999; 50: 109-135.

Kampmann C. E. (1996). Feedback Loop Gains and System Behavior (http://www.cbs.dk/content/download/10577/157914/file/FB%20loops.pdf; 22/9/2008).

Kampmann, C. E. & R. Oliva (2006). Loop eigenvalue elasticity analysis: three case studies, System Dynamics Review 22 (2), (Summer 2006): 141-162.

Oliva, R. (2006). Model structure analysis through graph theory: partition heuristics and feedback structure decomposition. System Dynamics Review 20 (4), (Winter 2004): 313-336.

Lane, D. C. (2008). The Emergence and Use of Diagramming in System Dynamics: A Critical Account, Systems Research and Behavioral Science 25: 3-23.

Langfield-Smith, K. & A. Wirth (1992). Measuring differences between cognitive maps, Journal of Operational Research 43 (12): 1135-1150.

Markóvski, L. & J. Goldberg (1995). A method for eliciting and comparing causal maps, Journal of Management 21 (2), pp. 305-333

Meadows, D., J. Randers and D. Meadows (2004). Limits to Growth –the 30 year update. Chelsea Green.

Morecroft, J. (2007). Strategic modelling and business dynamics: A feedback approach. John Wiley.

Quiroz, Juan F. y Carlos Ch. Aravena (2008). "Búsqueda de Posibles Diferencias en Modelos Mentales Resultantes de la Exploración de Sectores en un Modelo de Simulación Macroeconómico, el caso MacroLab ILE", Memoria de grado de Ingeniería comercial, Universidad de Talca, agosto 2008.

Schaffernicht, M. (2006). Detecting and monitoring change in models. System Dynamics Review Vol. 22, Nº 1, (Spring 2006): 73-88.

Schaffernicht, M. (2007). Causality and diagrams for system dynamics, Actas de la 50th International Conference of the System Dynamics Society, Boston, julio 2007.

Wheat, David (2007a). "The Feedback Method - A System Dynamics Approach to Teaching Macroeconomics", Doctoral dissertation, University of Bergen, March 2007.

Wheat, David (2007b). "The Feedback Method of Teaching Macroeconomics: Is It Effective?", System Dynamics Review, 23 (4), Winter 2007, pp. 391-413.