Guía de procedimiento de los indicadores del Manejo Forestal Sostenible
Revista Cubana de Ciencias Forestales. 2017, 5(1):69-79
Guía de procedimiento de los indicadores del Manejo Forestal Sostenible
Guide of the procedure of the indicators of the Sustainable Forest Management
Jorge Luis Cué
García1, Mariol Morejon
García2, Iván Pino Estopiñales3, Osvaldo Fosado Téllez4
1Doctor en Ciencias Forestales. Facultad de Ingeniería Agrícola. Universidad Técnica de Manabí. Ecuador. Correo electrónico: jlcuegarcia@yahoo.com
2Doctora en Ciencias Forestales, Profesora Titular, Coordinadora de la Maestría de
Agroecología y Desarrollo Sostenible. Departamento Agropecuario. Facultad de Ciencias Forestales y Agropecuarias. Correo electrónico: mariol@upr.edu.cu
3Ingeniero Forestal. Máster en Ciencias Forestales. Ministerio de la Agricultura, Cienfuegos, Cuba. Correo electrónico: ivanpino@minagri.co.cu
4Doctor Ciencias Forestales, Facultad de Ingeniería Agronómica. Universidad Técnica de Manabí, Ecuador.
Correo electrónico: osvaldo.fosado@gmail.com
Recibido: 10 de noviembre de 2016.
Aprobado: 6 de marzo de 2017.
RESUMEN
El trabajo se desarrolló en la provincia de Cienfuegos, Cuba, con la aspiración de proponer una guía de procedimientos para la operacionalización de los indicadores del manejo forestal sostenible para las unidades silvícolas. Se emplearon talleres participativos con actores y decidores de las unidades silvícolas en la definición de los atributos de la guía de procedimiento. El método Delphi se utilizó en la validación de la propuesta. Los resultados del análisis de la fiabilidad del instrumento aplicado a los expertos son aceptables, pues el valor T2 de Hotelling fue de 322,46 para p= 0,007, existiendo una concordancia significativa, fuerte, entre los elementos del instrumento, expresado en la correlación intraclase, con un coeficiente de 0.756 para p= 0,038, coeficiente de confiabilidad Alpha de Cronbach de 0,806, coeficiente de Spearman-Brown igua la 0,656 y coeficiente Guttman para mitades partidas de 0,606. La guía de procedimiento garantiza la sistematización de la información primaria generada en un sistema de indicadores de sostenibilidad en las Unidades Silvícolas, lo que permite la valoración de la tendencia del manejo forestal sostenible, según las particularidades de cada unidad de producción forestal.
Palabras clave: Sostenibilidad, Unidades Silvícolas, criterios e indicadores.
ABSTRACT
The work was developed in the province of Cienfuegos, Cuba, with the aspiration to propose a Guide Procedures for the operationalization of indicators for Sustainable Forest Management in the Forestry Units. Participatory workshops with actors and makers of forestry units in the definition of the attributes of the Procedural Guidance were used. The Delphi method is used in the validation of the proposal. The results of the analysis of the reliability of the instrument applied to the experts are acceptable because the Hotelling T2 value was 322.46 p= 0.007, there is a significant, strong correlation between the elements of the instrument, expressed in the intraclass correlation with a coefficient of 0.756 to p = 0.038, Alpha reliability coefficient Cronbach of 0.806, Spearman-Brown coefficient equal to 0.656 and Guttman split halves of 0.606. Guide Procedure guarantees the systematization of primary information generated in a system of sustainability indicators in forestryunits, which allows assessment of the trend of sustainable forest management, according to the particularities of each unit of production forest.
Key words: Sustainability, Forestry Units, criteria and indicators.
INTRODUCCIÓN
La agenda 21, emanada de Río´92, plantea la necesidad de mejorar los procesos de adopción de decisiones que permitan el acceso del público a la información confiable y pertinente, así como el diseño y elaboración de sistemas de vigilancia y evaluación de los avances logrados en la perspectiva del desarrollo sostenible mediante la creación y adopción de indicadores que cuantifiquen y midan los cambios en las dimensiones social, ambiental y económica.
La sostenibilidad muestra su complejidad desde la concepción de la misma, dada por el hecho de que trasciende al futuro, pues un estado final de sostenibilidad no existe, lo que se puede entender como una quimera. Los indicadores de sostenibilidad pueden permitir, de forma realista, solo una estimación sobre la dirección correcta de una determinada evolución de un sistema, recurso, proceso o actividad, pues según Gómez, (1997), citado por Cué, (2008), etimológicamente el término sostenibilidad se refiere a «la garantía de continuidad en el tiempo de las características estructurales y funcionales, de los valores y de los atributos, de aquello a lo que se refiere: sistema, recurso, actividad o proceso»,
La compleja realidad de los sistemas boscosos debe ser reflejada, de manera sintética, por los indicadores del Manejo Forestal Sostenible (MFS). Los indicadores permiten manejar grandes cantidades de información significativa, en tanto, son diferentes a los datos o estadísticas, pues reflejan los significados esenciales de los fenómenos o procesos. Se constituyen en un puente entre el dato detallado y la información interpretada, lo que concuerda con Domínguez, Serrano, Hernández, y Aguilar (2014).
Los indicadores de sostenibilidad constituyen la expresión cuantitativa de las interacciones desarrolladas en la compleja dinámica de los sistemas, lo que refleja su significación, más allá de lo reportado por cada dimensión del sistema separadamente. Se definen y construyen en procesos de carácter participativo, involucrando a la ciencia, los hacedores de políticas y la sociedad civil, a modo de consenso, Kenney et al., (2011), Jalilova et al., (2012) y Gale & Cadman (2014) y brindan señales, que facilitan la evaluación del progreso, hacia los objetivos que contribuyen a la meta de alcanzar el bienestar humano y el ecosistema de manera armónica.
Dos elementos existen en un indicador que deben ser contrastados, a saber, un valor representativo de la situación real, alcanzado como resultado de un procedimiento previo, entendido como base, y otro valor, obtenido de un razonamiento anterior acerca de la situación deseada, y que en definitiva se expresa en un valor para el cual el objetivo se considera logrado, denominado umbral. La diferencia entre el valor base y el umbral, llamado brecha, permite diseñar y establecer estrategias a largo y mediano plazo, así como tomar medidas para el corto plazo.
Los verificadores son variables que contrastan los datos que sirven de base para la determinación del indicador. Para la obtención de la información necesaria, en el monitoreo de los indicadores, es recomendable disponer de un instrumento metodológico que se constituya en elemento normativo, sistematizador y orientador de la toma de datos. Esta necesidad motiva la aspiración de proponer una Guía de Procedimientos para la operacionalización de los indicadores del MSF para las Unidades Silvícolas.
MATERIALES Y MÉTODOS
El trabajo se desarrolló en el periodo comprendido de2006 al 2009 en la provincia de Cienfuegos, ubicada en la región centro sur del archipiélago cubano, en las Unidades Silvícolas de Abreu, Santiago de Cartagena y Cumanayagua.
La guía de procedimiento fue elaborada teniendo en cuenta los referentes de la guía de campo para la validación de criterio se indicadores para la Ordenación Forestal Sostenible a nivel de Unidad de Manejo, en Hondura, Anónimo (2005);así como los criterios e indicadores de manejo forestal sostenible, Cuba, según Herrero (2005).
Su diseño metodológico fue puesto a consideración de expertos a través de la aplicación del método Delphi. Se empleó el procedimiento propuesto por el Instituto de Ingeniería de España, corroborado por Zartha, Montes, Vargas, Arias y Hoyos, (2015), que modifica el número de circulaciones de los cuestionarios, de cuatro veces a solo dos.
La utilización del método de criterio de expertos en la investigación tuvo como objetivo valorar la propuesta de sistema de criterios e indicadores, adecuada a las unidades silvícolas, teniendo en cuenta los siguientes aspectos:
1. Comprende las acciones fundamentales de la administración y dirección técnica en las unidades silvicolas.
2. Se adecua al proceso de obtención y registro de la información, sin precisar de manera significativa de inversiones y personal adicional para monitorear los criterios e indicadores en las unidades silvicolas.
3. Los principios y criterios que se proponen están en correspondencia con la planeación estratégica por objetivo y el proyecto de ordenación forestal de las unidades silvicolas.
4. Los indicadores y sus verificadores son fáciles de medir y poseen información disponible y confiable en los niveles de cobertura que comprenden.
5. Es una herramienta efectiva y adecuada para la toma de decisiones en la gestión de Manejo Forestal Sostenible en las unidades silvicolas.
Dos de las categorías valoradas por los expertos se relacionan de manera directa con la guía de procedimiento de los indicadores del MSF para las unidades silvicolas, la número dos y la cuatro.
Los umbrales de cada indicador deben poseer una orientación hacia la sostenibilidad, teniendo en cuenta su carácter prospectivo y su definición de acuerdo con los objetivos de trabajo de las unidades silvícolas, así como las capacidades existentes para cumplir los mismos.
Los valores base del rango de comportamiento de cada indicador se establecieron según los registros estadísticos de los indicadores en las Unidades Silvícolas.
Los rangos de comportamiento de los indicadores fueron aprobados en las unidades silvícolas con la anuencia de la dirección de la Empresa y el Servicio Estatal Forestal provincial.
La validación estadística del instrumento aplicado a los expertos seleccionados se realizó mediante la evaluación de su fiabilidad, a través de la determinación de los coeficientes: correlación entre mitades, Guttman, Spearman Brown (igual longitud), Spearman Brown (desigual longitud) y el coeficiente de confiabilidad Alpha Cronbach. Además, fueron analizados otros estadísticos, entre ellos: coeficiente de correlación intraclase y la prueba T2 de Hotelling, según (Gewt, 2012). El paquete estadístico empleado fue SPSS versión 13.0 para Windows.
RESULTADOS Y DISCUSIÓN
La valoración de la tendencia de la sostenibilidad necesita ser concretada mediante un sistema de indicadores a cualquier nivel jerárquico organizacional. Para ello, se debe asegurar la recopilación confiable y fidedigna de los datos necesarios para satisfacer las exigencias de los indicadores definidos, según el objeto (sistema, recurso, actividad o proceso) a valorar.
Según Van Bueren y Blom (1997), citado por Cué, (2015), proponen la jerarquización de los criterios e indicadores del MFS, donde se establecen las siguientes categorías en orden decreciente:
Atendiendo a esta propuesta, aceptada a nivel internacional, los indicadores del MSF deben contener en su descripción e instrumentación las categorías que les son subordinadas: normas, verificador y fuente de verificación. Sin embargo, diversos sistemas de indicadores establecidos en varios contextos no logran satisfacer tales requerimientos, en particular lo relacionado con las fuentes de verificación, aspecto relevante, pues definen la confiabilidad y responsabilidad para la obtención, registro y compilación de los datos estadísticos necesarios para satisfacer la determinación de los verificadores. Tales casos se pueden constatar en las propuestas de Herrero, (2005) en Cuba; Barbosa et al., (2011) en Brasil; Ríos et al., (2012) en México; Granada et al., (2015) en Paraguay y Valls-Donderis et al., (2015) en España.
Todo proceso de recopilación y procesamiento de grandes volúmenes de información para diferentes actores, según el nivel que ocupa en una organización o institución y su capacidad para la gestión de los mismos, necesita una guía de procedimiento para obtener, transformar y registrar, estadísticamente, esta información, según Cué, (2008).
La guía de procedimiento sirve de instrumento para el cálculo de los indicadores requeridos para valorar el estado o funcionamiento de cualquier sistema, recurso, actividad o proceso.
En el caso de las unidades silvícolas en estudio, en la provincia de Cienfuegos, se pudo constatar carencia de una propuesta técnica-metodológica para la obtención, registro y transformación de los datos estadísticos, que satisfagan una sistematización integral y holística de estos para la gestión de los directivos, tanto administrativos como técnicos.
El registro de los datos estadísticos se realiza desde la perspectiva de cada área de gestión: técnica, económica, talento humano; atendiendo a los registros primarios, con las unidades de medidas y consideraciones particulares de cada indicador.
La guía de procedimiento forma parte del proceso de implantación de los criterios e indicadores; es una herramienta fundamental para poder desarrollar estos a cualquier nivel de aplicación, convirtiéndose en el instrumento comunicador que permite:
El diseño de la guía de procedimiento se realizó con un lenguaje sencillo, claro y preciso para poder facilitar el trabajo de implementación de los criterios e indicadores en las unidades silvícolas. Asegura la participación de los actores sociales en la toma de la información primaria y, por tanto, se incrementa el sentido de pertenencia de estos con el seguimiento de los criterios e indicadores en cada unidad silvícola.
Los diferentes acápites que contiene la Guía de Procedimiento se definen como sigue, de acuerdo con Cué, (2008):
1. Código y nombre del indicador: se describe de manera sintética; identifica al mismo, lo que permite su fácil ubicación dentro de la base de datos creada a través de su codificación. El código posee tres números separados por una pleca o guión, de tal manera que el primer número se corresponde con el Principio al cual pertenece, el segundo indica el criterio de pertenencia y el tercero, el número específico del indicador dentro del criterio al cual pertenece.
2. Definición: son las características esenciales del indicador que lo diferencia de otro, detallando de forma sencilla lo que se desea medir, explicando conceptos técnicos asociados a él.
3. Ubicación según bienestar: es la tendencia más evidente del indicador hacia el bienestar humano o del ecosistema. Según se adopten dimensiones de la sostenibilidad de acuerdo con el posicionamiento teórico del equipo de trabajo, se pueden asignar ubicaciones del indicador en particular y adecuarse a la metodología de presentación de los resultados finales.
4. Escala adoptada y sentido de su comportamiento: identifica el tipo de escala que se adopta y el sentido de su comportamiento, positivo o negativo, para identificar la fórmula correspondiente de estandarización del indicador.
5. Unidad de medida: expresa el resultado del indicador, su unidad de medida o su carácter adimensional.
6. Fórmula del indicador: es la igualdad matemática que permite calcular el valor del indicador y depende directamente de los verificadores o variables del mismo, los que se describen o identifican después de enunciada la formulación.
7. Rango de comportamiento: es el rango donde se mueve el resultado numérico del indicador, desde su valor base hasta su norma o umbral.
8. Cobertura de la información: expresa el alcance y el contexto donde son aplicables los resultados del indicador.
9. Fuente de los datos: expresa dónde se producen originalmente los datos, quién los recopila, los procesa y el responsable de archivarlos en la actualidad. En caso de que sea un mismo individuo-cargo, se declara en tal condición.
10. Periodicidad de la información: es el lapso que dista de una publicación a otra del indicador.
11. Responsable de la medición: son los encargados de garantizar la medición y su calidad, los que se titulan como responsables.
12. Verificadores: Variables, datos estadísticos, que sirven de base para la determinación del indicador. Se enuncian, pues su descripción en particular requiere de una metodología algo similar a la presente Guía de Procedimientos. Su registro se lleva a cabo por los diferentes componentes de la estructura organizacional de las Unidades Silvícolas.
A modo de ejemplo se presenta uno de los indicadores empleados.
Tabla 1. Modelo del registro de la información de los indicadores según la propuesta de Guía de Procedimientos. Ejemplo.
| 1 | 
Código y nombre del indicador. Representación de los ingresos por Productos Forestales No Maderables (PFNM) respecto a la producción mercantil de la unidad silvícola. |
|||
| 2 | Definición. |
|||
| 3 | Ubicación según bienestar: Humano. | 4. Escala: Controlada; sentido comportamiento: Positivo | ||
| 5 | Unidad de medida del indicador: Se expresa en porcentaje (%) | |||
| 6 | Fórmula del indicador. |
|||
| 7 | Rango de comportamiento: | |||
| Puntaje | Valores según unidad silvícola: | |||
| Santiago de Cartagena” | “Abreus” | “Cumanayagua" | ||
90 |
3.0 |
5.0 |
5.0 |
|
60 |
2.5 |
4.5 |
4.0 |
|
30 |
1.8 |
3.7 |
3.5 |
|
0 |
0.0 |
0.0 |
0.0 |
|
| 8 | Cobertura de la información: Unidad Silvícola | |||
| 9 | Fuente de los datos (donde se producen originalmente, quien los recopila y procesa, quien los posee en la actualidad):
|
|||
| 10 | Periodicidad de los datos (diferenciar entre la frecuencia de la medición y la presentación de la información).
|
|||
| 11 | Responsable de la medición. |
|||
Verificadores |
||||
| Producción mercantil anual de la unidad silvícola. (m.p) | ||||
| Producción mercantil anual de los PFNM de la unidad silvícola. (m.p) | ||||
Los resultados del análisis de confiabilidad del instrumento aplicado durante la consulta a los expertos, respecto a la propuesta de los criterios e indicadores, donde se incluye la guía de procedimientos, muestran una concordancia significativa, fuerte entre los elementos del instrumento, expresado en la correlación intraclase con un coeficiente de 0.756 para p = 0,038, coeficiente de confiabilidad Alpha de Cronbach de 0,806, coeficiente de Spearman-Brown igua la 0,656 y coeficiente Guttman para mitades partidasde 0,606.
El valor T2 de Hotelling fue de 322.46 para p = 0.007, lo que indica que los elementos de la escala no poseen la misma media, existiendo una concordancia significativamente fuerte entre los elementos del instrumento, expresado en la correlación intraclase con un coeficiente de 0.756 para p=0.038
La guía de procedimientos de los indicadores que se establece contempla un sistema de aspectos que viabilizan la comprensión del proceder para cada indicador y esclarece elementos esenciales para el proceso de agregación de la información, tales como: ubicación en cuanto al bienestar, escala y sentido del comportamiento, rangos de comportamiento y del puntaje del indicador que difieren de las propuestas de Herrero, (2005) en Cuba; Barbosa et al., (2011) en Brasil; Ríos et al., (2012) en México; Granada et al., (2015) en Paraguay y Valls-Donderis et al.,(2015) en España. También es novedosa la definición del indicador y el nivel de cobertura del mismo.
Los valores de cada indicador se estandarizan según la escala adoptada y su sentido de comportamiento; se asume la escala controlada para la estandarización de todos los indicadores.
La fórmula a emplear en los indicadores de comportamiento ascendente positivo es: , donde:
donde:
PI: Puntaje del indicador |
Vr: Valor real del indicador |
La escala del valor del puntaje del indicador se adecuó por el autor, y los intervalos quedan de la siguiente manera: 0, 30, 60 y 90, (Cué et al., 2008)
Los indicadores cuyo comportamiento ascendente sea en sentido negativo, respecto a la sostenibilidad, se calculan mediante la siguiente fórmula:
, con similares variables a la fórmula anterior.
Este resultado, la escala para el valor del puntaje estandarizado de cada indicador, es novedoso, lo que no coincide con Herrero et al. (2005) y guía de campo, anónimo (2005), según Cué, (2008):
Definición del rango de comportamiento de los indicadores
Un paso clave en el proceso de establecimiento de los criterios e indicadores es la definición de umbrales para los indicadores seleccionados, Gallopin (1997), citado por Velázquez y D´Armas (2013), los que deben concordar con los objetivos estratégicos de trabajo de cada Unidad Silvícola y el Proyecto de Organización y Desarrollo de la Economía Forestal en particular. También se tienen en cuenta las limitaciones funcionales, organizativas, operacionales, tecnológicas, de infraestructura y características propias del patrimonio, con vista a establecer compromisos con el ecosistema y ser coherente con los objetivos propuestos hasta el año 2015.
La definición de umbrales cumple con el principio de la precaución de Cooney y Dickson, (2005), citados por Martínez (2013), donde se reconoce el limitado conocimiento de los procesos naturales por parte del hombre y de los efectos que esta causa al interactuar con la naturaleza, por tanto, se proponen umbrales prudenciales.
Al singularizar el valor de los umbrales de los indicadores a cada Unidad Silvícola, detalles en la tabla 1, numeral 7, «Rango de comportamiento», se diferencia del proceso adoptado por Socorro (2002), citado por Cué (2008)y Arné et al., (2013),pues estos definen el umbral como el máximo valor de los registrados por alguno de los sistemas en estudio, mientras que el valor base es el resultado del peor comportamiento para uno de los sistemas, lo que limita el carácter prospectivo del empleo de los criterios e indicadores, la singularidad de cada sistema y propende a la comparación entre los sistemas en estudio.
Farfán e Hincapié (2011), Zulaica y Tomadoni (2015), también asignan valores de igual rango para todos los sistemas en estudio, lo que resta relevancia al hecho de que la evaluación de la sostenibilidad de cualquier sistema es, en primer caso, para consigo, orientada hacia el desarrollo sostenible y sobre la base del modelo de desarrollo que adopten los actores sociales y decisores del sistema valorado, y no para la comparación entre los sistemas.
Es importante definir un punto de partida para cada indicador al igual que se define su umbral, pues al realizar la valoración del comportamiento en las unidades silvícolas y al instrumentar los criterios e indicadores; este valor se convierte en el valor base del rango de comportamiento de los indicadores, de manera tal que se puede evaluar el avance de los procesos en la unidad.
Los valores del rango base y umbral se establecen para cada unidad, lo que evidencia variabilidad para las definiciones adoptadas en cada caso y también para los intervalos adoptados en la escala para las unidades silvícolas, según se evidencia en la tabla 1 en su «rango de comportamiento».
La guía de procedimientos contiene 12 componentes, los cuales permiten registrar, organizar y sistematizar la información colectada en los indicadores del manejo forestal sostenible.
- La confiabilidad del instrumento aplicado para la valoración de la propuesta de guía de procedimiento muestra una concordancia significativa entre los elementos del instrumento, expresada en la correlación intraclase con un coeficiente de 0.756 para p = 0,038, coeficiente de confiabilidad Alpha de Cronbach de0,806, coeficiente de Spearman-Brown iguala 0,656 y coeficiente Guttman para mitades partidas de 0,606.
- La estandarización de los indicadores logra una adecuación al sentido de las influencias de cada indicador, respecto a la sostenibilidad.
REFERENCIAS BIBLIOGRÁFICAS
1. [1] ARNÉ, E., et al. Evaluación de la sostenibilidad de la agricultura de subsistencia en San José de Cusmapa, Nicaragua. Revista Española de Estudios Agrosociales y Pesqueros [En línea]. 2013, (236).171-197. [Consultado 03 septiembre 2016] Disponible en: http://oa.upm.es/23050/1/INVE_MEM_2013_157408.pdf
[2] BARBOSA, M., CAMPANHA A. C., OLIVEIRA M. Y GONÇALVES L. A. Criterios e indicadores para la valoración de los servicios ambientales en Brasil. Letras Verdes. Revista Latinoamericana de Estudios Socioambientales [En línea]. 2011, mayo-septiembre, (9). 48-64 [Consultado 23 marzo 2016]. ISSN 1390-6631. DOI: http://dx.doi.org/10.17141/letrasverdes.9.2011.903 Disponible en: http://revistas.flacsoandes.edu.ec/letrasverdes/article/view/903/864
[3] CUÉ, J. L. Criterios e indicadores del manejo forestal sostenible: una alternativa para su monitoreo. Revista Cubana de Ciencias Forestales. CFORES [En línea]. 2015, 3(2). 183-193. [Consultado 23 marzo 2016] ISSN 2310-3469 Disponible en: http://cfores.upr.edu.cu/index.php/cfores/article/view/128/304
[4] CUÉ, J. L., et al. Adecuación del Barómetro de Sostenibilidad a la valoración de los Criterios e Indicadores de Manejo Forestal Sostenible en las Unidades Silvícolas. Revista Científica Avances [En línea], 2008, octubre-diciembre, 10(4) [Consultado 28 agosto 2016]. ISSN 1562-3297. Disponible en: http://www.ciget.pinar.cu/Revista/No.2008-4/art%EDculos/Publicacion%202%20Cu%E9%20Adecuacion%20Bar%F3metro%20de%20Sostenibilidad%20.pdf
[5] CUÉ, J. L. Evaluación de la tendencia de Manejo Forestal Sostenible en Unidades Empresariales de Bases Silvícolas pertenecientes a la Empresa Forestal Integral «Cienfuegos». Tesis presentada en opción al grado científico de Doctor en Ciencias Forestales. Universidad de Pinar del Río «Hermanos Saiz Montes de Oca» Facultad de Forestal y Agronomía Departamento Forestal, 2008. Disponible en: http://rc.upr.edu.cu/bitstream/DICT/2182/1/Jorge%20Luis%20Cu%C3%A9%20Garc%C3%ADa.pdf
[6] DOMÍNGUEZ, J., et al. Desarrollo de software estadístico de indicadores ambientales (SEDIA). En M., RAMOS, Y V. AGUILERA, Ed. Ciencias Agropecuarias. Volumen II. México: ECORFAN, 2014, p.91-103. ISBN-V 978-607-8324-31-6.
[7] FARFÁN, F. y HINCAPIÉ, H. Valoración de la sostenibilidad ambiental mediante indicadores de calidad del suelo, en sistemas de producción de café en Colombia. Cenicafé, 2011, 62(1):100-118. Disponible en: http://biblioteca.cenicafe.org/bitstream/10778/476/1/arc062%2801%29100-118.pdf
[8] GALE, F., y CADMAN, T. Whose Norms Prevail? Policy Networks, International Organizations and Sustainable Forest Management. Society & Natural Resources [En línea]. 2014, February, 27(2), 170-184 [Consultado 23 junio 2015] Doi:10.1080/08941920.2013.840875. Disponible en: http://www.tandfonline.com/doi/figure/10.1080/08941920.2013.840875?scroll=top&needAccess=true
[9] JALILOVA, G., KHADKA, C., y VACIK, H. Developing criteria and indicators for evaluating sustainable forest management: A casestudy in Kyrgyzstan. Forest Policy & Economics, [En línea]. 2012, agosto, 21, 32-43. [Consulted 23 junio 2015] doi:10.1016/j.forpol.2012.01.010. Disponible en: http://www.sciencedirect.com/science/article/pii/S1389934112000299
[10] KENNEY, W. A., VAN WASSENAER, P. E., & SATEL, A. L. Criteria and Indicators for Strategic Urban Forest Planning and Management. [En línea] Arboriculture & Urban Forestry, 2011, 37(3), 108-117. [Consultado 23 junio 2015] Disponible en: http://www.isa-arbor.com/events/conference/proceedings/2013/VAN_WASSENAER_article_AUF_%20May_2011.pdf
[11] RODRIGUEZ, D. y MARTÍNEZ, J. Evaluación de la eficacia de las áreas
protegidas: El Sistema de Evaluación Integrada de Áreas Protegidas (SEIAP): resultados de
la primera evaluación integrada de los espacios protegidos de la Comunidad de
Madrid. España: Ibersaf. Industrial, S.A, 2013. ISBN 978-84-92937-43-1. Disponible
en: https://books.google.com.cu/books?hl=en&lr=&id=hAZeBAAAQBAJ&oi=fnd&pg=PA281&dq=Evaluaci%C3%B3n+de+la+eficacia+de+las+%C3%A
1reas+protegidas:+El+Sistema+de+Evaluaci%C3%B3n+Integrada+de+%C3%81reas+Protegidas+%28SEIAP%29:+resultados+de+la+primera+
evaluaci%C3%B3n+integrada+de+los+espacios+protegidos+de+la+Comunidad+de+Madrid.+&ots=qw4lPzQroS&sig=vsEvtngTxGq5hUgwTUiRrX6c
yi0&redir_esc=y#v=onepage&q=Evaluaci%C3%B3n%20de%20la%20eficacia%20de%20las%20%C3%A1reas%20protegidas%3A%20El%20Sistema
%20de%20Evaluaci%C3%B3n%20Integrada%20de%20%C3%81reas%20Protegidas%20%28SEIAP%29%3A%20resultados%20de%20la%20primera
%20evaluaci%C3%B3n%20integrada%20de%20los%20espacios%20protegidos%20de%20la%20Comunidad%20de%20Madrid.&f=false
[12] RÍOS, A., et al. Relación entre el manejo forestal y el bien estar socioeconómico en dos ejidos de Quintana Roo. Revista Chapingo. Serie Ciencias Forestales y del Ambiente [En línea]. 2012, mayo-agosto, 18(2). 251-259. [Consultado 12 junio 2016] ISSN: 2007-4018. DOI:10.5154/r.rchscfa.2010.08.052. Disponible en: https://chapingo.mx/revistas/forestales/contenido.php?id_articulo=1347&doi=10.5154/r.rchscfa.2010.08.052&id_revista=3
[13] VALLS-DONDERIS, P., VALLÉS, M. C., y GALIANA, F. Criteria and indicators for sustainable forestry under Mediterranean condition sapplicable in Spainbathe forest management unit scale. Forest Systems, [En línea]. 2015, 24(1), 1-21. [Consultado 28 junio 2015]. DOI: 10.5424/fs/2015241-05542 Disponible en: https://riunet.upv.es/bitstream/handle/10251/75309/Valls%3bVall%C3%A9s -Planells%3bGaliana%20-%20Criteria%20and%20indicators%20for%20sustainable%20forestry%20under%20Mediterran....pdf?sequence=1&isAllowed=y
[14] VELÁZQUEZ, L. J. y D´ARMAS, M. Indicadores de desarrollo sostenible para la planificación y toma de decisiones en el Municipio Caroní. Universidad, Ciencia y Tecnología [En línea]. 2013, 17(66). 19-27. [Consultado 28 agosto 2016] Disponible en: http://www.scielo.org.ve/scielo.php?script=sci_arttext&pid=S1316-482120130001000003
[15] ZARTHA, J. W., et al. Delphi method proposed in public policy innovation. Revista Espacios [En línea]. 2015, 36(23). [Consultado 28 agosto 2016]. ISSN: 07981015. Disponible en: http://repository.udem.edu.co/browse?order=ASC&rpp=20&sort_by=1&etal=-1&offset=631&type=title
[16] ZULAICA, L. y TOMADONI, M. Indicadores de sostenibilidad ambiental en el periurbano de la Ciudad de Mar del Plata, Argentina. Anales de Geografía [En línea]. 2015, 35(2). 195-216, ISSN: 0211-9803, Disponible en: http://dx.doi.org/10.5209/rev_AGUC.2015.v35.n2.50
