Evaluating models of expert judgment to inform assessment of ecosystem viability and collapse.

ABSTRACT

Expert judgment underpins assessment of threatened ecosystems. However, experts are often narrowly defined, and variability in their judgments may be substantial. Models built from structured elicitation with large diverse expert panels can contribute to more consistent and transparent decision-making. We conducted a structured elicitation under a broad definition of expertise to examine variation in judgments of ecosystem viability and collapse in a critically endangered ecosystem. We explored whether variation in judgments among 83 experts was related to affiliation and management expertise and assessed performance of an average model based on common ecosystem indicators. There were systematic differences among individuals, much of which were not explained by affiliation or expertise. However, of the individuals affiliated with government, those in conservation and environmental departments were more likely to determine a patch was viable than those in agriculture and rural land management. Classification errors from an average model, in which all individuals were weighted equally, were highest among government agriculture experts (27%) and lowest among government conservation experts (12%). Differences were mostly cases in which the average model predicted a patch was viable but the individual thought it was not. These differences arose primarily for areas that were grazed or cleared of mature trees. These areas are often the target of restoration, but they are also valuable for agriculture. These results highlight the potential for conflicting advice and disagreement about policies and actions for conserving and restoring threatened ecosystems. Although adoption of an average model can improve consistency of ecosystem assessment, it can fail to capture and convey diverse opinions held by experts. Structured elicitation and models of ecosystem viability play an important role in providing data-driven evidence of where differences arise among experts to support engagement and discussion among stakeholders and decision makers and to improve the management of threatened ecosystems.

RESUMEN

Análisis de los modelos de opiniones de expertos para informar la evaluación de la viabilidad y el colapso ambiental Resumen La evaluación de los ecosistemas amenazados se basa en la opinión de los expertos. Sin embargo, la definición de experto suele ser limitada y la variabilidad de sus juicios puede ser considerable. Los modelos elaborados a partir de consultas estructuradas con grupos de expertos amplios y diversos pueden contribuir a una toma de decisiones más coherente y transparente. Realizamos una consulta estructurada con una definición amplia de experto para analizar la variación en los juicios sobre la viabilidad y el colapso de un ecosistema en peligro crítico. Exploramos si la variación en los juicios entre 83 expertos estaba relacionada con la afiliación y la experiencia en gestión y evaluamos el rendimiento de un modelo medio basado en indicadores comunes del ecosistema. Observamos diferencias sistemáticas entre los expertos, gran parte de las cuales no se explicaban por la afiliación o la experiencia. Sin embargo, entre los expertos vinculados a la administración pública, los de los departamentos de conservación y medio ambiente tenían más probabilidades de determinar que una parcela era viable que los de agricultura y gestión de tierras rurales. Los errores de clasificación de un modelo medio con todos los individuos ponderados por igual, fueron mayores entre los expertos gubernamentales en agricultura (27%) y menores entre los expertos gubernamentales en conservación (12%). En la mayoría de los casos, las diferencias se debían a que el modelo medio predecía que una parcela era viable, pero el individuo pensaba que no lo era. Estas diferencias surgieron sobre todo en zonas que habían sido pastoreadas o con una tala total de árboles maduros. Estas zonas suelen ser objeto de restauración, pero también son valiosas para la agricultura. Estos resultados ponen de manifiesto la posibilidad de que se produzcan consejos contradictorios y desacuerdos sobre las políticas y acciones de conservación y restauración de los ecosistemas pastoreados y forestales. Si bien la adopción de un modelo medio puede mejorar la coherencia de la evaluación de los ecosistemas, también puede fallar a la hora de captar y transmitir las diversas opiniones de los expertos. Las consultas estructuradas y los modelos de viabilidad de los ecosistemas desempeñan un papel importante a la hora de aportar pruebas basadas en datos de dónde surgen las diferencias entre los expertos para apoyar el compromiso y el debate entre las partes interesadas y los responsables de la toma de decisiones, así como para mejorar la gestión de los ecosistemas amenazados.