RESUMO
Expert judgment underpins assessment of threatened ecosystems. However, experts are often narrowly defined, and variability in their judgments may be substantial. Models built from structured elicitation with large diverse expert panels can contribute to more consistent and transparent decision-making. We conducted a structured elicitation under a broad definition of expertise to examine variation in judgments of ecosystem viability and collapse in a critically endangered ecosystem. We explored whether variation in judgments among 83 experts was related to affiliation and management expertise and assessed performance of an average model based on common ecosystem indicators. There were systematic differences among individuals, much of which were not explained by affiliation or expertise. However, of the individuals affiliated with government, those in conservation and environmental departments were more likely to determine a patch was viable than those in agriculture and rural land management. Classification errors from an average model, in which all individuals were weighted equally, were highest among government agriculture experts (27%) and lowest among government conservation experts (12%). Differences were mostly cases in which the average model predicted a patch was viable but the individual thought it was not. These differences arose primarily for areas that were grazed or cleared of mature trees. These areas are often the target of restoration, but they are also valuable for agriculture. These results highlight the potential for conflicting advice and disagreement about policies and actions for conserving and restoring threatened ecosystems. Although adoption of an average model can improve consistency of ecosystem assessment, it can fail to capture and convey diverse opinions held by experts. Structured elicitation and models of ecosystem viability play an important role in providing data-driven evidence of where differences arise among experts to support engagement and discussion among stakeholders and decision makers and to improve the management of threatened ecosystems.
Análisis de los modelos de opiniones de expertos para informar la evaluación de la viabilidad y el colapso ambiental Resumen La evaluación de los ecosistemas amenazados se basa en la opinión de los expertos. Sin embargo, la definición de experto suele ser limitada y la variabilidad de sus juicios puede ser considerable. Los modelos elaborados a partir de consultas estructuradas con grupos de expertos amplios y diversos pueden contribuir a una toma de decisiones más coherente y transparente. Realizamos una consulta estructurada con una definición amplia de experto para analizar la variación en los juicios sobre la viabilidad y el colapso de un ecosistema en peligro crítico. Exploramos si la variación en los juicios entre 83 expertos estaba relacionada con la afiliación y la experiencia en gestión y evaluamos el rendimiento de un modelo medio basado en indicadores comunes del ecosistema. Observamos diferencias sistemáticas entre los expertos, gran parte de las cuales no se explicaban por la afiliación o la experiencia. Sin embargo, entre los expertos vinculados a la administración pública, los de los departamentos de conservación y medio ambiente tenían más probabilidades de determinar que una parcela era viable que los de agricultura y gestión de tierras rurales. Los errores de clasificación de un modelo medio con todos los individuos ponderados por igual, fueron mayores entre los expertos gubernamentales en agricultura (27%) y menores entre los expertos gubernamentales en conservación (12%). En la mayoría de los casos, las diferencias se debían a que el modelo medio predecía que una parcela era viable, pero el individuo pensaba que no lo era. Estas diferencias surgieron sobre todo en zonas que habían sido pastoreadas o con una tala total de árboles maduros. Estas zonas suelen ser objeto de restauración, pero también son valiosas para la agricultura. Estos resultados ponen de manifiesto la posibilidad de que se produzcan consejos contradictorios y desacuerdos sobre las políticas y acciones de conservación y restauración de los ecosistemas pastoreados y forestales. Si bien la adopción de un modelo medio puede mejorar la coherencia de la evaluación de los ecosistemas, también puede fallar a la hora de captar y transmitir las diversas opiniones de los expertos. Las consultas estructuradas y los modelos de viabilidad de los ecosistemas desempeñan un papel importante a la hora de aportar pruebas basadas en datos de dónde surgen las diferencias entre los expertos para apoyar el compromiso y el debate entre las partes interesadas y los responsables de la toma de decisiones, así como para mejorar la gestión de los ecosistemas amenazados.
RESUMO
Identifying threatened ecosystem types is fundamental to conservation and management decision-making. When identification relies on expert judgment, decisions are vulnerable to inconsistent outcomes and can lack transparency. We elicited judgements of the occurrence of a widespread, critically endangered Australian ecosystem from a diverse pool of 83 experts. We asked 4 questions. First, how many experts are required to reliably conclude that the ecosystem is present? Second, how many experts are required to build a reliable model for predicting ecosystem presence? Third, given expert selection can narrow the range opinions, if enough experts are selected, do selection strategies affect model predictions? Finally, does a diverse selection of experts provide better model predictions? We used power and sample size calculations with a finite population of 200 experts to calculate the number of experts required to reliably assess ecosystem presence in a theoretical scenario. We then used boosted regression trees to model expert elicitation of 122 plots based on real-world data. For a reliable consensus (90% probability of correctly identifying presence and absence) in a relatively certain scenario (85% probability of occurrence), at least 17 experts were required. More experts were required when occurrence was less certain, and fewer were needed if permissible error rates were relaxed. In comparison, only â¼20 experts were required for a reliable model that could predict for a range of scenarios. Expert selection strategies changed modeled outcomes, often overpredicting presence and underestimating uncertainty. However, smaller but diverse pools of experts produced outcomes similar to a model built from all contributing experts. Combining elicited judgements from a diverse pool of experts in a model-based decision support tool provided an efficient aggregation of a broad range of expertise. Such models can improve the transparency and consistency of conservation and management decision-making, especially when ecosystems are defined based on complex criteria.
La importancia de seleccionar expertos para identificar ecosistemas amenazados Resumen La identificación de los tipos de ecosistemas amenazados es fundamental para decidir sobre su conservación y gestión. Cuando la identificación se basa en la opinión de expertos, las decisiones son vulnerables a resultados incoherentes y pueden carecer de transparencia. Recabamos la opinión de 83 expertos sobre la presencia de un ecosistema australiano extendido y en peligro crítico. Se plantearon cuatro preguntas: ¿Cuántos expertos son necesarios para concluir con fiabilidad que el ecosistema está presente?; ¿Cuántos expertos son necesarios para construir un modelo fiable de predicción de la presencia del ecosistema?; ya que la selección de expertos puede reducir el rango de opiniones, si se seleccionan suficientes expertos, ¿afectan las estrategias de selección a las predicciones del modelo; y ¿Una selección diversa de expertos proporciona mejores predicciones del modelo? Utilizamos cálculos de potencia y tamaño de muestra con una población finita de 200 expertos para obtener el número de expertos necesarios para evaluar de forma fiable la presencia de ecosistemas en un escenario teórico. Después usamos árboles de regresión reforzada para modelar la consulta de expertos de 122 parcelas basadas en datos del mundo real. Para obtener un consenso fiable (90% de probabilidad de identificar correctamente la presencia y la ausencia) en un escenario relativamente seguro (85% de probabilidad de ocurrencia), se necesitaban al menos 17 expertos. Se necesitaban más expertos cuando la ocurrencia era menos segura, y menos si se relajaban los porcentajes de error permitidos. En comparación, sólo se necesitaron unos 20 expertos para obtener un modelo fiable que pudiera predecir una serie de escenarios. Las estrategias de selección de expertos modificaron los resultados modelados, a menudo con sobre predicción de la presencia y subestimación de la incertidumbre. Sin embargo, los grupos de expertos más pequeños pero diversos produjeron resultados similares a los de un modelo construido a partir de todos los expertos participantes. La combinación de las opiniones obtenidas de un grupo diverso de expertos en una herramienta de apoyo a la toma de decisiones basada en un modelo proporcionó una agregación eficiente de una amplia gama de conocimientos. Estos modelos pueden mejorar la transparencia y coherencia de la toma de decisiones en materia de conservación y gestión, especialmente cuando los ecosistemas se definen en función de criterios complejos.