RESUMO
Arbitrary modeling choices are inevitable in scientific studies. Yet, few empirical studies in conservation science report the effects these arbitrary choices have on estimated results. I explored the effects of subjective modeling choices in the context of counterfactual impact evaluations. Over 5000 candidate models based on reasonable changes in the choice of statistical matching algorithms (e.g., genetic and nearest distance mahalanobis matching), the parametrization of these algorithms (e.g., number of matches), and the inclusion of specific covariates (e.g., distance to nearest city, slope, or rainfall) were valid for studying the effect of Virunga National Park in Democratic Republic of the Congo on changes in tree cover loss and carbon storage over time. I randomly picked 2000 of the 5000 candidate models to determine how much and which subjective modeling choices affected the results the most. All valid models indicated that tree cover loss decreased and carbon storage increased in Virunga National Park from 2000 to 2019. Nonetheless, the order of magnitude of the estimates varied by a factor of 3 (from -4.78 to -13.12 percentage points decrease in tree cover loss and from 20 to 46 t Ce/ha for carbon storage). My results highlight that modeling choices, notably the choice of the matching algorithm, can have significant effects on point estimates and suggest that more structured robustness checks are a key step toward more credible findings in conservation science.
Selecciones Subjetivas de Modelos y la Contundencia de las Evaluaciones de Impacto en las Ciencias de la Conservación Resumen Las selecciones arbitrarias de modelos son inevitables en los estudios científicos. Sin embargo, pocos estudios empíricos en las ciencias de la conservación reportan los efectos de estas selecciones arbitrarias sobre los resultados estimados. Exploré los efectos de las selecciones subjetivas de modelos en el contexto de las evaluaciones de impacto contrafactuales. Más de 5000 modelos candidatos basados en cambios razonables en la elección de los algoritmos de emparejamiento estadístico (p. ej.: emparejamiento genético y de distancia más cercana mahalanobis), la parametrización de estos algoritmos (p. ej.: número de parejas) y la inclusión de covariados específicos (p. ej.: distancia a la ciudad más cercana, inclinación, precipitación) fueron válidos para estudiar el efecto del Parque Nacional Virunga en la República Democrática del Congo sobre la pérdida de cobertura arbórea y el almacenamiento de carbono a través del tiempo. Escogí al azar 2000 de los 5000 modelos candidatos para determinar cuántos y cuáles selecciones subjetivas de los modelos afectaron más al resultado. Todos los modelos válidos indicaron que la pérdida de la cobertura arbórea disminuyó y el almacenamiento de carbono incrementó en el Parque Nacional Virunga desde entre el año 2000 y el 2019. No obstante, el orden de magnitud de las estimaciones varió con un factor de 3 (una disminución de -4.78 hasta -13.12 puntos porcentuales en la pérdida de la cobertura arbórea y de 20 hasta 46 t Ce/ha para el almacenamiento de carbono). Mis resultados resaltan que la selección de los modelos, notablemente la elección del algoritmo de emparejamiento, puede tener efectos significativos sobre las estimaciones de puntos y sugieren que las revisiones más estructuradas de la contundencia son un paso importante hacia descubrimientos más creíbles en las ciencias de la conservación.