Assessing Quality of Spatial Models Using the Structural Similarity Index and Posterior Predictive Checks

Model assessment is one of the most important aspects of statistical analysis. In geographical analysis, models represent spatial processes, where variability in mapped output results from uncertainty in parameter estimates. Slight spatial misalignments can cause inflated error scores when comparing maps of observed and predicted variables using traditional error metrics at the level of individual spatial units. We conceptualize spatial model assessment as a continuous value map comparison problem and employ methods from image analysis to score model outputs. The structural similarity index, a measure that attempts to replicate the human visual system using a local region approach, is used as an exploratory map comparison statistic. The measure is implemented within a B ayesian spatial modeling framework as a discrepancy measure in a posterior predictive check of model fit. Results are reported for simulation studies representing a variety of spatial processes in a spatial and space–time context. A case study of rainfall mapping in S ri L anka demonstrates the proposed methodology applied to assessment of B ayesian kriging interpolations. Both simulation studies as well as the case study demonstrate that the approach reveals hidden spatial structure not uncovered by traditional methods. The spatially sensitive assessment methodology provides a diagnostic tool to support spatial modeling and analysis. La evaluación de modelos es uno de los aspectos más importantes de análisis estadístico. En el análisis geográfico, los modelos representan procesos espaciales en los que la variabilidad en los outputs es el resultado de la incertidumbre en los parámetros estimados. Leves desajustes espaciales pueden inflar los valores de error en la comparación entre los mapas de las observaciones y los mapas de las predicciones de las variables si es que se usan medidas tradicionales de medición de error al nivel de unidades espaciales individuales. Los autores conceptualizan la evaluación de modelos espaciales como un problema de comparación mapas de valor continuo y emplea métodos de análisis de imágenes para cuantificar los resultados del modelo. Se utiliza el índice de similitud estructural (SSIM), una medida que intenta replicar el sistema visual humano utilizando un enfoque de región local, como técnica de exploratoria comparación estadística de mapas. El índice es implementado dentro de un marco de modelización espacial bayesiano como medida de discrepancia en la comprobación posterior de predicción del desempeño del modelo. Los resultados se presentan para varios casos de simulación que representan una serie de procesos espaciales en un contexto espacio‐temporal y espacial. Un estudio de caso de mapeo de lluvias en Sri Lanka sirve como demostración de la metodología propuesta y su aplicación a la evaluación de las interpolaciones tipo krigeage ( kriging) bayesianas. Tanto los estudios de simulación, así como el estudio de caso demuestran que el enfoque propuesto revela la estructura espacial oculta no evidenciada por métodos tradicionales. La metodología de evaluación espacialmente sensible que se presenta en este artículo proporciona una herramienta de diagnóstico para apoyar la elaboración de modelos y análisis espacial. 模型评估是统计分析中最为重要的内容之一。在地理分析中用模型表达空间过程参数估计的不确定性会导致地图输出结果的可变性。当采用传统误差指标度量在个体空间单位水平上进行观测和预测变量的地图比较时微小的空间错位就可能导致误差的倍增。为此本文通过将空间模型评估指标概念化为一个连续值图比较问题并利用图像分析方法来评定模型输出。一种尝试以局域方法仿制人类视觉系统的度量指标——结构相似指数(SSIM)被用作为探索性地图的比较统计量。在贝叶斯空间模型框架下实现其量算并将其作为一个偏差度量应用于模型拟合的后预测校验。仿真研究的结果显示出空间及时空环境下多类空间过程。以斯里兰卡降雨过程图为案例展示了上述方法对贝叶斯克里格插值的准确性评估。仿真研究与实证结果均证明本文提出的方法可揭示以往传统方法掩盖的空间结构特征空间敏感性评价为本研究的空间建模和分析提供了一个诊断工具。