基于传统速报震级,云南地震预警系统设定预警触发震级为ML3.0。在此阈值下,需要对系统预警首报正确触发的性能进行评估,鉴于目前尚无相关研究成果,本文借鉴混淆矩阵方法,对云南地震预警系统地震触发阈值进行评估。
在混淆矩阵中,行表示实际类别,列表示系统产出类别。对于二元分类问题,它是一个2×2的二维矩阵,包含4个重要的统计信息:真正例(True Positives,TP)、真负例(True Negatives,TN)、假正例(False Positives,FP)、假负例(False Negatives,FN)。
通过这些统计信息,可以计算出准确度、精确度、灵敏度、特异性、F1分数等性能指标,从而全面评估系统的表现。其中准确度表示系统正确触发、未触发的比例:Accuracy=(TP+TN)[KG-*4]/(TP+TN+FP+FN); 精确度表示系统首报触发的样本中被正确触发的比例:Precision=TP/(TP+FP); 灵敏度表示编目大于等于ML3.0的样本中被正确触发的比例:Sensitivity=TP /(TP+FN); 特异性表示编目小于ML3.0的样本中被正确未触发的比例:Specificity=TN /(TN+FP); F1分数表示系统整体的精确性和全面性:F1=(2×Precision×Sensitivity) /(Precision+Sensitivity)。
基于上述理论,在充分考虑云南地区地震活动水平、预警系统设计目标、数据可用性等因素的基础上,以2023年云南地区ML2.8~3.5的地震编目结果为准确样本,规定编目震级ML≥3.0地震为T,ML<3.0地震为F,预警首报结果触发为P,未触发为N。在阈值为ML3.0时,可将云南地震预警系统产出的首报结果分为以下4类——TP:ML≥3.0地震,预警首报结果触发; TN:ML≥3.0地震,预警首报结果未触发; FP:ML<3.0地震,预警首报结果触发; FN:ML<3.0地震,预警首报结果未触发。
统计2023年云南地区满足震级要求的118个编目和预警首报结果,得到混淆矩阵如图7所示。由混淆矩阵可以计算出在阈值为ML3.0时,云南地震预警系统首报触发地震的性能指标:准确度为0.779 7,精确度为0.895 5,灵敏度为0.759 5,特异性为0.820 5,F1分数为0.821 9。
图7 云南地震预警系统阈值ML3.0时首报触发结果混淆矩阵
Fig.7 The confusion matrix for the first report triggering results at the threshold of ML3.0 of the Yunnan Earthquake Warning System
由上述各项性能评估指标可以看出,在阈值为ML3.0时,云南地震预警系统首报正确触发地震的性能较好,其中FP、FN的结果均在阈值为-0.1~0.3,属于正常误差范围。假设阈值设置降低ML0.1,系统可以触发更多地震,但是震级偏小,预警意义不大; 阈值设置提高ML0.3,系统会遗漏大量ML3.0~3.2的地震,可能存在预警漏触发的风险。综合评价可以认为,云南地震预警系统地震触发阈值设置为ML3.0,能够满足实际站网监测工作需求。