本篇文章为大家解读:ROC曲线,将从以下几个部分展开:定义&用途、怎么看(附具体案例)、相关疑问&解答(如遇到两条曲线存在交叉点的情况,该如何处理?使用ROC曲线时有何注意事项?)。
一、定义&用途
1、定义
ROC曲线是受试者工作特征曲线,表示一个特定的诊断方法对区别特定的患者组与非患者组样本的检测能力,广泛应用于临床医学诊断等领域。
2、用途
l 比较不同模型:如果两条曲线不交叉,那么可以根据它们的表现形态比较模型的优劣:更外面的、离对角线更远的曲线,其灵敏度和特异度均高于里面的、离对角线更近的曲线。通过比较不同模型的ROC曲线的AUC大小比较模型的优劣:AUC值越大,越接近于1,准确率越高。
l 确定合适阈值:用于确定适合的指标闯值(也称为cutoff值),以获得好的分类效果。通过ROC曲线,可以找到敏感性和特异性之间的平衡点,从而实现更好的分类效果。
l 评价指标效果:用于评估某些指标在区分两个不同类别的样本(例如患者和正常人)方面的效果。通过绘制接收者操作特征曲线(ROC曲线)并计算曲线下面积(AUC),可以比较不同指标的分类或诊断效果。
二、案例解读
研究者使用ROC曲线判断模型的有效性,白介素6水平和总生存期的ROC曲线显示AUC为69.8%(95%CI:0.53-0.87,p=0.04)IL-6临界值为14.63pg/mL,敏感性和特异性分别为0.74和0.62,说明该模型优于随机猜测,有一定价值。
三、相关疑问&解答
1、如遇到两条曲线存在交叉点的情况,该如何处理?
当遇到多条ROC曲线交叉时,仅仅比较AUC可能不能反映真实情况此时应注意比较策略。建议可以报告NRI(净重新分类指数)和IDI值(综合判别改善指数),两个指数都用于判别不同模型的predict能力。
2、使用ROC曲线时有何注意事项?
l 一般地,ROC曲线下面积在0.5~0.7之间表示诊断价值较低,在0.7~0.9之间表示诊断价值中等,0.9以上表示诊断价值较高。
l 随着阈值降低,(FPR,TPR)坐标点向右上(右/上)方移动,或不动。ROC曲线越接近左上角,效果越好。若ROC曲线位于对角线下方,说明劣于随机分类结果,这种情况下可考虑将原本二分类结局互换。
l ROC分析时,若正负样本分布得极不均匀,PRC比ROC能更有效地反映模型对于整体分类情况的好坏。
l ROC分析时,两样本若是配对设计,则选择“成对设计样本”若为两独立样本,则选择“分组变量”。