在临床预测模型的评估中,DCA曲线是一种非常重要的工具,可以帮助我们了解模型能否通过影响临床决策,为患者带来实际的好处。今天我们结合文献中的具体案例一起来学着解读它吧!
一、定义&用途
1)定义:
DCA曲线(决策分析曲线)是一种评估临床预测模型实用性和临床应用价值的工具,它通过绘制决策曲线来比较不同预测模型在不同治疗决策值下的临床效益。
2)用途:
(1)评估预测模型的临床价值:DCA曲线可应用于评估多种预测模型,如临床评分、生物标志物、基因组学等,在癌症筛查、疾病预后、药物治疗等领域展现应用价值。
(2)优化医疗决策:DCA曲线通过比较预测模型在不同治疗决策阈值下的净效益,帮助研究人员和医生选择最佳模型,制定更合理的治疗方案,提升疗效,降低医疗成本和患者痛苦。
(3)考虑患者和医生的风险偏好:DCA曲线展示了不同策略在避免过度治疗和漏诊之间的平衡,为临床决策提供有力支持。
(4)指导新药研发和个性化医疗:DCA曲线可评估新药疗效和安全性确定给药剂量和间隔,提高治疗效果并降低副作用。
二、案例解读
1)X轴:表示阈值概率,即医生采用某种干预措施的概率阈值,超过该概率时,预期的治疗益处超过治疗风险
2)Y轴:表示净获益(Net Benefit),这是该预测模型在特定阈值概率下的效用度量,考虑了真阳性带来的益处减去假阳性带来的损害(经适当加权)
3)红色曲线(comb.model.with.CECT):该预测模型在整个阈值范围内的整体净获益
4)蓝色曲线(AI):对所有患者进行治疗干预
5)绿色曲线(None):不对任何患者进行治疗干预
6)在横括号的阈值概率范围(约为15%~80%)内,预测模型(红色曲线)的净获益均高于ALL线和None线,这表明该模型有实际价值;当红色曲线与ALL线、None线这两条极端线很接近或重合时,说明该模型的应用价值可能较低
三、相关疑问&解答
1)DCA曲线和ROC曲线的异同点
(1)相同点:DCA曲线和ROC曲线都是用来评估诊断或预测模型的性能。两者都旨在提供关于模型性能的直观理解,帮助决策者选择最佳模型。
(2)不同点:
①评估重点不同:
ROC曲线主要关注于模型的区分度,通过绘制真正例率(TPR)与假正例率(FPR)之间的关系来评估模型的性能。衡量的是模型在不同阈值下的表现,特别是在特异性和敏感性方面的表现,追求的是准确性。
DCA曲线则更侧重于临床决策的实际应用,将患者或决策者的偏好整合到分析中,考虑特定模型的临床效用。它不仅评估模型的诊断准确性,还考虑了模型的临床价值,即在特定情况下模型是否值得使用,以及如何选择最佳模型。
②应用场景不同:
ROC曲线广泛应用于各种领域的模型评估,尤其是在需要评估分类模型的性能时,如疾病诊断、欺诈检测等。
DCA曲线更适合于临床预测模型的评估,特别是在需要权衡假阳性和假阴性对临床决策影响的情况下,如癌症筛查等。
2)DCA曲线的使用注意事项
(1)解读Net Benefit的结果:首先,先看看是否有一个最佳模型,其Net Benefit在整个阈值范围内比其他模型和treat_all、treat_none都好。其次,要考虑最优模型是否存在成本、损害等问题,如果有就需要计算test tradeoff或者更换其他模型。
(2)明确干预策略:DCA分析主要用于确定模型的临床收益,即哪些患者可以通过干预获得收益,所以一定要事先明确干预措施,以为实际应用做好准备。
(3)给定合理的阈值范围:因为预测模型很难在全部值范围内都有高Net Benefit,所以需要指出模型在哪个范围内具有比较高的Net Benefit。但是,在开展模型DCA分析时,建议在整个值范围(0~1)内分析。
(4)不要使用DCA曲线来选择最佳阈值:Net Benefit是随着阈值变化而变化的,因而建议采用ROC曲线、约登指数等选择最佳阈值的方法。
(5)适当的时候报告test tradeoff:由于Net Benefit没有直接给出模型的成本、损害等信息,可能Net Benefit很高,但是其成本或损害性也很大。所以建议同时报告Net Benefit和test tradeoff(包括真阳性和真阴性视角)。