False hope of a single generalisable AI sepsis prediction model: bias and proposed mitigation strategies for improving performance based on a retrospective multisite cohort study.
研究背景
医院内获得性脓毒症影响众多住院患者，早期识别和治疗可改善预后、降低成本，但因临床表现等因素识别困难。电子病历发展使数字警报系统用于识别脓毒症患者，然而现有机器学习模型在不同医院和护理地点性能差异大，主要源于训练数据集偏差。本研究旨在识别偏差，评估缓解策略，提出通用建模方法。
方法速览
研究团队从澳大利亚昆士兰州九家公共医院提取2016年1月1日至2020年6月30日成人住院患者数据。用31个生理指标和实验室结果变量开发基线机器学习模型，通过添加站点和护理地点特征、按子队列重新训练等方式测试六种偏差缓解策略。以警报负担（NNE）和预测窗口（HTS3）评估模型性能。
主要发现
- 基线模型表现差异：基线模型在急诊科警报负担低于病房，患者评估工作量减少15%，且急诊科预测窗口为5小时，病房为20小时，急诊科模型早期预警更有效。
- 偏差缓解模型对警报负担影响：按护理地点训练的模型（M5）显著改善多站点性能，在多数护理地点提供最低NNE结果；按医院站点训练的模型（M4）在部分站点产生更高NNE结果。
- 模型对预测窗口无显著影响：所有偏差缓解模型均未显著改变预测窗口，可能因模型主要关注准确分类。
总结展望
综合分析建议，多数站点使用按护理地点训练的模型（M5）；单个表现不佳的站点（如S6）使用同时按站点和护理地点重新训练的模型（M6）。本研究首次比较基线与偏差缓解模型影响，为多医院医疗组织部署模型提供参考，但数据来自单一州立医院网络，可能不适用于其他地区，且未深入探讨模型偏差原因，需进一步研究。