基于强化学习和多决策偏好优化的医疗决策推荐模型
摘 要：基于交互优化的强化学习能够有效模拟医生在连续时间点上对患者状态进行观察、干预与反馈。然而，目前用于医疗决策的强化学习架构只能利用显式独立的患者状态信号进行策略学习，未能建模隐式的多诊疗决策偏好复杂关联信息。这导致个体患者信息存在无法利用全局知识信息、模型行为不稳定、诊疗决策反馈不及时的问题。针对此问题，本文在强化学习框架下提出一种多决策偏好优化方法，命名为 DP-DDQN（decision preferences based on double deep Q-network），通过逆强化学习建模隐式的全局决策偏好，应用全局决策偏好更新患者状态表示，将显式的个性化诊疗偏好和隐式的全局决策偏好联合建模为奖励函数指导模型学习策略。结果表明，本文模型在脓毒症抗生素种类剂量推荐任务中可以使患者生存率提升至 84.01%，较临床提高了 17.45%，输出的治疗方案与临床实践规范高度契合，且可以合理建议药物使用剂量。
论文下载：