| 北大法学院 设为首页
当前位置: 首页 > 理论研究 > 研究成果

李润生:论医疗人工智能的法律规制——从近期方案到远期设想

浏览字号:    作者:

  李润生

  (北京中医药大学人文学院法律系,北京 100029讲师)

  本文原载于《行政法学研究》2020年第4期

  “人工智能”专栏

  摘要

  :人工智能在医疗领域已有较为广泛的应用,且仍在快速发展。医疗也是最适合人工智能发展和应用的领域之一。我国应明确医疗人工智能的监管范围和方式,建立适于人工智能发展的法律规制体系。近期来看,医疗人工智能仍属辅助性工具,在准入时尚无必要确保其可解释性,但应将医疗人工智能的使用纳入知情同意程序,厘清产品责任和医疗过失侵权责任的适用关系,以人类医生的医疗水平设定注意义务,并明确具体情境下过失的认定方法。远期来看,医疗人工智能将逐步在部分医疗领域内替代人类医生,享有决策主导权,此时应确保医疗人工智能的可解释性,要求医疗人工智能进行服务前的专项资质认定,建立医疗人工智能的复数决策机制,设定统一的注意义务标准,并确保人类的必要参与。

  关键词:

  人工智能医疗;近期方案;远期设想;法律规制;技术黑箱

  一、导言

  人工智能(Artificial Intelligence,以下简称AI)和医疗的结合被认为是AI应用最具前景的领域之一。从某种意义上说,医疗也是最适合AI应用和发展的领域,因为在这个领域内,“我们习惯于把健康甚至生命托付于我们并不完全理解的药品或设备,也就是说,当涉及医疗时,我们更容易信任我们并不完全理解的东西”,而“黑箱属性”(black box nature)所带来的不信任正是AI推向实际应用的最大障碍。

  医疗AI在带来各种便利的同时,也蕴藏着各种风险,冲击着既有规则体系。如何对医疗AI的风险进行有效管控?如何确保适度监管以避免妨碍创新?如何建立适应于医疗AI的法律规制体系?世界各国均在探索之中。美国国会于2016年通过了《21世纪治疗法案》(the 21st Century Cures Act),其核心目标之一就是厘清美国食品药品监督管理局(Food and Drug Administration,以下简称FDA)对于包括医疗AI在内的数字医疗产品的监管权限。我国国家卫生和计划生育委员会于2017年发布了《人工智能辅助诊断技术管理规范》和《人工智能辅助治疗技术管理规范》,旨在规范医疗AI的临床应用,国家药品监督管理局也于2018年对《医疗器械分类目录》进行了修订,对医用软件进行了更细致的分类。

  本文将立足于医疗AI的应用现状,参鉴国际经验,探讨我国医疗AI的应然监管范围和方式,并在此基础上提出医疗AI的近期规制方案,最后根据医疗AI发展的合理设想,提出远期规制方案。

  二、医疗AI的应用现状及监管范围和方式的探讨

  (一)医疗AI的应用现状

  目前来看,医疗AI的应用非常广泛,涉及诊断、治疗、药物开发等诸多领域。

  医疗AI在诊断领域已有不少进展,尤其在医学影像识别上取得了令人惊喜的突破。据研究,医疗AI在糖尿病视网膜病变、肺癌、乳腺癌、阿兹海默症等疾病的影像检测上已经达到非常高的准确率,有些甚至已超过人类医生。国内腾讯觅影对结直肠息肉的实时定位准确率已达到96.93%,实时鉴别是否腺癌的准确率达到97.20%。

  医疗AI在治疗领域最成功的应用当属手术机器人。达芬奇手术机器人在美国和欧洲大部分国家的医院系统已被广泛使用。在国内,截至2017 年3月,达芬奇手术机器人已装机62台。此外,在心理疾病治疗(如抑郁症)、姑息治疗等方面,医疗AI也已有所应用。

  医疗AI在药物研发、健康管理、医院管理等方面也有不少应用。

  (二)关于医疗AI监管范围和方式的思考

  医疗AI属医疗器械的范畴,传统上,大部分医疗器械上市前需经过严格的临床试验和注册程序,主要是为了确保安全、有效。但是,医疗AI范围广泛,风险迥异。那么,是否应当把所有的医疗AI都纳入传统监管框架呢?

  笔者认为,首先,只有涉及核心医疗领域的医疗AI才有必要纳入传统监管框架。何为核心医疗领域?简单来说就是诊断和治疗领域,这是医疗的本质,也是各国监管的重心。诊断和治疗之所以需要进行特殊监管,是因为它具有较高的人身危险性,需要由专业人士操作以管控风险。其次,即使属于核心医疗领域的医疗AI,也可在评估风险后,豁免其临床试验或注册程序,或加速进行审批。

  三、医疗AI法律规制的近期方案

  本部分将结合医疗AI的近期发展状况探讨其法律地位和规制策略。

  (一)医疗AI的法律地位

  近期来看,医疗AI并非要替代人类医生,只是辅助医生工作,主导权仍掌握在人类医生手中,主要目标是通过人机协作提升医疗的准确率和效率。近期内,医疗AI仍属弱人工智能的范畴,是医疗器械,是物和产品。

  (二)医疗AI的前端准入策略

  目前来看,阻止医疗AI临床应用的最大障碍其实在于“黑箱属性”,这导致医疗AI的决策过程缺乏透明度,引发担忧。AI的“黑箱属性”是指其输入和输出均是可见和可理解的,但从输入到输出的过程则缺乏透明度。那么,我国在医疗AI的准入管理中是否必须加入可解释性标准呢?

  笔者认为,近期而言,并无必要。首先,医疗AI目前只是辅助性工具,主导权仍掌握在人类医生手中,风险可控;其次,短期内攻破医疗AI的“技术黑箱”难题并不现实;最后,医疗领域并不缺乏使用“无法科学解释”的药品或医疗器械的先例,这可能也是在医疗领域推广AI的重要优势,例如,我们经常使用的小儿退烧药泰诺(乙酰氨基酚),到目前为止,我们仍不清楚这款药物具体是如何发挥作用的,但如果儿童发烧,我们仍会毫不犹豫的去药店购买它。

  (三)医疗AI的中端审查策略

  1、关于实施知情同意程序的探讨

  知情同意权是患者自决权的重要体现,各国法制均予确认。那么,我国是否应当把医疗AI的使用纳入知情同意的范畴呢?

  就目前医疗AI的发展水平来看,其并不总是正确的,仍有一定风险。麻省理工学院的研究人员在2015年针对手术机器人的临床应用研究发现,因机器人本身原因导致的死亡病例共144起,伤害病例则高达1391起,而且,越是复杂的手术,AI出错的概率越大。此外,患者对于医疗AI直接介入诊断治疗领域仍较为排斥。综上,我国应将医疗AI的使用纳入知情同意的范畴,越是复杂的诊断和治疗,越应进行详尽的披露并征得患者同意。

  2、关于调整上市后管理机制的探讨

  我国在2019年引入上市许可持有人制度后,医疗器械的上市后管理体系趋于完善。但是,和传统医疗器械不同,医疗AI在不断的学习和进化,风险也处于持续变化之中。因此,针对医疗AI,我国应对上市后管理机制进行适当调整:首先,应增加定期报告的频次,可考虑设立季度报告甚至月度报告机制;其次,应设定更加严格的产品召回机制,严格限定召回时间和数量;最后,应设定不良事件严格评估制度,除非找到确切的可解释的原因,不得重新上市。

  (四)医疗AI的后端规制策略

  本部分主要探讨医疗AI使用情境下民事责任的分配和认定,这对于我国医疗AI的发展具有重要的导向意义。行政责任、刑事责任均可在此基础上推演。

  1、产品责任和医疗过失侵权责任的适用

  作为医疗器械,医疗AI在使用过程中主要涉及两类责任,即产品责任和医疗过失侵权责任。在医疗AI的使用场景下,两类责任可能交错混合,具体认定时关键在于辨别因果关系:(1)纯粹由产品自身缺陷导致的损害,适用产品责任规则;(2)纯粹由医生操作失误或医院管理失误导致的损害,适用医疗过失侵权责任规则;(3)产品缺陷和医生操作失误或医院管理失误共同导致损害发生时,则首先进行原因力的分配,再分别适用产品责任规则和医疗过失侵权责任规则。

  2、产品责任的认定

  产品责任认定的关键在于产品缺陷的认定。医疗AI是软硬件的结合体,有的甚至是纯粹的软件,软件(尤其是算法)具有支配性地位,应当更加重视软件层面缺陷的认定。然而,医疗AI的“黑箱属性”让缺陷认定更加困难,故笔者建议我国应尽快出台医疗AI产品的国家标准或行业标准,以便于缺陷认定。

  3、医疗过失侵权责任的认定

  关于医疗注意义务标准的确定,我们通常采用“理性医生”标准。在医疗AI的使用情境下,是否应当将AI所能达到的医疗水平融入“理性医生”标准之中呢?

  笔者认为,我国近期并不应该把医疗AI因素纳入一般性标准。首先,短期内,AI对医疗过程只起到辅助作用,医生仍居主导地位,诊断和治疗仍是医生基于其从各方面获得的信息作出决策的过程;其次,总体来看,医疗AI的水平和能力尚未超越人类医生。但是,在具体进行过失认定时,我国法院需结合个案案情并考量特定领域内医疗AI的发展水平和应用状况综合判断。具体来说,主要包括两种过失情形:第一,应当使用而没有使用医疗AI的情形。第二,医疗AI使用过程中出现过失的情形。

  四、医疗AI法律规制的远期设想

  AI技术正在飞速发展,通用人工智能(AGI)的出现可能只是时间问题。循此逻辑,医疗AI未来将在很多领域独当一面,替代人类医生,在决策过程中占据主导地位。下文将基于此展开讨论。

  (一)医疗AI的法律地位

  即使未来医疗AI在我国能够替代人类医生进行诊断治疗活动,医疗AI仍然属于物和工具的范畴,属于产品和医疗器械。医疗AI替代人类医生并非完全意义上的替代,人类的监督和参与仍必不可少。而且,完全由AI提供医疗服务,将会形成封闭循环(Closed Loop),进而导致严重后果:人类的医疗技能也将逐渐衰退。

  (二)医疗AI的前端准入策略

  作为医疗器械,医疗AI首先应当履行必要的注册和备案程序。而且,AI提供的是医疗服务,应当进行医疗服务能力的认定,正如人类医生需要申领《执业医师资格证》一样。不同医疗领域差别很大,对AI的要求殊为不同,AI技术的适应性和发展程度也会有差异。因此,未来我国医疗AI的资质认定应当细分到医疗科室层面,例如放射科、骨科、胸外科、脑科、耳鼻喉科等,属专项资质认定。此外,关于医疗AI的可解释性问题,笔者认为,获得特定医疗领域资质的AI已经具有决策主导权,因此必须确保决策过程的可解释性。而且,破除医疗AI的黑箱难题,在未来应当也是可能的。目前已有不少尝试。

  (三)医疗AI的中端审查策略

  为进一步确保安全和准确,建立医疗AI的复数决策机制可能是一个不错的选择。也就是说,对于同一患者的同一病症,至少应由两个以上的医疗AI作出相同或类似的决策。技术上一般认为,编码类型不同的AI犯同样错误的概率极低。

  (四)医疗AI的后端规制策略

  在医疗过失的认定标准方面,此时应将混合人类医生和医疗AI的平均医疗水平作为注意义务的标准,也就是说,人类医生和医疗AI适用同样的标准,以患者健康利益为最高指针,公平竞争,优胜劣汰。在医疗过失的具体情形方面,医院的过失主要有两种情形:其一为选任过失;其二为管理过失。人类医生的过失主要表现为监督失职等。

  五、结语

  为避免抑制创新,我国应明确医疗AI的监管范围和方式。近期来看,医疗AI仍属辅助性工具,主导权掌握在人类医生手中。基于此,就我国而言,尚无必要确保医疗AI的可解释性;应将医疗AI的使用纳入知情同意程序,并对医疗AI的上市后管理机制进行适当调整;应厘清产品责任和医疗过失侵权责任的适用关系,并以人类医生的医疗水平作为过失认定的一般性标准。远期来看,医疗AI虽仍属物和医疗器械的范畴,但其将逐步在部分医疗领域内替代人类医生,享有决策主导权。基于此,就我国而言,应确保医疗AI的可解释性,并要求其在提供服务前进行相应的资质认定;应建立医疗AI的复数决策机制;应将混合人类医生和医疗AI的平均医疗水平作为注意义务的标准。