麻省理工学院和哈佛大学的一个研究团队在医学杂志《柳叶刀数字健康》上发表文章,称 AI 程序可以从 X 射线和 CT 扫描结果中分辨患者的种族,准确率高达 90%。
这并不是一个好消息,因为连科学家们都没弄清楚这些 AI 程序是如何做到分辨种族的。
“当我的研究生向我展示这篇论文中的某些结果时,我认为这一定出了差错。”负责分析对应主题的论文作者之一,麻省理工学院助理教授 Marzyeh Ghassemi 告诉媒体,“当他们告诉我的时候,我真的以为我的学生疯了。”
▲ Marzyeh Ghassemi
这篇文章中提到,AI 诊断系统似乎会根据种族对患者进行诊断和治疗,而非患者的个人身体状况。这种做法将会损害患者的健康。
研究人员提到一个案例,AI 程序在检查胸部 X 光片时,漏掉黑人和女性患者身体病变的几率更高。
而这项研究的目的,正是确认 AI 系统从医学影像中检测人类种族的程度,以及它们如何从中检测出种族信息。
为此,研究团队使用人类身体不同部位的医学图像对 AI 系统进行训练。被提供给 AI 系统的医学影像中,不包含头发质地、肤色以及 BMI 或骨密度等明显的种族标记。
通过测试,研究人员发现,AI 系统对人类种族的识别准确率高达 90%。不论是哪个身体部位的医学影像,AI 系统都能从中识别出种族信息。
更令人惊讶的是,即便是严重缺失或损坏的医学影像,AI 系统也能从中准确识别种族。
研究人员更关心的,并非是 AI 系统能够检测人类种族这件事情本身,而是 AI 系统的临床表现将因为这些种族偏见受到影响。而医生可能会忽略 AI 系统诊断结果中的误差。
文章的作者表示,“AI 预测种族身份的能力本身并不重要,但是这种能力很可能存在于许多医学影像分析模型中,这将会使临床中已经存在的种族差异问题恶化。”
人类目前还无法确认 AI 系统从医学影像的哪些特征中检测出患者的种族,加之 AI 能够从身体任何部位的医学影像,以及严重损坏的医学影像中识别患者种族,这意味着使用医学成像技术创建一个没有种族偏见的 AI 系统将会非常困难。
Ghassemi 告诉媒体,她猜测,也许是医学图像以某种未知方式记录了患者皮肤中黑色素的水平,从而被 AI 系统识别。
根据研究结果,也有可能是种族之间存在一些先天的差异。
罕布什尔学院生物人类学教授、《种族主义不是种族》的作者之一 Alan Goodman 告诉媒体,他不太认同这种说法。
▲ Alan Goodman
在过往的研究中,科学家们很难在人类基因组中找到一致的种族差异,但往往能根据人类祖先的进化找到一致的遗传差异。因此,人与人之间的基因差异,更大概率是源于人类个体祖先进化的不同特征,而非种族。
Ghassemi 表示,这一问题还需要进行更多的研究才能得出明确的结论。
“我们需要暂停 AI 系统的落地,”麻省理工学院的科学家、医生 Leo Anthony Celi 说,“在确认 AI 系统没有做出种族主义决定或性别歧视决定之前,我们不能急于将其带入医院和诊所。”