Research Notes: 鸿沟

下午听了一则 talk,演讲人是一家医学图像公司的技术部门主管。他的工作形态是为给定的医学成像设备设计软件,以更好的方式还原并呈现医学图像。

我对这个领域相当熟悉,但是我觉得有趣的部分不在于技术细节,而在于他相当清晰地展示了一个应用学科的研究成果在业界实际操作中会遇到的种种问题。他们的产品面对的直接用户是医院和医生,因此他们需要和医生们直接合作来改进自己的软件。在这个过程中,不同学科背景所导致的交流障碍非常微妙。例如:

作为一种医疗设备,他们的产品必须经过 FDA 批准。然而,他们的工作也许包含了大量数学和统计工具,而这是 FDA 的人员所不熟悉的。因此,如何说服 FDA 相信他们的软件确实能够给出所谓的「正确结果」就成了一个问题。以神经网络为例,对不熟悉机器学习的人来说,神经网络完全是个黑盒子,他无从信任这个黑盒子能够给出正确的判断结果(他当然也不可能为此去学习神经网络的理论)。他可能选择相信更直观,更容易理解的算法,而这些算法的正确率很可能远远比不上看起来很不容易理解的神经网络算法。

(我自己也遇到过这个问题。你如何说服一个别的领域的人相信你的算法给出的结果是「正确」的呢?如果他没有能力明白你所用到的数学工具的细节,这是不是一个本质上不可能的任务?但是这对任何在交叉学科工作的人来说又确实是一个必须完成的任务。当我和物理系的研究人员合作一项研究的时候,我指出把他们原先的算法中一个逆变换换成共轭变换会大大加快算法的速度,这在数学上是没问题的,但是对方无法理解,因为逆变换有其物理上的意义而共轭变换则没有。后来他们接受了我的做法,因为结果看起来是对的,但是他们最终也还是没能理解其原因。)

另一个例子是图像去噪。我自己有过和医学背景的人讨论医学图像去噪算法的经验。一个有趣的事实是,医生有时候会更倾向于接受有噪声的图象,因为他们认为这些图像「更真实」,包含了更全面的信息,而一个去噪算法很可能抹掉了这些信息(这确实是有可能的,不过这是另一个很大的话题),所以他们坚持相信机器直接采集的带有噪声的图像会比事后去噪得到的图象要好。

但是在数学上这种信念没有意义,因为医学图像成像并不是直接采集模拟信号,而是经过了一系列数学变换之后得到的结果,所以它们无论如何都是数学计算出来的而不是「直接看到的」,在这种情况下,认为一种数学公式计算出来的结果(仅仅因为看起来有噪声)就比另一种数学公式──例如去噪算法──计算出来的结果更真实,很显然毫无道理。如果人工数据来测试的话,很有可能发现去噪之后的图象才更接近真实,但是很多医生坚持认为它「看起来就是假的」。

为了克服医务工作者的这种执念,这个演讲者告诉我,有的时候研发人员不得不在去噪之后的图像上人工再加上一些噪声,以令它看起来更象是真的。这毫无疑问是我听说过的最有意思的事情之一了。

14 Responses to “Research Notes: 鸿沟”

  1. polly
    October 9th, 2010 09:42
    1

    对啊,很多人相信的是经验和直觉。所以即使有足够的证据也未必能说服他们。

  2. polly
    October 9th, 2010 09:45
    2

    对于医学这样靠经验累积起来的学科,这种凭借经验进行判断的行为是可以理解的。除非给出counterintuitive的例子,他们是不会知道经验是不可靠的。

  3. huan
    October 9th, 2010 11:46
    3

    回复楼上:循证医学都提倡了快十年了,医学早已不是依靠经验的学科了,说话之前做点research比较好。

  4. huan
    October 9th, 2010 11:51
    4

    医生关心的是能否找到病灶,例如肿瘤有没累及血管、神经、有没有转移灶,是否有手术指征,手术后有没复发之类的。说实话并不在乎用什么方法,有什么工具能把病灶清晰地显示出来就是最大的愿望了。现在临床仍然有很多病灶没法显示出来,做开关手术的手术的病人多的去了,如果有谁能用技术解决这种实际问题会造福很多人的。

  5. 木遥
    October 9th, 2010 12:07
    5

    @huan
    你可能不太明白这个问题的背景。这里所讨论的,不是医生更在乎数学还是医学──当然是医学,没有医生会说他关心背后的方法胜过图像上的病灶。但是问题在于,任何仪器所能探测到的信号总是有限的和有瑕疵的,那么一个医生是愿意接受一张并不能「清晰显示病灶」但是直接反映仪器测量结果的图像呢,还是愿意接受一张「清晰显示病灶」但是经过了后期处理的图像?要知道,后者虽然更清晰,但是在很多医生心目中,这种处理是冒了抹掉有价值信息的风险的。打个比方,这就像是 PS 过的照片,虽然看起来很漂亮,但是是修饰过的。

    于是这就有选择了,不是一个简单的「并不在乎用什么方法,有什么工具能把病灶清晰地显示出来就是最大的愿望了」的问题。很多医生是在乎的,他们不希望用以诊断的是一张他们认为清晰但失真的照片。

    在这个背景基础上,才有本文的讨论。

  6. huan
    October 9th, 2010 12:43
    6

    明白你讨论的背景的,只是觉得讨论的方向有点偏移了。
    如果要说服医生“我们开发的PACKS先进”,重点在于用数据说明“我们的图像(处理过抑或没处理过的)的临床符合率,例如与术中所见实际情况、组织病理结果、甚至是免疫组化结果相比较(毕竟以上才是疾病的“真实”状态),比以往方法有显著改善”,这样的影像技术就有指导临床的意义了。
    实际临床中,医生非常乐意综合各种影像技术来判断病情,因为每种技术都有其优势和劣势。
    鸿沟的原因可能是大家关注的重点不同,技术专家们发挥天才头脑开发的软件在另外领域看来如果不能解决实际问题会是很遗憾的;而要说服另外领域的人,从对方的需求下手似乎成功率大点。

  7. 木遥
    October 9th, 2010 12:57
    7

    事实上大家也是这样做的,用统计数据来说服人。但是有的时候没有 ground truth,比如脑成像,并不存在一个「真实图像」可供比对,怎么办呢?说哪种图像更好就基本上是主观的了。

    在这个问题上,「从对方需求下手」本来一直都是金科玉律,我提到的这个公司,所有研发过程都是和医院频繁沟通的结果。每一个软件的每一个功能甚至每一种呈现方式,都要经过同大量医生的讨论,以判断其实际需求。这并不奇怪,因为医生就是客户,「听客户的总没错。」

    顺便说一句,这是一家业内领先的公司,没准你所在的医院也在用他们的产品的。

    而我说的其实是在此基础上更高层面的一个问题,也就是说,有些时候不能听客户的,不但不能听,有时候还要指出客户的需求没有意义,甚至有时候还要教育客户,你自己以为很有道理的那个需求,其实是错的,在数学上是不成立的。

    (这种情况并不难想象,你自己是医生,一定遇见过病人向你提出不切合实际,或者自以为有道理而其实不 make sense 的请求或者期望的时候吧?在这个问题上,医生就是我们的病人,而软件开发商就是医生。)

  8. pacs
    October 9th, 2010 13:25
    8

    曾在这个行业混了很多年。很多种医学影像在人体组织部位的成像会出现类似噪声信号的东西,但这确实是组织的图,绝大部分消噪算法确实会影响这些部位医生阅片。
    不过赞同这段话“有些时候不能听客户的,不但不能听,有时候还要指出客户的需求没有意义,甚至有时候还要教育客户,你自己以为很有道理的那个需求,其实是错的,在数学上是不成立的。”

  9. huan
    October 9th, 2010 13:30
    9

    教育客户的前提是在信息不对称的状况下占据了一定的优势,如此与客户沟通反馈商讨甚至妥协的过程确实蛮有乐趣的。
    赞下升华能力,祝早日弄出更萌的PACKS来^_^
    ps:任何部位都是可以有ground truth的,例如有neurosurgery存在。

  10. f
    October 9th, 2010 16:31
    10

    另一个耳熟能详的故事是:
    ipod最开始的随机算法被用户不认可,觉得怎么会有重复的歌曲出现呢,这怎么能是随机呢?于是苹果的工程师无奈之下就做了一个伪随机算法,让用户心理上觉得随机了。

    看到lz这篇我想起了这个故事。

  11. zhiwei
    October 9th, 2010 21:26
    11

    如果有一种方式足够清晰的向他们表明他们以前所认为的“真实的”照片其实也不过是经过了处理而且尚且不如现在给他们的,不知他们会做何感想。
    其实,很多人选择相信一些东西,靠的真的是直觉而不是理性。知道了事实,反而会引起他们固有观念的排斥……

  12. windstorm
    October 9th, 2010 23:59
    12

    即使是熟悉机器学习的人来说,神经网络也是个黑盒子。你还是没法解释到底结果是为什么这样的

  13. angrytiger
    October 10th, 2010 23:54
    13

    可能这是医生的思维定式,他们已经习惯了之前的教育,更熟悉“传统”的影像印象,并且愿意全面掌握信息,相信自己的判断,由自己来决定什么是伪信息。

  14. Max0000
    February 17th, 2011 23:57
    14

    我想各位还不是很明白医生的工作方式,比如循证之类。我在用一种图像强化的技术诊断病人,它提供的影像和原有的差别非常大。我能接受,前提是你证明用这种方式工作我能诊断出更多原来看不到的病变。这个问题和你所谓的沟通鸿沟完全不相干。医师循证,是要在病人群体的层面上考虑问题,不是具体个案问题。