1 引用
R. Bramon等，“基于互信息的多模态数据融合”，载于IEEE可视化与计算机图形学学报，第18卷，第9期，第1574-1587页，2012年9月，doi: 10.1109/TVCG.2011.280
00-1010多模态可视化旨在融合不同的数据集，从而为用户提供更多的信息。本文提出了一种新的信息论方法，从两个数据集中自动选择信息量最大的体素。融合标准基于两个输入数据集之间的信息通道，这允许我们量化与每个强度值相关联的信息。该方法已被集成到一个通用框架中，并在不同的医学数据集上进行了评估。实验结果表明，该融合方法在放疗、脑外科等场景中具有一定的实用价值。
2. 摘要
目前，医学影像设备可以获取人体任何器官的详细信息，这使得医学影像和三维可视化成为患者诊疗的常规手段。更重要的是，放射图像可以代表补充信息。考虑到大多数疾病辐射模式的异质性和复杂性，一种自动结合计算机断层扫描(CT)、磁共振成像(MRI)或正电子发射断层扫描(PET)相关信息的新的多模态成像方法可以在单独考虑每个模态时检测可能的缺失点。在此背景下，多模态可视化成为一个重要的研究热点。
多模态可视化的目的是将来自不同数据集的相关信息组合成一个单一的可视化，以提供尽可能多的信息。为了实现这一目标，必须采取两个主要步骤。首先，需要注册步骤来对齐公共空间中的输入数据集。近年来，配准方法得到了广泛的研究，并提出了许多不同的算法。在多模态配准中，最常用的算法是基于图像间互信息最大化的配准算法。其次，为了获得最终图像，必须执行融合步骤以混合在相同空间位置表示的值。
融合过程具有挑战性，因为它需要将每对配准体素中包含的数据减少到单个视觉表示。近年来，已经提出了不同的方案来执行信息融合并生成融合图像。最简单的方法是棋盘显示(交替显示原始输入模型的像素)、基于通道的融合(将输入图像分配到不同的颜色通道，然后执行渲染)，以及数据分割(表示一个模型的信息)和颜色编码(映射另一个模型的数据)的组合。
在医疗环境中，不仅要找到合适的融合方案，还要有有用的可视化。这种可视化必须允许我们在输入模型之间建立视觉对应，同时保持不同来源的特征。因此，可视化必须在不同输入模型的互补方面提供尽可能多的视觉线索。另一方面，可视化必须是可复制的，因为不同的用户可以得到相同的结果。
提出了一种新的多模态可视化方法，该方法在提取输入数据集相关信息的基础上自动融合数据。首先，我们在两个数据集之间建立一个信息通道。然后我们使用不同的基于信息的算法来选择输入数据集中信息最丰富的体素。信息量是根据与强度值相关联的三种不同的特定信息度量来计算的。这些度量对应于信道互信息的不同分解。一旦选择了体素，就使用与其对应数据集相关联的原始传递函数对其进行可视化。最后，基于融合数据集的信息内容的标准允许我们通过调制每个数据集对最终结果的贡献来修改体素的初始选择。所提出的方法被集成到一个通用框架中，该框架允许我们探索体数据并交互式地修改融合过程中涉及的一些参数。该框架已经在不同的临床数据集上进行了评估。
00-1010在本节中，我们将详细描述我们的融合方法的关键步骤。
数据集融合的主要目标是将不同的源数据集表示为包含每个数据集最重要特征的单个图像。合并的数据集还应该包含比任何输入数据集更多的信息。本文提出了一种融合两个多模态数据集的方法。对于每对体素，该方法自动选择信息最丰富的强度值，使得融合后的数据集仅由来自源图像的值组成(即不生成新值)。
因此，我们将整个整合过程分为几个步骤：(1)沟通渠道。通信通道由两个基准多模态数据集定义，这允许我们考虑数据集之间的关系。
的互信息。（2）具体信息。对于每个数据集，计算与各个强度值相关联的信息，即特定信息。我们展示了来自互信息三种不同分解衍生出来的三种信息度量。（3）融合准则。融合图像从源数据集中信息量最大的体素获得。也就是说，对于每对匹配的体素，我们为融合数据集选择信息最丰富的一个(即具有最高的特定信息)。（4）可视化。具体来说，多体积光线投射用于渲染融合后的模型，而颜色和不透明度是从为每个输入模型定义的原始传递函数获得的。（5）评估准则。我们提出了一种基于融合图像熵的评价准则来评估和调整每个数据集对最终结果的贡献。
4.1 通信通道
两个多模态的医学图像之间的关系可以由随机变量 X(输入)和 Y(输出)之间的通信信道 X→Y 表示，其分别表示图像 X 的强度箱 X 的集合和图像 Y 的强度箱 Y 的集合(参见图 1)。该通道已经被用于解决多个图像处理问题，如图像配准。
图 1 两个输入集之间的通信通道
信道 X→Y 由条件概率矩阵 p(Y|X)来定义，该矩阵表示对应于图像 X 的每个强度元的体素如何与图像 Y 的直方图元相匹配的。在本文中，p()的自变量大写字母 X 和 Y 用来表示概率分布。例如，当 p(X)表示图像 X 的强度箱的概率分布时，p(x)表示单个组距的概率。给定两个集成在具有 N 个体素的公共模型中的配准图像，通道 X→Y 的三个基本组件是：（1）输入分布 p(X)，其表示每个强度元 x 的归一化频率。（2）条件概率矩阵 p(Y|X)，表示从图像 X 的每个面元到图像 Y 的面元的转移概率。（3）输出分布 p(Y)，表示每个面元 y 的归一化频率。
4.2 融合指标
我们提出了两种不同的融合策略。首先我们提出了一种对称方法，该方法比较两个图像中相同的特定信息度量，因此不对两个输入图像进行优先排序。其次，我们介绍了一种非对称方法，它考虑了同一数据集的两个不同的信息度量(I2 和 I3)，因此根据所选的数据集产生不同的结果。接下来，对这两种方法进行了详细的描述。
（1）对称方法。在我们的融合算法中，由随机变量 z 表示单个数据集 Z，是从随机变量 x 和 y 表示的两个输入数据集 X 和 Y 中获得的。我们假设在每个体素，变量 z 根据信息优化标准取值 x∈X 或 y∈Y。我们的对称融合策略是基于以下动机，即通过选择信息量最大的强度值，输入模型中最相关的结构将在融合后的结构中表现出来。
（2）非对称方法。我们提出了一种不对称方法，使得变量 z 在每个体素处取值 x 或 y，这取决于基于取自同一数据集的 I2 和 I3 的值的优化标准。
4.3 可视化
一旦生成了融合数据集，就考虑输入模型的预定义传递函数来渲染它。通过这种方法我们就避免了定义新的传递函数。但是这样明显简化了用户交互。为了获得最终的渲染效果，我们进一步采用了具有累积级混合方案的标准体光线投射。对于每条射线，我们分析相交的体素，并识别从中收集数据的输入模型。然后，使用三线性插值，估计样本值，并从相应输入模型的传递函数将颜色和不透明度值分配给该样本。
4.4 评估标准
我们提出了一种评价融合图像全局信息的准则。根据这一准则，我们进一步提出了一种为每幅图像对最终结果的贡献加权的方法。
给定三个随机变量 x，y 和 z，其中 z 表示 x 和 y 的融合。存在一些研究提出了(X;Y)对和 Z 的互信息 I(X,Y,Z)作为融合性能的度量。该度量量化了从源图像传输到最终融合表示的信息量。图 2(a)的震动的短靴图中表示了 I(X,Y,Z)，可以发现在我们的例子中，I(X,Y,Z)等于熵 H(Z)：
其种 H(Z|X,Y)=0，这是因为在我们的方法中，变量 Z 是根据输入变量 X 和 Y 计算的。因为融合标准总是在给定对(x，y)的情况下选择相同的值 z，使得该计算是以确定性的方式完成的。因此，当 X 和 Y 已知时，Z 上不存在不确定性，因此 H(Z|X,Y)=0。这种特殊情况如图 2(b)的震动的短靴图所示。
图 2 韦恩图融合场景韦恩图
5 实验评估
在本节中，我们描述了为执行不同的实验而开发的平台，以评估所提出的方法。一组专家（来自巴塞罗那医院的一名解剖学家，以及来自吉罗纳的两名神经放射科医生和一名神经外科医生）对获得的结果进行了分析。
5.1 多模态可视化平台
我们已经开发了一个多模态可视化平台，该平台集成了已经提出的多个方法。图 3 展示了可视化界面，该界面由分为选择融合方法及其相关参数的菜单区，和允许用户理解融合过程中不同参数之间的关系的三个组件组成。第一组件（左侧查看器）显示由用户选择的传递函数的输入模型，第二组件（中央查看器）显示融合模型，以及第三组件（右侧查看器）显示与输入模型强度值相关联的特定信息。该信息由热刻度着色的信息图表示，其中冷（蓝）和暖（红）色分别对应于评估的测量的低值和高值。我们同时使用基于 CPU 的光线投射来渲染输入模型和信息图。
图 3 多模态可视化平台
5.2 对称与非对称融合评估
我们使用之前描述的数据集和不同的 k 值来评估对称和非对称融合方法的行为。首先，我们分析了 H(Z)的行为，然后展示了使用不同融合策略得到的融合数据集。图 3 给出了患者的一对 CT-T1 的融合结果，该融合结果分别使用达到最大值 H(Z) 的 k 值和默认值 k=0.5。注意对于所有融合方法，使用默认值或最佳 k 值获得的视觉差异是最小的。如图 4 所示，I2I3(CT)融合比 I2I3(T1)融合更精确地选择了骨结构，因为解剖结构在 CT 图像中更具对比度，特别是在骨骼区域。在最后一栏（图 4f）中，经典的棋盘和加权平均方法与我们的方法进行了对比。最后在图 4 的最后一行，为了更好地说明用于创建最终融合的信息，我们展示了使用 k=0.5 的 CT-T1 对的联合直方图。红色和绿色分别表示来自 CT 和 T1 图像的信息。需要注意的是直方图中没有突然的间断，这表明信息度量的计算是基于强度概率的总和，而不是基于单个概率 p(x,y)。
图 4 CT-T1 融合结果
6 总结与展望
本文提出了一种新的信息论框架来融合两幅多模态图像。同时融合准则基于两个配准数据集之间的信息通道。从该通道中我们分析了与每个强度值相关的三个特定信息度量，并提出了两种选择信息量最大的体素来获得融合图像的算法。我们还引入了一种基于融合图像熵的评价准则，通过调整每幅图像对最终结果的贡献来修正体素的初始选择。同时在不同的医学数据集上对该方法进行了评估，并由一组医生对结果进行了分析。实验表明融合方法在放射治疗、治疗监测和脑外科手术方面具有潜在的实用价值。之后我们将研究如何将该方法扩展到两个以上数据集融合中。
致谢
本文由南京大学软件学院 2020 级博士生wxdfs翻译转述。
2分快三计划提出了一种为每幅图像对最终结果的贡献加权的方法。
给定三个随机变量 x，y 和 z，其中 z 表示 x 和 y 的融合。存在一些研究提出了(X;Y)对和 Z 的互信息 I(X,Y,Z)作为融合性能的度量。该度量量化了从源图像传输到最终融合表示的信息量。图 2(a)的震动的短靴图中表示了 I(X,Y,Z)，可以发现在我们的例子中，I(X,Y,Z)等于熵 H(Z)：
其种 H(Z|X,Y)=0，这是因为在我们的方法中，变量 Z 是根据输入变量 X 和 Y 计算的。因为融合标准总是在给定对(x，y)的情况下选择相同的值 z，使得该计算是以确定性的方式完成的。因此，当 X 和 Y 已知时，Z 上不存在不确定性，因此 H(Z|X,Y)=0。这种特殊情况如图 2(b)的震动的短靴图所示。
图 2 韦恩图融合场景韦恩图
5 实验评估
在本节中，我们描述了为执行不同的实验而开发的平台，以评估所提出的方法。一组专家（来自巴塞罗那医院的一名解剖学家，以及来自吉罗纳的两名神经放射科医生和一名神经外科医生）对获得的结果进行了分析。
5.1 多模态可视化平台
我们已经开发了一个多模态可视化平台，该平台集成了已经提出的多个方法。图 3 展示了可视化界面，该界面由分为选择融合方法及其相关参数的菜单区，和允许用户理解融合过程中不同参数之间的关系的三个组件组成。第一组件（左侧查看器）显示由用户选择的传递函数的输入模型，第二组件（中央查看器）显示融合模型，以及第三组件（右侧查看器）显示与输入模型强度值相关联的特定信息。该信息由热刻度着色的信息图表示，其中冷（蓝）和暖（红）色分别对应于评估的测量的低值和高值。我们同时使用基于 CPU 的光线投射来渲染输入模型和信息图。
图 3 多模态可视化平台
5.2 对称与非对称融合评估
我们使用之前描述的数据集和不同的 k 值来评估对称和非对称融合方法的行为。首先，我们分析了 H(Z)的行为，然后展示了使用不同融合策略得到的融合数据集。图 3 给出了患者的一对 CT-T1 的融合结果，该融合结果分别使用达到最大值 H(Z) 的 k 值和默认值 k=0.5。注意对于所有融合方法，使用默认值或最佳 k 值获得的视觉差异是最小的。如图 4 所示，I2I3(CT)融合比 I2I3(T1)融合更精确地选择了骨结构，因为解剖结构在 CT 图像中更具对比度，特别是在骨骼区域。在最后一栏（图 4f）中，经典的棋盘和加权平均方法与我们的方法进行了对比。最后在图 4 的最后一行，为了更好地说明用于创建最终融合的信息，我们展示了使用 k=0.5 的 CT-T1 对的联合直方图。红色和绿色分别表示来自 CT 和 T1 图像的信息。需要注意的是直方图中没有突然的间断，这表明信息度量的计算是基于强度概率的总和，而不是基于单个概率 p(x,y)。
图 4 CT-T1 融合结果
6 总结与展望
本文提出了一种新的信息论框架来融合两幅多模态图像。同时融合准则基于两个配准数据集之间的信息通道。从该通道中我们分析了与每个强度值相关的三个特定信息度量，并提出了两种选择信息量最大的体素来获得融合图像的算法。我们还引入了一种基于融合图像熵的评价准则，通过调整每幅图像对最终结果的贡献来修正体素的初始选择。同时在不同的医学数据集上对该方法进行了评估，并由一组医生对结果进行了分析。实验表明融合方法在放射治疗、治疗监测和脑外科手术方面具有潜在的实用价值。之后我们将研究如何将该方法扩展到两个以上数据集融合中。
致谢
本文由南京大学软件学院 2020 级博士生wxdfs翻译转述。