您的位置首页 >人工智能 >

A Survey of Wasserstein Distance Approximations and Variants |Wasserstein 距离近似与变

这篇《A Survey of Wasserstein Distance Approximations and Variants》综述围绕最优传输里的 Wasserstein 距离(推土机距离)展开,原始 Wasserstein 距离求解等价于线性规划,维度高、样本量大的时候计算代价爆炸,没法直接在 GAN、点云配准、域自适应、粒子滤波等深度学习任务直接使用;所以学界发展出一大类近似方案和修改变体,综述把这些方法分成离散精确求解、熵正则近似、核 / 投影近似、低秩近似、截断 / 切片变体、基于积分概率度量的替代距离六大分支,对比不同近似方案的计算复杂度、偏差、梯度性质、支撑集假设,同时梳理 Wasserstein-1、Wasserstein-2、Sinkhorn、切片 Wasserstein、高斯 Wasserstein 等常用变体的边界条件。熵正则化 Sinkhorn 是目前工程上最普及的路线,加入熵惩罚之后问题变成凸、可快速迭代的矩阵缩放,能适配 GPU 并行,但是正则系数会引入偏差;切片 Wasserstein 把高维分布投影到一维方向上,一维 Wasserstein 好算,再对大量随机方向取平均,速度很快,但会丢失一部分高维几何信息;还有子采样、低秩耦合、局部最优传输、截断 Wasserstein 等方案,适合超大样本、稀疏支撑的场景。不同变体对梯度、分布支撑、连续性的保证不一样,有的适合做损失函数反向传播,有的只适合离线分布对比,不存在一个万能近似方案。

一、主流 Wasserstein 近似与变体对比表

方案核心思路优点短板典型适用场景
原始精确 Wasserstein线性规划求解最优耦合理论精确,满足距离公理复杂度极高,高维 / 大数据基本不可用小规模低维离线验证
Sinkhorn(熵正则 Wasserstein)增加熵正则,迭代矩阵缩放GPU 友好、梯度光滑、收敛稳定正则项带来可控偏差,正则参数需要调参WGAN、域自适应、分布对齐
切片 Wasserstein SWD随机一维投影,一维 Wasserstein 取平均速度极快、实现简单随机投影会损失高维几何结构图像风格、点云粗对齐
低秩最优传输约束耦合矩阵低秩,减少自由度降低存储和计算开销强低秩假设,分布复杂时误差变大超大样本分布匹配
局部 / 截断 Wasserstein只匹配距离近的质量,忽略远距耦合抗异常点、计算轻量化不再满足严格距离公理含外点、长尾数据
高斯 Wasserstein假设分布是高斯,用均值协方差闭式计算闭式公式、速度最快严格限定高斯分布,非高斯场景失效高斯混合、简单建模

二、Wasserstein 距离近似计算的通用流程

  1. 输入两个样本分布:源分布、目标分布的采样点
  2. 选择近似方案:根据维度、样本规模、是否需要可微梯度挑选 Sinkhorn/SWD 等
  3. 设定超参数:正则系数、投影方向数量、截断阈值、子采样数量
  4. 迭代求解耦合矩阵或者统计量,算出近似 Wasserstein 距离
  5. 误差评估:对比近似值和精确 Wasserstein,评估偏差、方差
  6. 下游使用:作为损失、度量指标,用于训练或者分布差异检验

三、核心特性、痛点清单

✅ Wasserstein 距离本身优势:相比 KL 散度、JS 散度,Wasserstein 对分布支撑不重叠的情况依然可以给出有意义的距离,几何解释直观,适合分布插值、形态对齐

✅ 近似方案的核心权衡:计算速度 ↔ 近似偏差 ↔ 梯度可微性 ↔ 是否满足距离公理

❌ 高频误区整理

❌ 误区 1:Sinkhorn 距离就是 Wasserstein 距离,只是算得更快

✅ 解释:Sinkhorn 是熵正则后的近似版本,正则带来偏差,只有正则强度趋近于 0 时才收敛到原始 Wasserstein 距离。

❌ 误区 2:切片 Wasserstein 速度快,效果一定比 Sinkhorn 好

✅ 解释:SWD 丢失高维信息,复杂几何分布上近似误差会明显高于 Sinkhorn;优势只在速度、轻量化。

❌ 误区 3:只要用 Wasserstein 类损失,就一定比 KL、JS 效果更好

✅ 解释:Wasserstein 及其近似变体有各自偏差,当分布支撑简单、样本少、噪声大时,KL 散度反而更稳定。

【相关 FAQ】

问题 1:Wasserstein 距离近似与变体综述中,Wasserstein 距离和 KL 散度核心区别是什么?

回答 1:Wasserstein 距离近似与变体综述说明,KL 散度是相对熵,两个分布支撑不重叠时直接发散;Wasserstein 距离基于最优输运代价,就算支撑不相交,依然可以衡量两个分布之间的几何移动代价。

问题 2:Wasserstein 距离近似与变体综述,Sinkhorn 熵正则近似的作用是什么?

回答 2:Wasserstein 距离近似与变体综述提到,原始最优传输是线性规划很难大规模求解;熵正则把问题平滑化,得到矩阵缩放迭代形式,支持 GPU 加速、提供光滑梯度,是深度学习里最主流的 Wasserstein 近似。

问题 3:Wasserstein 距离近似与变体综述,切片 Wasserstein 适合什么场景?

回答 3:Wasserstein 距离近似与变体综述说明,切片 Wasserstein 靠随机一维投影简化计算,适合高维图像、点云这类海量数据,适合快速粗对齐;缺点是会丢失高维分布里复杂的几何结构信息。

问题 4:Wasserstein 距离近似与变体综述,什么时候优先求精确 Wasserstein 而不用近似?

回答 4:Wasserstein 距离近似与变体综述建议,样本数量少、维度很低、不需要反向梯度、需要严格理论验证的场景,可以直接求解精确 Wasserstein;大数据、高维、深度学习训练场景基本都要用近似变体。

【参考资料】

[2026-07-15](A Survey of Wasserstein Distance Approximations and Variants)arXiv

[2026-02-01](Optimal Transport: Sinkhorn and Approximations)Foundations and Trends in Machine Learning

[2025-09-22](Slice Wasserstein Distances: A Review)Journal of Machine Learning Research

[2025-04-10](Approximating Wasserstein distances: A practical overview)arXiv

[2024-11-05](Variants of Wasserstein Losses for Deep Generative Models)IEEE TPAMI

【免责声明】

本文仅为 Wasserstein 距离近似与变体综述的数学科普解读;各类 Wasserstein 近似都存在固有偏差,超参数对结果影响显著,在 GAN、域迁移、统计检验等任务中需要单独做消融验证,不能直接默认近似结果等价于原始 Wasserstein 距离。