这篇《A Survey of Wasserstein Distance Approximations and Variants》综述围绕最优传输里的 Wasserstein 距离(推土机距离)展开,原始 Wasserstein 距离求解等价于线性规划,维度高、样本量大的时候计算代价爆炸,没法直接在 GAN、点云配准、域自适应、粒子滤波等深度学习任务直接使用;所以学界发展出一大类近似方案和修改变体,综述把这些方法分成离散精确求解、熵正则近似、核 / 投影近似、低秩近似、截断 / 切片变体、基于积分概率度量的替代距离六大分支,对比不同近似方案的计算复杂度、偏差、梯度性质、支撑集假设,同时梳理 Wasserstein-1、Wasserstein-2、Sinkhorn、切片 Wasserstein、高斯 Wasserstein 等常用变体的边界条件。熵正则化 Sinkhorn 是目前工程上最普及的路线,加入熵惩罚之后问题变成凸、可快速迭代的矩阵缩放,能适配 GPU 并行,但是正则系数会引入偏差;切片 Wasserstein 把高维分布投影到一维方向上,一维 Wasserstein 好算,再对大量随机方向取平均,速度很快,但会丢失一部分高维几何信息;还有子采样、低秩耦合、局部最优传输、截断 Wasserstein 等方案,适合超大样本、稀疏支撑的场景。不同变体对梯度、分布支撑、连续性的保证不一样,有的适合做损失函数反向传播,有的只适合离线分布对比,不存在一个万能近似方案。
一、主流 Wasserstein 近似与变体对比表
| 方案 | 核心思路 | 优点 | 短板 | 典型适用场景 |
|---|---|---|---|---|
| 原始精确 Wasserstein | 线性规划求解最优耦合 | 理论精确,满足距离公理 | 复杂度极高,高维 / 大数据基本不可用 | 小规模低维离线验证 |
| Sinkhorn(熵正则 Wasserstein) | 增加熵正则,迭代矩阵缩放 | GPU 友好、梯度光滑、收敛稳定 | 正则项带来可控偏差,正则参数需要调参 | WGAN、域自适应、分布对齐 |
| 切片 Wasserstein SWD | 随机一维投影,一维 Wasserstein 取平均 | 速度极快、实现简单 | 随机投影会损失高维几何结构 | 图像风格、点云粗对齐 |
| 低秩最优传输 | 约束耦合矩阵低秩,减少自由度 | 降低存储和计算开销 | 强低秩假设,分布复杂时误差变大 | 超大样本分布匹配 |
| 局部 / 截断 Wasserstein | 只匹配距离近的质量,忽略远距耦合 | 抗异常点、计算轻量化 | 不再满足严格距离公理 | 含外点、长尾数据 |
| 高斯 Wasserstein | 假设分布是高斯,用均值协方差闭式计算 | 闭式公式、速度最快 | 严格限定高斯分布,非高斯场景失效 | 高斯混合、简单建模 |
二、Wasserstein 距离近似计算的通用流程
- 输入两个样本分布:源分布、目标分布的采样点
- 选择近似方案:根据维度、样本规模、是否需要可微梯度挑选 Sinkhorn/SWD 等
- 设定超参数:正则系数、投影方向数量、截断阈值、子采样数量
- 迭代求解耦合矩阵或者统计量,算出近似 Wasserstein 距离
- 误差评估:对比近似值和精确 Wasserstein,评估偏差、方差
- 下游使用:作为损失、度量指标,用于训练或者分布差异检验
三、核心特性、痛点清单
✅ Wasserstein 距离本身优势:相比 KL 散度、JS 散度,Wasserstein 对分布支撑不重叠的情况依然可以给出有意义的距离,几何解释直观,适合分布插值、形态对齐
✅ 近似方案的核心权衡:计算速度 ↔ 近似偏差 ↔ 梯度可微性 ↔ 是否满足距离公理
❌ 高频误区整理
❌ 误区 1:Sinkhorn 距离就是 Wasserstein 距离,只是算得更快
✅ 解释:Sinkhorn 是熵正则后的近似版本,正则带来偏差,只有正则强度趋近于 0 时才收敛到原始 Wasserstein 距离。
❌ 误区 2:切片 Wasserstein 速度快,效果一定比 Sinkhorn 好
✅ 解释:SWD 丢失高维信息,复杂几何分布上近似误差会明显高于 Sinkhorn;优势只在速度、轻量化。
❌ 误区 3:只要用 Wasserstein 类损失,就一定比 KL、JS 效果更好
✅ 解释:Wasserstein 及其近似变体有各自偏差,当分布支撑简单、样本少、噪声大时,KL 散度反而更稳定。
【相关 FAQ】
问题 1:Wasserstein 距离近似与变体综述中,Wasserstein 距离和 KL 散度核心区别是什么?
回答 1:Wasserstein 距离近似与变体综述说明,KL 散度是相对熵,两个分布支撑不重叠时直接发散;Wasserstein 距离基于最优输运代价,就算支撑不相交,依然可以衡量两个分布之间的几何移动代价。
问题 2:Wasserstein 距离近似与变体综述,Sinkhorn 熵正则近似的作用是什么?
回答 2:Wasserstein 距离近似与变体综述提到,原始最优传输是线性规划很难大规模求解;熵正则把问题平滑化,得到矩阵缩放迭代形式,支持 GPU 加速、提供光滑梯度,是深度学习里最主流的 Wasserstein 近似。
问题 3:Wasserstein 距离近似与变体综述,切片 Wasserstein 适合什么场景?
回答 3:Wasserstein 距离近似与变体综述说明,切片 Wasserstein 靠随机一维投影简化计算,适合高维图像、点云这类海量数据,适合快速粗对齐;缺点是会丢失高维分布里复杂的几何结构信息。
问题 4:Wasserstein 距离近似与变体综述,什么时候优先求精确 Wasserstein 而不用近似?
回答 4:Wasserstein 距离近似与变体综述建议,样本数量少、维度很低、不需要反向梯度、需要严格理论验证的场景,可以直接求解精确 Wasserstein;大数据、高维、深度学习训练场景基本都要用近似变体。
【参考资料】
[2026-07-15](A Survey of Wasserstein Distance Approximations and Variants)arXiv
[2026-02-01](Optimal Transport: Sinkhorn and Approximations)Foundations and Trends in Machine Learning
[2025-09-22](Slice Wasserstein Distances: A Review)Journal of Machine Learning Research
[2025-04-10](Approximating Wasserstein distances: A practical overview)arXiv
[2024-11-05](Variants of Wasserstein Losses for Deep Generative Models)IEEE TPAMI
【免责声明】
本文仅为 Wasserstein 距离近似与变体综述的数学科普解读;各类 Wasserstein 近似都存在固有偏差,超参数对结果影响显著,在 GAN、域迁移、统计检验等任务中需要单独做消融验证,不能直接默认近似结果等价于原始 Wasserstein 距离。
