您的位置首页 >人工智能 >

深度残差收缩网络 DRSN 的 PyTorch 完整程序实现,含 CS/CW 两种变体

深度残差收缩网络 DRSN,核心就是在残差块里加入可自适应学习的软阈值收缩层,适合故障诊断、强噪声时序信号分类任务,下面这套 PyTorch 代码还原论文原版结构,包含通道共享阈值 DRSN-CS、通道独立阈值 DRSN-CW 两个版本,支持一维时序输入,直接复制就能跑通前向测试,也可以改成二维卷积用来处理图像数据。它和普通 ResNet 最大差别,就是每个 RSBU 残差收缩单元多了一条阈值估计子分支,依靠全局绝对值池化、全连接层算出阈值,再用软阈值函数把特征里幅值低于阈值的噪声抑制掉,阈值不是人工固定,是跟着样本、跟着训练过程自动更新的。整体流程是先写基础软阈值模块,再分别实现 RSBU-CS 和 RSBU-CW 单元,接着堆叠单元搭完整 DRSN 网络,最后写测试代码验证张量维度,训练的时候搭配交叉熵损失、Adam 优化器,噪声大的数据集效果会比普通 ResNet 更好。

DRSN 核心组件清单

  • SoftThresholding:软阈值层,公式 y=sign(x)⋅max(∣x∣−τ,0)
  • RSBU-CS:通道共享阈值单元,一整个单元只用同一个阈值 τ
  • RSBU-CW:通道独立阈值单元,每个通道单独计算专属阈值
  • 阈值分支:绝对值全局池化 + 两层全连接 + sigmoid,输出 0~1 之间的阈值系数
  • 捷径分支:stride 或者通道数不一致时,用 1×1 卷积做维度对齐

核心 PyTorch 代码

import torch

import torch.nn as nn

import torch.nn.functional as F

class SoftThresholding(nn.Module):

def forward(self, x, tau):

return torch.sign(x) F.relu(torch.abs(x) - tau)

class RSBU_CS(nn.Module):

def __init__(self, in_channels, out_channels, kernel_size=3, stride=1):

super().__init__()

padding = kernel_size // 2

self.bn1 = nn.BatchNorm1d(in_channels)

self.conv1 = nn.Conv1d(in_channels, out_channels, kernel_size, stride, padding, bias=False)

self.bn2 = nn.BatchNorm1d(out_channels)

self.conv2 = nn.Conv1d(out_channels, out_channels, kernel_size, 1, padding, bias=False)

阈值估计分支 CS:共享一个阈值

self.gap_abs = nn.AdaptiveAvgPool1d(1)

self.fc1 = nn.Linear(out_channels, out_channels//4)

self.fc2 = nn.Linear(out_channels//4, 1)

self.sigmoid = nn.Sigmoid()

self.shrink = SoftThresholding()

shortcut

self.shortcut = nn.Sequential()

if stride != 1 or in_channels != out_channels:

self.shortcut = nn.Sequential(nn.Conv1d(in_channels, out_channels, 1, stride, bias=False))

def forward(self, x):

residual = F.relu(self.bn1(x))

residual = self.conv1(residual)

residual = F.relu(self.bn2(residual))

residual = self.conv2(residual)

计算阈值

abs_x = torch.abs(residual)

gap = self.gap_abs(abs_x).squeeze(-1)

tau = self.sigmoid(self.fc2(F.relu(self.fc1(gap))))

tau = tau.unsqueeze(-1)

residual = self.shrink(residual, tau)

out = residual + self.shortcut(x)

return out

class RSBU_CW(nn.Module):

def __init__(self, in_channels, out_channels, kernel_size=3, stride=1):

super().__init__()

padding = kernel_size // 2

self.bn1 = nn.BatchNorm1d(in_channels)

self.conv1 = nn.Conv1d(in_channels, out_channels, kernel_size, stride, padding, bias=False)

self.bn2 = nn.BatchNorm1d(out_channels)

self.conv2 = nn.Conv1d(out_channels, out_channels, kernel_size, 1, padding, bias=False)

阈值估计分支 CW:每个通道独立阈值

self.gap_abs = nn.AdaptiveAvgPool1d(1)

self.fc1 = nn.Linear(out_channels, out_channels//4)

self.fc2 = nn.Linear(out_channels//4, out_channels)

self.sigmoid = nn.Sigmoid()

self.shrink = SoftThresholding()

self.shortcut = nn.Sequential()

if stride != 1 or in_channels != out_channels:

self.shortcut = nn.Sequential(nn.Conv1d(in_channels, out_channels, 1, stride, bias=False))

def forward(self, x):

residual = F.relu(self.bn1(x))

residual = self.conv1(residual)

residual = F.relu(self.bn2(residual))

residual = self.conv2(residual)

abs_x = torch.abs(residual)

gap = self.gap_abs(abs_x).squeeze(-1)

tau = self.sigmoid(self.fc2(F.relu(self.fc1(gap))))

tau = tau.unsqueeze(-1)

residual = self.shrink(residual, tau)

out = residual + self.shortcut(x)

return out

class DRSN(nn.Module):

def __init__(self, block, num_blocks, in_channel=1, num_classes=10):

super().__init__()

self.in_channels = 64

self.conv1 = nn.Conv1d(in_channel, 64, 3, 1, 1, bias=False)

self.bn1 = nn.BatchNorm1d(64)

self.layer1 = self._make_layer(block, 64, num_blocks[0], stride=1)

self.layer2 = self._make_layer(block, 128, num_blocks[1], stride=2)

self.layer3 = self._make_layer(block, 256, num_blocks[2], stride=2)

self.gap = nn.AdaptiveAvgPool1d(1)

self.fc = nn.Linear(256, num_classes)

def _make_layer(self, block, out_channels, blocks, stride):

layers = []

layers.append(block(self.in_channels, out_channels, stride=stride))

self.in_channels = out_channels

for _ in range(1, blocks):

layers.append(block(self.in_channels, out_channels, stride=1))

return nn.Sequential(layers)

def forward(self, x):

x = F.relu(self.bn1(self.conv1(x)))

x = self.layer1(x)

x = self.layer2(x)

x = self.layer3(x)

x = self.gap(x).squeeze(-1)

x = self.fc(x)

return x

测试示例

if __name__ == "__main__":

DRSN-CS

model_cs = DRSN(RSBU_CS, [2,2,2], in_channel=1, num_classes=10)

DRSN-CW

model_cw = DRSN(RSBU_CW, [2,2,2], in_channel=1, num_classes=10)

test_x = torch.randn(4,1,1024)

print("DRSN-CS output shape:", model_cs(test_x).shape)

print("DRSN-CW output shape:", model_cw(test_x).shape)

上手落地步骤

  1. 环境准备:安装 torch、numpy,推荐 torch>=1.10,CUDA 环境可选用来加速
  2. 数据适配:一维时序直接用上面 Conv1d;图像任务把所有 Conv1d、BatchNorm1d、AdaptiveAvgPool1d 替换成 2d 版本
  3. 训练配置:损失函数用 CrossEntropyLoss,优化器选 Adam,初始学习率 1e-3,配合学习率衰减
  4. 选型判断:噪声均匀选 DRSN-CS;不同通道噪声差异大,优先 DRSN-CW
  5. 调参注意:阈值分支输出被 sigmoid 限制在 0~1,不会出现阈值过大直接清零全部特征的问题

【相关 FAQ】

问题 1:深度残差收缩网络 DRSN 的 PyTorch 实现里,DRSN-CS 和 DRSN-CW 有什么区别?

回答 1:深度残差收缩网络 PyTorch 实现里,DRSN-CS 是通道共享阈值,一个残差块全部通道共用同一个 τ;DRSN-CW 是通道独立阈值,每个通道会单独生成阈值,CW 对多通道噪声不一致的数据适配更强。

问题 2:深度残差收缩网络 PyTorch 代码里软阈值层的作用是什么?

回答 2:深度残差收缩网络 PyTorch 代码中的软阈值层是核心收缩模块,依靠自适应算出的阈值过滤特征里幅度较小的噪声,保留有效信号特征,实现网络内置降噪能力。

问题 3:这份深度残差收缩网络 PyTorch 程序能不能直接用来做图片分类?

回答 3:这份深度残差收缩网络 PyTorch 程序默认是一维时序版本,想要做图片分类,需要把代码里全部的 Conv1d、BN1d、一维池化替换成 Conv2d、BN2d、二维自适应池化。

问题 4:深度残差收缩网络 PyTorch 训练的时候阈值会不会出现爆炸?

回答 4:这份深度残差收缩网络 PyTorch 实现中阈值分支末尾加了 Sigmoid,输出限制在 0 到 1 之间,天然防止阈值过大,不容易出现特征全部置零的问题。

【参考资料】

[2026-11-18](深度残差收缩网络的 PyTorch 编程实现)腾讯云开发者社区

[2026-11-17](深度残差收缩网络的 PyTorch 程序复现)博客园

[2021-04-15](深度残差收缩网络 (完整 PyTorch 程序))腾讯云开发者社区

[2020-03-10](Deep Residual Shrinkage Networks for Fault Diagnosis)IEEE Transactions on Industrial Informatics

免责声明:本文 DRSN 的 PyTorch 代码仅为学术复现参考,不同数据集需要自行调整网络深度、学习率、损失函数,不保证在任意数据集上直接达到最优精度,使用前请核对论文原版公式。