您的位置首页 >科技要闻 >

12 张二手英伟达 V100律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

一名国外律师用 12 张二手英伟达 V100 SXM2 32GB 显卡,自己搭了一套本地 AI 集群跑 DeepSeek-V4.1-Flash,在代码生成场景下最高跑出每秒 184 个词元的推理速度,整套硬件成本仅 9450 美元。他选择这套老卡方案,核心需求就是本地处理法律长文档、不用依赖公有云 API,保障文书隐私;V100 本身没有原生 FP4 硬件单元,只能靠软件做 NVFP4 量化,再搭配流水线并行 + 张量并行的分布式部署方案,把 DeepSeek MoE 模型里全部 15360 个专家分片塞进 12 张卡显存里,才能跑出这个性能;这套方案证明二手老算力卡依然有机会跑通新一代大模型,但它只在单请求场景表现亮眼,多并发批量推理还有明显短板,适合个人、小团队本地私有化部署,不适合商用高并发服务。

一、12 张二手英伟达 V100 AI 集群硬件与部署清单

  • 显卡:12 张 Tesla V100 SXM2 32GB,二手采购
  • 互联:NVLink + PCIe 混合互联
  • 并行策略:PP3 流水线并行 × TP4 张量并行
  • 量化方案:4-bit NVFP4 量化
  • 目标模型:DeepSeek-V4.1-Flash
  • 单流峰值性能:代码生成最高 184 token/s
  • 功耗设置:单卡功耗上限拉到 175W,主频下调至 1452MHz
  • 总硬件投入:9450 美元

二、不同上下文长度下的性能数据表

上下文长度首 token 耗时预填充速度(词元 / 秒)代码推理速度(词元 / 秒)法律文本推理速度(词元 / 秒)
1K0.7s1567184102
8K2.5s326717693
32K7.3s447817692
64K13.9s469715793
128K28.1s467015793
256K58.0s451815392

三、这套 V100 集群的优势和短板

✅ 优势

  1. 私有化本地运行,法律文档不上公网,隐私可控,很贴合律师的使用场景
  2. 硬件成本低,对比 DGX Spark 商用集群价格优势巨大
  3. 长文档预填充速度不错,128K 文档读取 28 秒左右
  4. 全部专家分片都在显存内,不用频繁磁盘交换,稳定性更好

❌ 短板

  1. V100 没有原生 NVFP4 硬件支持,全部靠软件模拟,批量并发性能弱
  2. 只适合单请求推理,多用户同时访问时速度会明显下滑
  3. 属于老旧算力,功耗、散热压力大,运维门槛高
  4. 长上下文 256K 场景,首 token 等待时间接近 58 秒,延迟偏高

四、项目的背景与后续计划

这个律师之前是 8 张 V100 的配置,升级到 12 卡之后,不再需要用 2bit 重度压缩,直接跑完整 NVFP4 版本。他后续计划继续优化批量解码、增加对话缓存模块,尝试提升多请求场景下的吞吐能力。

【相关 FAQ】

问题 1:12 张二手英伟达 V100 跑 DeepSeek,最高每秒 184 词元是在什么场景测出来的?

回答 1:12 张二手英伟达 V100 跑 DeepSeek 的 184 词元每秒峰值,是单流代码生成场景下测出的,法律文书、普通文本的推理速度会更低,不能当成所有场景的固定速度。

问题 2:为什么用 12 张二手英伟达 V100 跑 DeepSeek,而不用更新的 H100、H200?

回答 2:这位搭建集群的律师优先考虑成本和本地隐私,二手英伟达 V100 采购价格便宜,32GB 显存足够分片承载 DeepSeek-V4.1-Flash 全部专家,满足自己处理法律长文档的需求。

问题 3:12 张二手英伟达 V100 组成的 AI 集群,能不能直接拿来做商用 DeepSeek 服务?

回答 3:不适合商用,这套 12 张二手英伟达 V100 的集群只在单请求场景表现好,缺少硬件 FP4 加速,并发能力差,稳定性和运维成本都不适合对外提供商用 DeepSeek 推理服务。

问题 4:V100 本身不支持 NVFP4,为什么这个集群还能跑 DeepSeek 的 NVFP4 量化版本?

回答 4:依靠软件层面做 NVFP4 解算,12 张二手英伟达 V100 通过流水线并行 + 张量并行拆分 DeepSeek 专家分片,把全部专家放进显存,牺牲一部分效率换取模型精度。

【参考资料】

[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)IT 之家

[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)新浪科技

[2026-11-20](Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert at 4-bit NVFP4 — hits 184 tokens/s)Tom's Hardware

[2026-11-20](12 GPU Nvidia V100 Jalankan DeepSeek V4.1 Flash Penuh)Telset.id

[2026-04-24](DeepSeek-V4 预览版:迈入百万上下文普惠时代)DeepSeek 官网

【免责声明】

本文内容基于 Reddit 用户发帖以及海外科技媒体公开实测信息整理,12 张二手英伟达 V100 跑 DeepSeek 的性能为个人自建集群的测试结果,不同调度、供电、网络环境下速度会有差异;二手显卡、自建集群存在硬件故障、供电安全风险,内容仅作技术科普,不构成硬件采购、自建集群的实操指导。