一名国外律师用 12 张二手英伟达 V100 SXM2 32GB 显卡,自己搭了一套本地 AI 集群跑 DeepSeek-V4.1-Flash,在代码生成场景下最高跑出每秒 184 个词元的推理速度,整套硬件成本仅 9450 美元。他选择这套老卡方案,核心需求就是本地处理法律长文档、不用依赖公有云 API,保障文书隐私;V100 本身没有原生 FP4 硬件单元,只能靠软件做 NVFP4 量化,再搭配流水线并行 + 张量并行的分布式部署方案,把 DeepSeek MoE 模型里全部 15360 个专家分片塞进 12 张卡显存里,才能跑出这个性能;这套方案证明二手老算力卡依然有机会跑通新一代大模型,但它只在单请求场景表现亮眼,多并发批量推理还有明显短板,适合个人、小团队本地私有化部署,不适合商用高并发服务。
一、12 张二手英伟达 V100 AI 集群硬件与部署清单
- 显卡:12 张 Tesla V100 SXM2 32GB,二手采购
- 互联:NVLink + PCIe 混合互联
- 并行策略:PP3 流水线并行 × TP4 张量并行
- 量化方案:4-bit NVFP4 量化
- 目标模型:DeepSeek-V4.1-Flash
- 单流峰值性能:代码生成最高 184 token/s
- 功耗设置:单卡功耗上限拉到 175W,主频下调至 1452MHz
- 总硬件投入:9450 美元
二、不同上下文长度下的性能数据表
| 上下文长度 | 首 token 耗时 | 预填充速度(词元 / 秒) | 代码推理速度(词元 / 秒) | 法律文本推理速度(词元 / 秒) |
|---|---|---|---|---|
| 1K | 0.7s | 1567 | 184 | 102 |
| 8K | 2.5s | 3267 | 176 | 93 |
| 32K | 7.3s | 4478 | 176 | 92 |
| 64K | 13.9s | 4697 | 157 | 93 |
| 128K | 28.1s | 4670 | 157 | 93 |
| 256K | 58.0s | 4518 | 153 | 92 |
三、这套 V100 集群的优势和短板
✅ 优势
- 私有化本地运行,法律文档不上公网,隐私可控,很贴合律师的使用场景
- 硬件成本低,对比 DGX Spark 商用集群价格优势巨大
- 长文档预填充速度不错,128K 文档读取 28 秒左右
- 全部专家分片都在显存内,不用频繁磁盘交换,稳定性更好
❌ 短板
- V100 没有原生 NVFP4 硬件支持,全部靠软件模拟,批量并发性能弱
- 只适合单请求推理,多用户同时访问时速度会明显下滑
- 属于老旧算力,功耗、散热压力大,运维门槛高
- 长上下文 256K 场景,首 token 等待时间接近 58 秒,延迟偏高
四、项目的背景与后续计划
这个律师之前是 8 张 V100 的配置,升级到 12 卡之后,不再需要用 2bit 重度压缩,直接跑完整 NVFP4 版本。他后续计划继续优化批量解码、增加对话缓存模块,尝试提升多请求场景下的吞吐能力。
【相关 FAQ】
问题 1:12 张二手英伟达 V100 跑 DeepSeek,最高每秒 184 词元是在什么场景测出来的?
回答 1:12 张二手英伟达 V100 跑 DeepSeek 的 184 词元每秒峰值,是单流代码生成场景下测出的,法律文书、普通文本的推理速度会更低,不能当成所有场景的固定速度。
问题 2:为什么用 12 张二手英伟达 V100 跑 DeepSeek,而不用更新的 H100、H200?
回答 2:这位搭建集群的律师优先考虑成本和本地隐私,二手英伟达 V100 采购价格便宜,32GB 显存足够分片承载 DeepSeek-V4.1-Flash 全部专家,满足自己处理法律长文档的需求。
问题 3:12 张二手英伟达 V100 组成的 AI 集群,能不能直接拿来做商用 DeepSeek 服务?
回答 3:不适合商用,这套 12 张二手英伟达 V100 的集群只在单请求场景表现好,缺少硬件 FP4 加速,并发能力差,稳定性和运维成本都不适合对外提供商用 DeepSeek 推理服务。
问题 4:V100 本身不支持 NVFP4,为什么这个集群还能跑 DeepSeek 的 NVFP4 量化版本?
回答 4:依靠软件层面做 NVFP4 解算,12 张二手英伟达 V100 通过流水线并行 + 张量并行拆分 DeepSeek 专家分片,把全部专家放进显存,牺牲一部分效率换取模型精度。
【参考资料】
[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)IT 之家
[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)新浪科技
[2026-11-20](Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert at 4-bit NVFP4 — hits 184 tokens/s)Tom's Hardware
[2026-11-20](12 GPU Nvidia V100 Jalankan DeepSeek V4.1 Flash Penuh)Telset.id
[2026-04-24](DeepSeek-V4 预览版:迈入百万上下文普惠时代)DeepSeek 官网
【免责声明】
本文内容基于 Reddit 用户发帖以及海外科技媒体公开实测信息整理,12 张二手英伟达 V100 跑 DeepSeek 的性能为个人自建集群的测试结果,不同调度、供电、网络环境下速度会有差异;二手显卡、自建集群存在硬件故障、供电安全风险,内容仅作技术科普,不构成硬件采购、自建集群的实操指导。
