• 请问需要多少等级的 GPU、CPU、RAM、DISK?
  • 本地部署实际经验 (不要广告)

2 个回答

6

Ray

iT邦大神 1 级 ‧ 2025-02-07 14:24:30

最佳解答

https://felo.ai/search/P86ZgBpyA9nK37giXJDcwT?invite=WPqroLX8pYedw

基本硬体需求

##CPU:

最低要求：4 核心处理器（如 Intel 或 AMD 多核处理器）。
建议使用：8 核或以上的处理器，以获得更好的性能。

##内存 (RAM):

最低要求：8GB（仅用于推理）。
建议配置：32GB 或以上，对于更大型的模型（如 70B 参数模型），建议使用 128GB 以上的内存。

##显示卡 (GPU):

最低要求：支持 Ollama 的 NVIDIA GPU，如 GTX 750 Ti 或更高版本。
建议使用：NVIDIA RTX 3060 或更高版本，对于更大型的模型，建议使用 RTX 3090 或 RTX 4090。

##存储空间:

最低要求：至少 50GB 的 SSD 存储空间，用于 Docker 映像和模型权重。
对于大型模型，建议使用 200GB 或以上的 SSD 存储空间。

##进阶硬体需求

记忆体带宽：对于 DeepSeek-R1 的完整模型，建议使用具有高记忆体带宽的伺服器主板和多通道内存配置，例如 768GB DDR5 RAM，这样可以充分发挥模型的性能。

电源供应：确保电源供应单元（PSU）能够支持多个 CPU 和 GPU 的运行，建议使用 1000W 或更高的电源供应器。


  • 1

小MIS

iT邦研究生 1 级 ‧
2025-02-12 14:09:49

谢谢您!

修改

1

sharbui

iT邦新手 3 级 ‧ 2025-02-12 12:35:31

deepseek R1 7/16B 4090 *1
deepseek R1 70B 4090 *2
deepseek V3 H100 16
deepseek V3 经过蒸馏 H1006

主要需求在这, 其他的能多CPU RAM 能插满就插满,
V3 要404GB 的空间, 自己再配几T的nvme


  • 1

小MIS

iT邦研究生 1 级 ‧
2025-02-12 14:09:55

谢谢您!

修改