DeepSeek-67B 本地部署指南

DeepSeek-67B 是由深度求索（DeepSeek）推出的高性能开源大语言模型，拥有 670 亿参数，支持中英文双语，在多个基准测试中表现优异。本文将指导您如何在本地环境中成功部署并运行 DeepSeek-67B 模型。

1. 硬件与系统要求

• GPU 显存：建议至少 140GB 显存（如 2×A100 80GB），若使用量化版本（如 GGUF 或 AWQ），可降低至 48GB（如单张 RTX 4090）。
• CPU：高性能多核 CPU（如 Intel i9 或 AMD Ryzen 9）有助于预处理和加载。
• 内存：建议 ≥64GB 系统内存。
• 存储：SSD 至少 200GB 可用空间（FP16 原始模型约 130GB）。
• 操作系统：Linux（推荐 Ubuntu 22.04 LTS）或 Windows WSL2。

2. 环境准备

确保已安装以下依赖：

• Python ≥3.10
• PyTorch ≥2.0
• Transformers（Hugging Face）
• vLLM 或 llama.cpp（根据部署方式选择）

3. 获取模型权重

访问 Hugging Face 官方仓库下载模型：

git lfs install
git clone https://huggingface.co/deepseek-ai/deepseek-67b-base

请确保您已同意模型许可协议并完成身份验证。

4. 部署方式选择

方式一：使用 vLLM（高性能推理）

pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model ./deepseek-67b-base \
  --tensor-parallel-size 2 \
  --dtype bfloat16

方式二：使用 llama.cpp（CPU/GPU 通用，支持 GGUF 量化）

# 转换为 GGUF 格式（需先量化）
python convert.py ./deepseek-67b-base --outfile deepseek-67b.Q5_K_M.gguf

# 运行推理
./main -m ./deepseek-67b.Q5_K_M.gguf -p "你好，你是谁？" -n 256

5. 常见问题

• 显存不足？ 使用 4-bit 或 5-bit 量化版本（如 GGUF Q5_K_M）。
• 加载缓慢？ 确保使用 NVMe SSD 并关闭其他占用内存的程序。
• 中文输出异常？ 检查 tokenizer 是否正确加载，建议使用官方提供的 tokenizer。

6. 注意事项

DeepSeek-67B 为商用友好开源模型（Apache 2.0 许可），但请遵守其使用条款。本地部署适用于研究、开发及内部应用，不建议直接对外提供 API 服务而未做安全过滤。