deepseekv3本地部署教程_deepdive安装

范文仓信息网~

# DeepSeek V3本地部署教程：开启属于你的AI之旅

在人工智能飞速发展的当下，开源大模型正重塑技术生态，而DeepSeek-V3的开源更是在AI圈引发热潮。它犹如AI界的超级英雄，携6710亿参数降临，以出色的测试表现和低训练成本，引领我们步入分布式推理的新纪元。现在，就让我们一同探索如何将这颗“超级大脑”部署在本地。

## 一、运行环境需求
### （一）硬件要求
1. **NVIDIA GPU**：需支持FP8和BF16，若使用英伟达显卡本地部署，大概需要8 x H200 GPUs（共1128GB显存）；若为H20或A100，大概需要2个8卡的节点。
2. **AMD GPU**：可通过SGLang运行FP8和BF16，至少需要8x MI300X GPUs 。
3. **Huawei Ascend NPU**：支持BF16，部署DeepSeek-V3、R1模型浮点权重至少需要4台Atlas 800I A2（8x64G）服务器，W8A8量化权重至少需要2台Atlas 800I A2（8x64G服务器）。
当然，本地电脑即便没有显卡，仅依靠近5年的多核CPU（如Intel i5/Ryzen 5及以上），内存≥8GB（推荐32GB），硬盘空间≥5GB，也能部署运行，只是性能会有所下降。

### （二）软件依赖
操作系统目前仅支持Linux，Mac和Windows尚未支持。同时，本次部署会用到Kubernetes，需确保本地有可用的Kubernestes客户端工具kubectl 。

## 二、下载与安装
### （一）通过Ollama部署（适合普通配置本地电脑）
1. **下载Ollama**：可从Ollama官方下载网址（https://ollama.com/download ）获取安装文件，若无法下载，也能在其官方GitHub仓库（https://github.com/ollama/ollama/releases/download/v0.5.8 - rc7/OllamaSetup.exe）选择对应系统版本下载。
2. **安装Ollama**：双击安装包进行安装，Windows版安装完毕会自动运行，在桌面右下角状态栏显示图标。若安装后自动打开命令提示符窗口，不要关闭；若未打开，继续下一步。

### （二）采用vLLM和KubeRay作为分布式推理方案（适合有专业集群环境）
1. **准备工作**：
- **账号开通**：点击docs.alayanew.com/ ，点击“立即体验”进行账户开通注册。
- **资源需求**：确保开通的弹性容器集群资源满足要求，如GPU需H100 * 16 。
- **开通弹性容器集群**：按相关指引完成操作。
- **配置文件准备**：根据实际情况准备相应配置文件。
- **模型准备**：获取DeepSeek-V3模型文件，其文件大小约为642G。
2. **KubeRay集群部署**：
- **安装KubeRay-Opertor**：按照官方文档指导完成安装。
- **启动集群**：执行相关命令启动KubeRay集群。
- **安装访问配置**：配置好访问相关的设置。
3. **DeepSeek-V3部署**：
- **部署模型**：将准备好的模型部署到KubeRay集群中。
- **访问模型**：通过设定的访问方式，即可调用本地部署的DeepSeek-V3模型。

## 三、推理部署
若通过Ollama部署，在安装并打开Ollama相关窗口后，进入Ollama官网DeepSeek模型库网址（https://ollama.com/search?q=DeepSeek ）选择模型，如DeepSeek R1推理模型、DeepSeek Coder代码模型、DeepSeek V2.5或V3通用模型等不同版本。选定模型后，在命令提示符或终端（PowerShell）窗口内执行相应下载命令代码，下载完成后即可进行推理使用。

采用vLLM和KubeRay方案部署完成后，按照设定的接口和访问规则，在相应的开发环境或应用场景中调用模型进行推理任务。

通过以上步骤，你就可以成功在本地部署DeepSeek V3，开启属于自己的AI探索之旅。不过在部署过程中，要根据自身硬件资源合理选择部署方式，以达到最佳效果。