DeepSeek_VL2部署教程

一、简介

DeepSeek-VL2 是一系列创新性的大型混合专家（MoE）视觉语言模型，相较于其前代产品 DeepSeek-VL 显著提升了性能表现。在多种任务中，如视觉问答、光学字符识别、文档/表格/图表理解及视觉基础等方面，DeepSeek-VL2 展现出卓越的能力。这一模型系列共有三种变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，它们分别拥有 1.0B、2.8B 和 4.5B 的激活参数。与现有的开源密集型和基于 MoE 的模型对比，DeepSeek-VL2 在具有同等甚至更少激活参数的情况下，仍可实现竞争性乃至领先的性能。

二、部署流程

基础环境的最低配置要求如下：

首先，执行此命令以查看系统版本信息，它将从所有配置的源中获取最新的软件包列表而不实际安装或升级任何软件包，是安装新软件包或进行软件包升级前推荐的操作，因为它能保证你获取到的是最新的软件包版本。

接下来，我们将使用以下命令安装 Vim 文本编辑器，其中 参数表示自动对所有提示做出“是”的响应，因此在安装过程中无需手动确认。Vim 是一款功能强大的文本编辑器，广泛应用在编程和配置文件的编辑工作中。

为了保障安全，建议在修改 sources.list 文件之前先对其进行备份：

上述命令将当前的 sources.list 文件复制成一个名为 备份文件。这样做是有益的，因为在编辑 sources.list 文件时有可能出现错误，从而导致无法安装或更新软件包。如有备份，则在发生问题时可以轻松恢复原始文件。

使用 Vim 打开 sources.list 文件进行编辑。在这个文件中，APT（Advanced Package Tool）列出了用于安装和更新软件包的各种软件源。通过对这个文件进行编辑，你可以添加新的软件源、调整已有软件源的优先级或停用某些软件源。

在 Vim 中，可以使用方向键移动光标，按 i 键进入插入模式进行文本编辑，Esc 键退出插入模式，若要保存更改并退出 Vim，键入 :wq，而 若要不保存更改直接退出则输入 :q!。

当编辑 sources.list 文件时，请务必清楚自己的操作，尤其是当你打算添加新的软件源时。不正确的源可能导致软件包安装失败或引发系统安全问题。如果你对此不确定，最好是查找并使用可靠的源信息，或者向有经验的 Linux 用户咨询。

接着，我们用 Vim 打开 sources.list 文件，并将其内容替换为配置国内阿里源所需的代码。

安装常用软件和工具：

一旦完成 sources.list 文件的编辑，你将会看到国内 apt 源已被成功替换，现在可以正常安装 apt 软件和工具。

例如，下载 CUDA Keyring 的步骤如下：

该命令用于下载 CUDA 的 GPG 密钥环，用于验证 CUDA 软件包的签名，这对于确保所安装软件包的安全性至关重要。

然后安装下载的 CUDA Keyring：

使用 命令来安装下载的密钥环，这对于 apt 能够验证从 NVIDIA 仓库下载的软件包签名是必不可少的。

如果有必要，可以删除旧的 apt 密钥（前提是该密钥与 CUDA 相关，并且你想从系统中移除以避免混淆）。但在大多数情况下，如果仅是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，此步骤是可以略过的。

接下来，你需要更新 apt 的软件包列表，以便包含通过 添加的 NVIDIA 仓库中的软件包。

安装 NVIDIA CUDA Toolkit 12.1 的成功标志如下：

若需安装特定版本的 CUDA Toolkit（比如 cuda-12-1，如果有提供），或者你选择从 NVIDIA 官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装，请务必查阅 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获得最准确的包名和安装指令。

安装成功后，你需要配置 NVIDIA CUDA Toolkit 12.1 的系统环境变量：

为此，请编辑 ~/.bashrc 文件，并插入相应的环境变量设置。随后，激活 ~/.bashrc 文件并检查 cuda 系统环境变量。

第三步，安装 Miniconda：

首先，使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是 Anaconda 的轻量级发行版，主要包括用于安装和管理 Python 包的核心组件。

运行 Miniconda 的安装脚本：

使用 bash 命令运行下载的 Miniconda 安装脚本，这将启动 Miniconda 的安装过程。

安装过程中，你需按 Enter 键确认，两次输入 yes 确认许可协议和 Miniconda 初始化的选择。安装成功的界面如下所示。

请注意以下事项：

- 确保你的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本适用于此类架构。

- 在运行安装脚本前，可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令赋予脚本执行权限。

- 安装过程中，你会被询问是否同意许可协议以及是否希望初始化 Miniconda。一般而言，选择 "yes" 可完成安装与初始化。

- 安装完成后，可以通过 conda 命令来管理和维护 Python 环境与包。

- 若链接无法访问或解析失败，可能是由于网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的有效链接。如问题依然存在，请访问 Anaconda 的官方网站获取最新的下载链接。

四、从 GitHub 仓库克隆项目

五、创建虚拟环境

六、安装模型依赖库

- 切换至项目目录，激活 trellis 虚拟环境，并根据 requirements.txt 文件安装相关依赖。

七、下载预训练模型

八、运行 gradio_demo.py 文件

九、网页展示

当出现以下 Gradio 页面时，表明模型已经成功搭建完毕。