本地部署GLM-4.5模型

目录

1. 准备运行环境
2. 下载模型代码和文件
3. 安装依赖
4. 配置模型
5. 启动推理服务
6. 测试模型
7. 准备运行环境
   硬件要求：

GLM-4.5对计算资源要求较高，尤其是GPU。例如运行GLM-4.5的BF16版本可能需要H100 x 16或H200 x 8这样规格的GPU 。如果是个人本地部署，尽量准备高性能的NVIDIA GPU，如RTX 30系列或40系列（但推理速度等性能可能不如专业服务器GPU）。

确保有足够的系统内存（RAM），至少32GB及以上，以避免在加载模型和推理时出现内存不足的情况。

预留足够的磁盘空间来存储模型文件，GLM-4.5模型规模大，存储可能需要上百GB的空间。

软件要求：

安装合适版本的操作系统，推荐使用Linux系统（如Ubuntu 20.04或更高版本），Windows系统也可以尝试，但可能存在部分兼容性问题。

安装CUDA（Compute Unified Device Architecture）工具包，版本需要和GPU驱动以及模型支持的CUDA版本相匹配，这是让GPU能被模型有效调用进行加速计算的关键组件。

安装cuDNN（CUDA Deep Neural Network library），它是用于深度神经网络的GPU加速库，能显著提升模型的训练和推理速度。

安装Python，推荐Python 3.8及以上版本。

2. 下载模型代码和文件
   访问GLM-4.5在GitHub上的官方仓库：https://github.com/zai-org/glm-4.5 。

通过Git命令将仓库代码克隆到本地，在终端中执行：

git clone https://github.com/zai-org/glm-4.5.git

根据文档说明，从指定的模型存储位置（如Hugging Face或ModelScope平台）下载GLM-4.5模型文件到本地指定目录。

3. 安装依赖
   进入克隆下来的GLM-4.5项目目录，在终端中执行：

cd glm-4.5

使用pip安装项目所需的Python依赖包，这些依赖包在requirements.txt文件中列出，执行命令：

pip install -r requirements.txt

安装过程中可能会遇到网络问题导致下载失败，可以尝试更换国内源，如使用清华源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

4. 配置模型
   参考项目中的config.example.json文件，根据实际情况修改配置参数。例如，指定模型文件的本地存储路径，配置推理时使用的GPU数量、张量并行大小等参数。

如果要使用工具调用、思考模式等功能，可能还需要配置相应的解析器参数等。

5. 启动推理服务
   选择推理框架：可以使用vLLM、SGLang等框架来启动推理服务。

以vLLM为例：在终端中执行类似以下命令启动服务（具体参数根据实际配置调整）：

vllm serve zai-org/GLM-4.5 –tensor-parallel-size 8 –tool-call-parser glm45 –reasoning-parser glm45 –enable-auto-tool-choice –served-model-name glm-4.5

其中，–tensor-parallel-size指定张量并行的大小，即使用多少个GPU进行并行计算；–tool-call-parser和–reasoning-parser指定工具调用和推理解析器；–enable-auto-tool-choice开启自动工具选择功能 。

6. 测试模型
   使用示例脚本或编写自己的代码来调用已启动的模型服务。例如，使用api_request.py脚本发送请求，验证模型是否能正常接收请求并返回合理的响应。可以参考项目中的Example Scripts目录下的示例代码，按照其格式和调用方式，向模型发送一些简单的问答请求，检查推理结果是否符合预期。

在实际部署过程中，可能会遇到各种问题，如依赖冲突、权限问题、GPU驱动不兼容等，需要根据具体的错误提示信息，通过查阅官方文档、社区论坛等方式来解决。

————————————————
版权声明：本文为CSDN博主「没事学AI」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ZuanShi1111/article/details/149910536