鲲鹏+昇腾部署通义千问 QwQ-32B（详细版）【信创国产化】
硬件
配置：2 * 920 + 4 * Atals 300I duo 系统： openEuler 22.03 lts 参考文章：https://modelers.cn/models/MindIE/QwQ-32B 感谢魔乐社区，昇腾社区，魔搭社区
前期环境准备
模型权重下载 建议modelscope下载
在下载前，请先通过如下命令安装ModelScope
pip install modelscope
下载完整模型库
modelscope download --model Qwen/QwQ-32B
准备好镜像 mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts 我之前写的文章有下载，自己去找了哈
安装docker和docker compose 之前文章都有
部署
在300I DUO服务器部署模型时，需要修改权重目录下的config.json文件，“torch_dtype"字段改为"float16”
拉取镜像
docker load -i mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts(下载的镜像名称与标签)
新建容器
docker run -it --privileged -u root --net=host --ipc=host \
--name Deepseek--r1-qwq-32b \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /root/:/root/ \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash
打开配置文件
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
更改配置文件
{
...
"ServerConfig" :
{
...
"port" : 1040, #自定义
"managementPort" : 1041, #自定义
"metricsPort" : 1042, #自定义
...
"httpsEnabled" : false,
...
},
"BackendConfig": {
...
"npuDeviceIds" : [[0,1,2,3]], //四张卡得改到7
...
"ModelDeployConfig":
{
"truncation" : false,
"ModelConfig" : [
{
...
"modelName" : "qwen2",
"modelWeightPath" : "/data/datasets/QwQ-32B",
"worldSize" : 4, //四张卡是8
...
}
]
},
}
}
给模型权重目录下的config.json权限
拉起服务化
cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon
成功
测试接口并修改回答参数
curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{
"model": "DeepSeek-R1-qwq-32b",
"messages": [{
"role": "system",
"content": "你好，请背诵蜀道难"
}],
"max_tokens": 1024
}' 127.0.0.1:1025/v1/chat/completions
测试没问题，我更改一下回答参数
连接openwebui
这次的qwen2相比之前qwen1强太多了，回答很有深度，理解也很到位，推理确实比之前强
连接dify
没问题哈