背景: 继上次metax c500上跑了deepseek 70b蒸馏模型后,遇到一个新任务,要将卡切分为vgpu模式,也就是metax 的 VF模式,看了资料似乎很简单。 安装metax 的 gpu operator ,然后修改driver-config 的 ConfigMap 即可,实际上,这里又卡了我一天。
背景: 继上次metax c500上跑了deepseek 70b蒸馏模型后,遇到一个新任务,要将卡切分为vgpu模式,也就是metax 的 VF模式,看了资料似乎很简单。 安装metax 的 gpu operator ,然后修改driver-config 的 ConfigMap 即可,实际上,这里又卡了我一天。
沐曦cx 500 部署 DeepSeek-R1-Llama-70B 模型不完全实验记录,4卡效果也还不错,8卡提升很明显。