服务器操作指北(13)CUDA、NCCL 维护与 K3s GPU、RDMA 调度
创建于 2026-11-15
更新于 2026-11-16
科技
ubuntu
k3s
rdma
cuda
nvidia
12736 字 · 约 43 分钟

前言

实验室服务器升级到 Ubuntu 26.04 后,继续检查了显卡驱动和 CUDA 环境。三台机器的驱动小版本不同,原来的 CUDA 12.6 在新系统上编译程序时又遇到了头文件冲突,因此把驱动、CUDA 和 NCCL 一起进行了统一。

这几台服务器都有 Tesla T4 和 InfiniBand 网卡,除了确认单机 CUDA 能运行,还需要检查 GPU 之间的跨机通信。此前 K3s 只管理普通容器,没有分配 GPU 和 RDMA 设备,这次也一并接入,后续计算任务可以通过资源声明申请设备。

系统升级过程见 服务器操作指北(12)Ubuntu 26.04 升级与 FreeIPA、K3s、远程桌面适配。本篇记录升级后的计算环境维护,以及接入 K3s 时遇到的几个问题。

一、环境与版本

三台主机均为 Ubuntu 26.04.1,每台有两张 Tesla T4、一块 ConnectX-3,使用系统自带的 mlx4 驱动。InfiniBand 端口以 56 Gb/s 连接。K3s 采用单控制节点,控制节点同时运行有本地数据卷的业务,另外两台为工作节点。

下文以 host-a、host-b、host-c 表示三台主机,节点名称为 host-a.lab.example.com 等,IPoIB 网卡统一写作 ib0。这些都是示例,实际网卡名称用 ip -br address 和 ibstat 查询。宿主机操作在各节点执行,kubectl 命令在控制节点执行。

组件 维护后的版本
NVIDIA 驱动 615.71.09,开放内核模块
CUDA Toolkit 13.4.3,nvcc 13.4.92
NCCL 2.32.3,对应 CUDA 13.4
NVIDIA Container Toolkit 1.20.1
K3s v1.37.0+k3s1

T4 属于 Turing,计算能力为 7.5,仍在这次 CUDA 工具链的支持范围内。测试分别编译了 sm_75 原生代码和 compute_75 PTX,两种形式都在六张卡上完成计算和回读校验。

nvidia-smi 显示的 CUDA Version 是驱动支持的 CUDA 版本,不能用来判断安装了哪个 Toolkit。工具链检查需要同时看 nvcc --version 和 /usr/local/cuda 的实际指向。项目自己的 Conda、PyTorch 等环境还可能携带另一套运行库,本次没有修改这些用户环境。

二、驱动与 CUDA

2.1 安装准备

驱动更新涉及内核模块,需要重启。先检查用户会话、GPU 和计算任务,安排维护窗口;本次按 host-c、host-b、host-a 的顺序处理,每台恢复后再继续。控制节点上的业务和数据备份沿用系统升级时的安排,不通过强制排空把本地卷业务迁到其他机器。

在目标节点保存软件包和源配置,备份目录仅允许管理员访问:

bash
1
2
3
4
5
6
7
8
9
nvidia-smi nvcc --version readlink -f /usr/local/cuda who sudo install -d -m 700 /root/cuda-maintenance sudo sh -c 'dpkg-query -W > /root/cuda-maintenance/packages-before.txt' sudo cp -a /etc/apt /root/cuda-maintenance/apt-before sudo apt update sudo apt install build-essential dkms linux-headers-$(uname -r) ca-certificates curl

备份命令按首次维护执行,已有同名目录时另选目录,避免把不同时间的配置混在一起。保留旧内核和旧 Toolkit,确认新环境可用前不执行 autoremove。

2.2 NVIDIA 软件源

使用 NVIDIA 为 Ubuntu 26.04 提供的软件源,安装官方 keyring:

bash
1
2
3
4
5
curl -fL https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb \ -o /tmp/cuda-keyring.deb sudo dpkg -i /tmp/cuda-keyring.deb sudo apt update apt-cache policy nvidia-driver-615-open cuda-toolkit-13-4

keyring 包会创建对应源文件,不需要再手工添加一份相同的源。本次旧 keyring 缺少新的仓库签名密钥,更新 keyring 后恢复;没有关闭 APT 签名校验。若已有手工添加的 CUDA 源,先检查是否重复。

2.3 驱动包冲突

旧环境采用 NVIDIA 仓库的 R580 驱动,新驱动使用 Ubuntu 的 nvidia-driver-615-open。切换时遇到了 EGL 文件重复:旧包把 xcb、xlib 部分拆成独立包,新包则将这些文件包含在 libnvidia-gl-615 中。

以下是本次旧包组合对应的处理。先模拟删除,确认只影响旧 NVIDIA 驱动组件,再执行;其他机器应按自己的包清单调整,尤其不能直接照搬版本号删除现有桌面依赖。

bash
1
2
3
4
sudo apt-get -s remove cuda-drivers-580 nvidia-driver-pinning-580 \ libnvidia-gl-580:amd64 libnvidia-gl-580:i386 \ libnvidia-egl-xcb1:amd64 libnvidia-egl-xcb1:i386 \ libnvidia-egl-xlib1:amd64 libnvidia-egl-xlib1:i386

确认模拟结果后,再执行实际删除和安装。删除旧驱动后保持 SSH 或控制台连接,完成新驱动安装前不要重启:

bash
1
2
3
4
5
6
7
sudo apt-get remove cuda-drivers-580 nvidia-driver-pinning-580 \ libnvidia-gl-580:amd64 libnvidia-gl-580:i386 \ libnvidia-egl-xcb1:amd64 libnvidia-egl-xcb1:i386 \ libnvidia-egl-xlib1:amd64 libnvidia-egl-xlib1:i386 sudo apt install nvidia-driver-615-open sudo dpkg --audit dkms status

第一台机器已经进入安装中断状态,当时旧 GL 包已被移除,处理剩余四个冲突的 EGL 包后,再执行 sudo apt-get --fix-broken install 才完成安装。后两台先处理旧包,再装新驱动。没有使用 --force-overwrite 掩盖文件归属冲突。

安装前以 apt-cache policy nvidia-driver-615-open 确认候选包来源及版本;本文记录的是当时 Ubuntu 仓库的 615.71.09,后续同一包名可能已有更新。若 APT 模拟安装还会替换其他驱动分支,先检查 /etc/apt/preferences.d/ 中的旧 pin。

DKMS 会为保留的多个内核构建模块,安装耗时较长。需要等包管理和模块构建完成,再安排重启。

2.4 Toolkit 与默认版本

旧 CUDA 12.6 在新系统的 glibc 头文件上出现 cospi、sinpi、rsqrt 等函数异常声明冲突。升级到 CUDA 13.4 后,简单 CUDA 内核能够正常编译。

bash
1
2
3
sudo apt install cuda-toolkit-13-4 update-alternatives --display cuda sudo update-alternatives --set cuda /usr/local/cuda-13.4

这里安装的是 Toolkit 包;驱动版本由上一节单独管理。机器上原来的 /usr/local/cuda-12.6 保留,需要旧版本的项目仍可显式指定路径。

统一登录环境使用的默认入口。已有同名文件时先备份并检查内容,再合并;项目若自行设置 CUDA 路径,应同步检查其环境,避免混用不同版本的编译器和运行库:

bash
1
2
3
4
sudo tee /etc/profile.d/cuda.sh >/dev/null <<'EOF' export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH} EOF

完成安装后重启当前节点,重新登录检查:

bash
1
sudo reboot
bash
1
2
3
4
5
6
nvidia-smi cat /proc/driver/nvidia/version nvcc --version readlink -f /usr/local/cuda sudo dpkg --audit systemctl --failed

仅升级磁盘上的驱动包不会替换已加载的内核模块,因此重启前后都要看驱动版本。控制节点还需要检查 sudo k3s kubectl get nodes、业务 Pod 和数据盘挂载。

三、NCCL 与 RDMA

3.1 NCCL 版本统一

CUDA 编译通过后,跨机通信测试又发现 NCCL 版本不一致:两台为 2.31.2+cuda13.4,另一台为 2.32.6+cuda13.5。最终统一为仓库中与 CUDA 13.4 配套的 2.32.3。

在三台主机分别执行:

bash
1
2
3
4
5
6
7
8
9
apt-cache policy libnccl2 libnccl-dev sudo apt-get install --allow-downgrades \ libnccl2=2.32.3-1+cuda13.4 libnccl-dev=2.32.3-1+cuda13.4 sudo tee /etc/apt/preferences.d/nccl-cuda13-4 >/dev/null <<'EOF' Package: libnccl2 libnccl-dev Pin: version 2.32.3-1+cuda13.4 Pin-Priority: 1001 EOF dpkg-query -W libnccl2 libnccl-dev

--allow-downgrades 用于版本较高的那台节点。固定版本是为了避免三台各自更新后再次分叉;后续升级 NCCL 时,应一起调整 pin、任务镜像和验证环境。

3.2 锁页内存

RDMA 注册主机内存时,需要将相应页面锁定,避免被换出。普通 SSH 会话原来的 memlock 上限只有 8 MiB,NCCL 初始化缓冲区时出现:

text
1
ibv_reg_mr_iova2 failed with error Cannot allocate memory

这个错误不能直接按“物理内存不足”处理。先检查 ulimit -Sl 和 ulimit -Hl。本次将普通登录会话的软、硬上限统一为 1 GiB,配置值以 KiB 为单位:

bash
1
2
3
4
5
6
sudo tee /etc/security/limits.d/99-rdma-memlock.conf >/dev/null <<'EOF' * soft memlock 1048576 * hard memlock 1048576 root soft memlock 1048576 root hard memlock 1048576 EOF

关闭旧 SSH 会话后重新连接,再运行 ulimit -Sl、ulimit -Hl,两项应为 1048576。这不是提前分配 1 GiB 内存,也不是整个账号所有进程合计的配额。若没有生效,检查登录链路是否通过 PAM 加载 pam_limits.so,不要只修改当前 Shell 的软限制。

3.3 主机内存通信

安装测试工具,确认 HCA 名称、端口状态和 IPoIB 地址:

bash
1
2
3
4
sudo apt install perftest infiniband-diags ibverbs-utils ibstat ibv_devices ip -br address

两台机器之间测试,服务端先启动,客户端再连接。下面的 $PEER_IB_IP 替换成服务端 IPoIB 地址,测试端口仅用于相互可达的内网。

bash
1
2
# 服务端 ib_write_bw -p 19451 -s 65536 -n 1000 --report_gbits
bash
1
2
3
# 客户端 PEER_IB_IP=YOUR_PEER_IB_IP ib_write_bw -p 19451 -s 65536 -n 1000 --report_gbits "$PEER_IB_IP"

将两端命令同时改为 ib_read_bw、ib_send_bw,分别测试 Read 和 Send/Receive;一次结束后再开始下一项。三对节点的短时测试结果如下,单位为 Gb/s:

节点对 Write Read Send/Receive
host-a — host-b 49.98 50.07 48.78
host-a — host-c 50.03 48.93 48.92
host-b — host-c 49.10 47.41 47.24

这些是 64 KiB、1000 次传输的连通性测试,不是持续压力测试。主机内存 RDMA 正常,只能说明网卡可以操作已注册的 RAM,GPU 显存还要单独验证。

3.4 GPU 通信路径

本次 CUDA 显存直接注册为 RDMA MR 失败,DMA-BUF 能导出,但 mlx4 的 ibv_reg_dmabuf_mr 返回 Operation not supported。nvidia-peermem 也因为当前内核缺少所需的 PeerDirect 接口而无法加载。

ConnectX-3 历史上可以搭配旧 OFED 实现 GPUDirect,但本次 Ubuntu 26.04、系统 mlx4 与新驱动的组合不能直接沿用。没有为了这个功能安装旧 OFED 或修改内核。当前验证通过的 NCCL 路径为:

text
1
本机 GPU 显存 → 本机 RAM → InfiniBand → 对端 RAM → 对端 GPU 显存

因此,现有硬件仍可用于多机 GPU 通信,但数据经过主机内存中转。NCCL 测试显式设置 NCCL_NET=IB,确保没有退回 Socket 数据传输;NCCL_NET_GDR_LEVEL=LOC 禁用当前不可用的 GPUDirect。具体测试放在后面的容器验收中。

另外,控制节点上运行 OpenSM 并不意味着其他节点的数据要经它中转。OpenSM 负责管理 IB 子网。本次重启控制节点时,备用节点确实接任了 Master,但切换过程中出现过超时和一次建连失败,收敛后复测正常,不能按无缝切换安排计算任务。

四、K3s 设备调度

4.1 容器运行时

原来的集群虽然有 nvidia RuntimeClass,却没有 NVIDIA Container Toolkit 和 GPU device plugin。仅看到 RuntimeClass 名称,不能证明容器已经可以申请显卡。

三台主机分别安装工具包:

bash
1
2
sudo apt install nvidia-container-toolkit=1.20.1-1 nvidia-container-runtime --version

K3s 服务另行配置锁页限制,不依赖 SSH 的 PAM 配置。工作节点使用 k3s-agent,控制节点使用 k3s:

bash
1
2
3
4
5
6
7
8
9
10
# 工作节点;控制节点改成 unit=k3s unit=k3s-agent sudo mkdir -p "/etc/systemd/system/$unit.service.d" sudo tee "/etc/systemd/system/$unit.service.d/30-rdma-memlock.conf" >/dev/null <<'EOF' [Service] LimitMEMLOCK=infinity EOF sudo systemctl daemon-reload sudo systemctl restart "$unit" systemctl show "$unit" -p LimitMEMLOCK

服务重启逐台执行,确认节点重新 Ready 后继续,控制节点放在最后。K3s 会自动发现 nvidia-container-runtime 并生成配置,不要直接编辑自动生成的 config.toml。检查生成文件中是否有 nvidia runtime 及 /usr/bin/nvidia-container-runtime:

bash
1
sudo grep -A6 nvidia /var/lib/rancher/k3s/agent/etc/containerd/config.toml

K3s 服务的锁页上限放开后,计算 Pod 仍需设置内存资源限额。本文任务模板只为需要锁页的计算容器增加 IPC_LOCK,没有将业务容器设为 privileged。

4.2 设备插件

GPU 使用 NVIDIA device plugin v0.20.1,RDMA 使用 shared device plugin v1.5.4。驱动仍由宿主机 APT 管理,没有再引入 GPU Operator 接管驱动。

完整部署文件:设备插件配置。附件使用 .txt 后缀避免被博客引擎解析,下载后重命名为 devices.yaml,放在控制节点。先检查其中的网卡和选择条件:

json
1
2
3
4
5
6
7
8
9
10
{ "resourceName": "ib", "resourcePrefix": "rdma", "rdmaHcaMax": 2, "selectors": { "vendors": ["15b3"], "deviceIDs": ["1003"], "ifNames": ["ib0"] } }

15b3:1003 对应这批 ConnectX-3;ifNames 是 IPoIB 网络接口名称,不能填成 HCA 名称。rdmaHcaMax: 2 表示每台允许分配两个共享使用名额,不会生成两块网卡,也不保证每个任务获得一半带宽。

附件还配置了 NVIDIA runtime、设备插件挂载目录,以及控制节点 dedicated=control:NoSchedule 污点的 toleration。RDMA 插件自身采用官方模板的 privileged 和设备目录挂载,这是节点级插件权限;计算任务不需要照抄。

在控制节点给三台目标节点加标签,然后应用:

bash
1
2
3
4
5
6
7
sudo k3s kubectl label nodes \ host-a.lab.example.com host-b.lab.example.com host-c.lab.example.com \ lab.example.com/accelerator=true --overwrite sudo k3s kubectl apply -f devices.yaml sudo k3s kubectl rollout status daemonset/nvidia-device-plugin-daemonset -n kube-system sudo k3s kubectl rollout status daemonset/rdma-shared-dp-ds -n kube-system sudo k3s kubectl describe nodes

三台节点的 Capacity、Allocatable 中都应出现 nvidia.com/gpu: 2 和 rdma/ib: 2。这时调度器才能根据任务申请分配设备。

五、容器通信验证

5.1 测试镜像

为了让测试不依赖宿主机临时库,把固定版本的 NCCL、CUDA 运行库、verbs 和 mlx4 provider 放进同一个镜像。

下载 测试源码 和 Dockerfile 到同一构建目录。下面命令都在该目录执行,保留文件名 nccl-check.cu、Dockerfile。程序执行两个进程的 AllReduce,每端输入分别为 1 和 2,检查 1,048,576 个 float 的结果是否全部为 3。它用于结果校验,没有计时和训练吞吐测试。

在已安装 Toolkit 的节点构建,Docker 仅用于生成镜像,运行仍由 K3s 的 containerd 负责:

bash
1
2
3
4
5
6
/usr/local/cuda/bin/nvcc -arch=sm_75 nccl-check.cu -lnccl -o nccl-check curl -fL https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb \ -o cuda-keyring.deb sudo docker build -t lab/rdma-gpu-check:20261115 . sudo docker save lab/rdma-gpu-check:20261115 -o rdma-gpu-check.tar sudo k3s ctr images import rdma-gpu-check.tar

镜像归档通常由 root 创建。先让执行复制的管理员可读,再传到其余节点;下例假定 SSH 已配置好这两台的登录方式:

bash
1
2
3
4
5
sudo chown "$(id -u):$(id -g)" rdma-gpu-check.tar scp rdma-gpu-check.tar host-b:/tmp/rdma-gpu-check.tar scp rdma-gpu-check.tar host-c:/tmp/rdma-gpu-check.tar ssh host-b 'sudo k3s ctr images import /tmp/rdma-gpu-check.tar' ssh host-c 'sudo k3s ctr images import /tmp/rdma-gpu-check.tar'

这里没有使用远程镜像仓库,所以测试 Pod 设置 imagePullPolicy: Never;每个目标节点必须先导入同一份镜像。构建工具 Docker 需已安装,服务器只用 containerd 时也可以在另一台有 Docker、相同 CPU 架构且具备本文 CUDA/NCCL 编译环境的机器构建,再导入。

镜像构建时先安装 ca-certificates,再访问 NVIDIA 的 HTTPS 软件源。基础镜像缺少 CA 时会发生证书校验失败,不能用关闭 TLS 校验的方式处理。

5.2 测试 Pod

将下面内容保存为 gpu-rdma-test.yaml。示例先在 host-b 创建一个测试 Pod,另复制一份,将名称和节点改为 gpu-rdma-c、host-c.lab.example.com。两端分别申请两张 GPU 和一个 RDMA 名额。

yaml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
apiVersion: v1 kind: Pod metadata: name: gpu-rdma-b spec: runtimeClassName: nvidia nodeSelector: kubernetes.io/hostname: host-b.lab.example.com hostNetwork: true dnsPolicy: ClusterFirstWithHostNet automountServiceAccountToken: false restartPolicy: Never containers: - name: check image: docker.io/lab/rdma-gpu-check:20261115 imagePullPolicy: Never securityContext: allowPrivilegeEscalation: false capabilities: drop: [ALL] add: [IPC_LOCK] resources: requests: cpu: 100m memory: 256Mi limits: cpu: '2' memory: 2Gi nvidia.com/gpu: 2 rdma/ib: 1 volumeMounts: - name: shm mountPath: /dev/shm volumes: - name: shm emptyDir: medium: Memory sizeLimit: 1Gi

这是受信任的实验室任务,使用 hostNetwork 让程序看到宿主机的 IPoIB 网络。它共享宿主机网络边界,不适用于需要严格网络隔离的租户。需要独立 Pod 地址时再考虑 Multus/IPoIB,原有业务 CNI 无需替换。

默认 /dev/shm 只有 64 MiB,首次容器测试在创建约 65 MiB 的 NCCL 共享缓冲区时失败。这里挂载 1 GiB 的 memory emptyDir,实际使用量计入 Pod 内存限制。即使显卡和网卡都已注入,这项配置遗漏仍会导致通信失败。

bash
1
2
3
4
5
6
7
sudo k3s kubectl create namespace accelerator-test sudo k3s kubectl apply -n accelerator-test -f gpu-rdma-test.yaml # 另一份保存为 gpu-rdma-test-c.yaml sudo k3s kubectl apply -n accelerator-test -f gpu-rdma-test-c.yaml sudo k3s kubectl wait -n accelerator-test --for=condition=Ready pod --all --timeout=120s sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- nvidia-smi -L sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- ls /dev/infiniband

使用控制节点的 GPU 时,另建对应 Pod,并在 spec 下加入与实际污点匹配的配置:

yaml
1
2
3
4
5
tolerations: - key: dedicated operator: Equal value: control effect: NoSchedule

保留原有污点,可以避免普通计算任务无意间进入承载主要业务的控制节点。三节点测试时依次选择不同的两个 Pod 运行下一节命令,其他测试 Pod 只等待,不启动计算。

5.3 AllReduce

在控制节点打开两个终端。每轮开始前,确认上一轮的两端进程都已退出,再清除旧通信 ID,避免第二个终端读到上次测试留下的文件:

bash
1
2
sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- rm -f /tmp/nccl-test.id sudo k3s kubectl exec -n accelerator-test gpu-rdma-c -- rm -f /tmp/nccl-test.id

第一个终端启动 rank 0,程序写出通信 ID 后等待另一端连接。网卡名按实际替换:

bash
1
2
3
4
sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- \ timeout 120 env NCCL_DEBUG=INFO NCCL_NET=IB NCCL_IB_DISABLE=0 \ NCCL_NET_GDR_LEVEL=LOC NCCL_SOCKET_IFNAME=ib0 \ nccl-check 0 /tmp/nccl-test.id 0

第二个终端先确认通信 ID 已写出,再复制到另一端并启动 rank 1。必须保持 rank 0 进程运行,不能单独生成 ID 后退出;如果启动失败,先处理第一端日志,再重新开始两端测试:

bash
1
2
3
4
5
6
7
8
9
10
11
# 若文件尚未生成,等待第一端初始化后重试,不继续执行复制 sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- test -s /tmp/nccl-test.id # 上一条成功后再执行;管道任一端失败则不要启动 rank 1 set -o pipefail sudo k3s kubectl exec -n accelerator-test gpu-rdma-b -- cat /tmp/nccl-test.id | \ sudo k3s kubectl exec -i -n accelerator-test gpu-rdma-c -- \ sh -c 'cat > /tmp/nccl-test.id' sudo k3s kubectl exec -n accelerator-test gpu-rdma-c -- \ timeout 120 env NCCL_DEBUG=INFO NCCL_NET=IB NCCL_IB_DISABLE=0 \ NCCL_NET_GDR_LEVEL=LOC NCCL_SOCKET_IFNAME=ib0 \ nccl-check 1 /tmp/nccl-test.id 0

命令最后一个 0 是容器内 GPU 编号,改为 1 后重新启动两端,测试第二张卡。日志应同时出现 Using network IB 和 ALLREDUCE_PASS。NCCL 的启动协调仍会使用 Socket,判断数据通路要看 NET/IB,不能因为日志里出现 Socket 就认定没有使用 RDMA。

本次三对节点、两组 GPU 共六组 AllReduce 全部通过。全部显卡被测试 Pod 占用时,额外申请 GPU 的 Pod 因 Insufficient nvidia.com/gpu 进入等待,调度器没有重复分配设备。

测试结束后删除专门创建的测试命名空间,释放设备:

bash
1
2
3
sudo k3s kubectl delete namespace accelerator-test sudo k3s kubectl get nodes sudo k3s kubectl get pods -A

六、使用与维护

后续计算任务可以同时申请 nvidia.com/gpu 和 rdma/ib。镜像中仍需提供匹配的 CUDA、NCCL 和应用环境;设备插件不会把普通程序自动改成分布式程序,多节点任务还需要自己的进程启动和同步方式。

当前按整卡分配,没有启用时间切片。直接在宿主机通过 SSH 启动的 GPU 进程不受 K3s 调度器管理,因此任务入口需要逐步统一,否则仍可能与容器占用同一张卡。RDMA 共享名额同样不提供硬件级带宽隔离。

后续升级时,分别检查驱动、Toolkit、NCCL、容器运行时和镜像版本,不能只看 nvidia-smi。本次普通 CUDA、主机内存 RDMA、Pod 内 NCCL 分别验证后,再检查了原有业务的内外网访问,未发现维护引入的访问异常。

如果需要撤销设备调度,先停止使用设备的任务,再执行 sudo k3s kubectl delete -f devices.yaml。撤销锁页策略时删除本次新增的 limits 文件和对应 systemd drop-in,执行 systemctl daemon-reload,逐台重启 K3s 服务并重新登录。删除 NCCL pin 只恢复 APT 的版本选择,不会自动恢复旧库。驱动回退需要按备份的包清单和可用版本处理,不能把 /usr/local/cuda 链接改回旧目录就视为驱动已经回退。

参考

手机扫码阅读
本文作者: 有次元袋的 tiger
本文链接: https://www.superheaoz.top/2026/11/52784/
版权声明: 本站点所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 我的个人天地!