服务器K8s集群GPU监控排错！服务器GPU？

本文目录一览：

• 1、马哥教育|2023年再不会K8S,就要被淘汰了
• 2、首次投运智算中心GPU集群前要做哪些调试和空载试验?
• 3、聊聊GPU利用率那些事
• 4、K8S集群下的GPU调度

马哥教育|2023年再不会K8S,就要被淘汰了

掌握其核心概念、安装配置及实际应用场景对技术从业者至关重要，尤其在云原生时代背景下，K8S已成为企业级容器化部署的必备技能。Kubernetes的核心价值与挑战核心优势 高可用性：通过自动容错、健康检查和滚动更新机制，确保应用持续运行。例如，当某个节点故障时，K8S会自动将Pod迁移至健康节点。

技术基础不足：虽有计算机专业背景，但仅掌握基础Linux知识，无法满足岗位需求。

这几年一直学习马哥教育的课程，报了Linux架构、K8s等，薪资涨到15K，在成都算是不错薪资。

进阶技能：深入学习系统性能调优（CPU/内存/磁盘优化）、服务部署（MySQL高可用、Redis集群）、容器化（Docker/K8s）和自动化运维（Ansible/Puppet），提升技术深度。参与项目实践：通过马哥教育提供的实战项目（如企业级环境搭建、故障排查演练），积累真实场景经验，同时参加技术分享会拓展视野。

他的经验分享给职场人士的建议是：持续学习，关注行业动态，比如K8S和微服务；扩展知识体系，成为多面手并专精一项技能；同时，利用马哥教育等平台，如Python或Golang等云原生语言课程，适应未来技术发展。蔡同学的经历证明，只要有决心和正确的学习路径，即使是职场小透明也能实现显著的职业提升。

首次投运智算中心GPU集群前要做哪些调试和空载试验?

1、一）节点级硬件自检 通过IPMI登录节点，用nvidia-smi（NVIDIA GPU）或rocminfo（AMD GPU）查看：GPU核心/显存无告警、PCIe链路宽度符合标称、内存带宽正常；运行BIOS内置的硬件自检程序，确认无坏块、坏道等隐性故障。

2、智算中心算力调度调试的实用小技巧，核心是围绕「预排障降干扰→窄范围试点测→场景化锁阈值→工具化快闭环」四步，避开全量调试的冗余，快速定位并解决核心问题。

3、核心结论：智算中心基础设施调试的核心实用经验是按“电源-制冷-算力设备-监控”的优先级倒序预调，所有环节前置带电模拟+静态负载校验，避免大规模组网后故障。

4、首次投运智算中心制冷方案前，必须由持证制冷维护人员、电工完成三类核心工作后方可带载投运：系统完整性核验、分设备单机空载调试、联合系统空载循环试验。

聊聊GPU利用率那些事

GPU利用率是反馈GPU上各种资源繁忙程度的指标。

优化IO：绕过CPU，在GPU显存、网络和存储中直接实现IO。

GPU直通架构：整块显卡独占分配给一个虚拟机。性能：接近100%原生性能。

动态缓存：M3 GPU新引入了Dynamic Caching技术，可以根据实际需求动态调整局部内存使用，提升GPU平均利用率。硬件加速光线追踪和网格着色：这些新特性使得M3在图形处理方面有了更强大的能力。NPU算力 M1：NPU算力为11TOPS。M2：NPU算力提升到18TOPS。

K8S集群下的GPU调度

在人工智能领域，GPU资源对于各种机器学习、训练任务至关重要。本文将详细介绍如何在Kubernetes（K8S）集群环境下，实现POD访问并利用Node上的GPU资源。首先，Kubernetes本身支持设备插件（Device Plugin）功能，这使得Pod能够访问如GPU等特殊硬件资源。借助这一特性，K8S用户能更灵活地利用集群中的GPU资源。

微服务架构：AI微服务可与其他服务共享GPU，提升资源复用率。异构训练：自动匹配不同品牌GPU，优化多卡训练效率。实施建议评估业务场景：优先在推理、微服务等轻量级任务中部署HAMi，训练任务可逐步迁移。分阶段落地：试点阶段：选择1-2个K8s集群部署HAMi，验证虚拟化与调度效果。

阿里云gpushare-scheduler-extender：通过修改k8s调度器，实现GPU显存和计算资源的细粒度分配（如按MB划分显存），支持多Pod共享单卡且互不干扰。NVIDIA MIG（Multi-Instance GPU）：若硬件支持（如A100/A30显卡），可将单卡划分为多个独立实例，每个实例拥有专属显存和计算核心，但需内核驱动和CUDA版本支持。

在Kubernetes中，通过设备插件框架实现GPU资源的管理。NVIDIA提供了k8s-device-plugin用于Kubernetes环境下的GPU资源管理。为了支持时间分片，插件配置文件被扩展以支持多个资源副本，允许在同一GPU上调度多个工作负载。GPU Feature Discovery （GFD） 是一个用于自动发现集群中NVIDIA GPU硬件特性的工具。