服务器K8s集群GPU利用率监控排错！gpu服务器对比→

本文目录一览：

• 1、聊聊GPU利用率那些事
• 2、马哥教育|2023年再不会K8S,就要被淘汰了
• 3、K8S集群下的GPU调度

聊聊GPU利用率那些事

1、GPU利用率是反馈GPU上各种资源繁忙程度的指标。

2、优化IO：绕过CPU，在GPU显存、网络和存储中直接实现IO。

3、GPU直通架构：整块显卡独占分配给一个虚拟机。性能：接近100%原生性能。

4、动态缓存：M3 GPU新引入了Dynamic Caching技术，可以根据实际需求动态调整局部内存使用，提升GPU平均利用率。硬件加速光线追踪和网格着色：这些新特性使得M3在图形处理方面有了更强大的能力。NPU算力 M1：NPU算力为11TOPS。M2：NPU算力提升到18TOPS。

5、尽管GPU起源于图像处理，但随着技术进步，现在GPU已扩展到深度学习、科学计算等多个领域，它们在并行计算任务中的优势日益显著。相比之下，CPU更擅长于单独处理复杂逻辑和不同数据类型，但在大规模并行计算场景中，GPU往往是更好的选择。总结来说，GPU和CPU各有侧重，选择使用哪一种取决于具体的应用需求。

6、M3在媒体引擎方面，AV1解码能力的加入使其在视频处理上更为强大，内存支持也有所增强，最高可达24GB。新增的动态缓存技术使得GPU性能利用更高效。对于AI计算，M3的NPU性能提升显著，适用于各种AI应用。

马哥教育|2023年再不会K8S,就要被淘汰了

1、掌握其核心概念、安装配置及实际应用场景对技术从业者至关重要，尤其在云原生时代背景下，K8S已成为企业级容器化部署的必备技能。Kubernetes的核心价值与挑战核心优势 高可用性：通过自动容错、健康检查和滚动更新机制，确保应用持续运行。例如，当某个节点故障时，K8S会自动将Pod迁移至健康节点。

2、这几年一直学习马哥教育的课程，报了Linux架构、K8s等，薪资涨到15K，在成都算是不错薪资。

3、技术基础不足：虽有计算机专业背景，但仅掌握基础Linux知识，无法满足岗位需求。

4、他的经验分享给职场人士的建议是：持续学习，关注行业动态，比如K8S和微服务；扩展知识体系，成为多面手并专精一项技能；同时，利用马哥教育等平台，如Python或Golang等云原生语言课程，适应未来技术发展。蔡同学的经历证明，只要有决心和正确的学习路径，即使是职场小透明也能实现显著的职业提升。

5、进阶技能：深入学习系统性能调优（CPU/内存/磁盘优化）、服务部署（MySQL高可用、Redis集群）、容器化（Docker/K8s）和自动化运维（Ansible/Puppet），提升技术深度。参与项目实践：通过马哥教育提供的实战项目（如企业级环境搭建、故障排查演练），积累真实场景经验，同时参加技术分享会拓展视野。

K8S集群下的GPU调度

1、在人工智能领域，GPU资源对于各种机器学习、训练任务至关重要。本文将详细介绍如何在Kubernetes（K8S）集群环境下，实现POD访问并利用Node上的GPU资源。首先，Kubernetes本身支持设备插件（Device Plugin）功能，这使得Pod能够访问如GPU等特殊硬件资源。借助这一特性，K8S用户能更灵活地利用集群中的GPU资源。

2、阿里云gpushare-scheduler-extender：通过修改k8s调度器，实现GPU显存和计算资源的细粒度分配（如按MB划分显存），支持多Pod共享单卡且互不干扰。NVIDIA MIG（Multi-Instance GPU）：若硬件支持（如A100/A30显卡），可将单卡划分为多个独立实例，每个实例拥有专属显存和计算核心，但需内核驱动和CUDA版本支持。

3、微服务架构：AI微服务可与其他服务共享GPU，提升资源复用率。异构训练：自动匹配不同品牌GPU，优化多卡训练效率。实施建议评估业务场景：优先在推理、微服务等轻量级任务中部署HAMi，训练任务可逐步迁移。分阶段落地：试点阶段：选择1-2个K8s集群部署HAMi，验证虚拟化与调度效果。

4、如K8S上的计算设备共享、需要为pod分配特定的设备内容、需要在具有多个GPU节点的集群中平衡GPU的使用情况等。特别是在教学场景和云平台中，HMAI能够提供小型GPU实例，满足多名学生或用户的使用需求。综上所述，HMAI k8s官方提供的GPU虚拟组件适配多型号多厂商，具有广泛的兼容性和丰富的功能特点。