K8sPod异常排查！k8s节点notready排查？

本文目录一览：

• 1、K8S问题排查-UDP频繁发包导致Pod重启后无法接收数据
• 2、一次意想不到的pod内存驱逐问题
• 3、当K8s出现问题时,我们可以从哪些方面排查出
• 4、Kubernetes组件问题排查的一些方法

K8S问题排查-UDP频繁发包导致Pod重启后无法接收数据

首先，构建K8S集群，部署UDP服务并用nc命令模拟客户端频繁发送UDP请求。网络分析显示请求正常到达目标Pod和节点，但Pod重启后接收中断。通过删除Pod构造重启，发现在Pod重启后，流量未按预期到达Pod，而是节点IP。使用iptables跟踪请求路径，发现流量未经过预期路径，而是进入INPUT链，指向DNAT问题。

原因： conntrack表项问题：在K8S环境中，通过NodePort暴露的UDP服务在接收到频繁请求时，由于UDP conntrack表项默认老化时间为30秒，频繁请求可能导致老化失效。当Pod重启后，conntrack表中记录的可能是节点IP而非Pod IP，导致后续请求被错误地转发到节点IP而非新的Pod IP。

节点故障 节点网络故障：节点的网络设备出现问题，如网卡损坏、网线松动等，会导致该节点上的Pod无法与外界或其他节点上的Pod通信。例如，节点的物理网卡故障，会使节点无法接收和发送网络数据包，从而影响其上Pod的网络连接。

原因：批处理任务（Job）因资源不足或节点故障未完成。监控意义：避免数据不一致或后续任务失败，需重试或排查资源问题。Persistent Volume Failures 原因：持久卷（PV）回收或绑定失败，影响数据持久性。监控意义：确保存储可用性，防止数据丢失或应用无法读写。

一次意想不到的pod内存驱逐问题

1、答案：此次Pod驱逐问题的原因是K8S集群中的kubelet服务未正确识别到节点内存扩容后的新配额，导致在内存使用达到原配额上限时触发了Pod驱逐。详细分析：案发现场：客户反馈门户网站无法打开，多个Pod状态为Evicted（驱逐）。

2、Kubernetes OOM（内存不足）问题 Pod 中的每个容器都需要内存才能运行。

3、诊断OOMKilled错误时，可以查询Pod对应的宿主机日志。常见原因包括已达到容器内存限制（可能是由于内存限制设置不当或应用程序遇到内存泄漏），节点过载（Pod使用的总内存大于可用的总节点内存），以及在调整内存请求和限制时考虑优先级顺序。

4、节点资源不足：所在节点本身的内存资源有限，多个Pod竞争内存资源时可能导致某些Pod内存占用过高。可以查看节点的内存使用情况，是否有其他资源消耗大户。如果是节点资源不足，可以考虑增加节点，或者对Pod进行合理的资源调配，将内存需求较大的Pod分配到内存资源更充足的节点上。

当K8s出现问题时,我们可以从哪些方面排查出

1、建议优先检查集群状态和事件日志，再聚焦具体POD或Service的配置与运行状态。

2、当Kubernetes（K8s）集群出现问题时，系统的稳定性和应用程序的可用性可能会受到影响。

3、K8s跨节点的网络问题可能由多种因素引起，需要从基础网络连通性、网络插件配置、路由表、ARP表项以及特定网络插件的排查等多个方面进行综合考虑和解决。确认基础网络连通性：确保节点间通过主机IP可以互相通信：使用ping命令检查节点间的连通性，同时检查TCP端口（如8472端口）的连通性，确保没有网络阻塞。

4、在此阶段，系统会进行容器创建操作。一旦所有容器启动并运行，pod状态将从“ContainerCreating”转变为“Running”。常见导致pod长时间处于“ContainerCreating”状态的原因包括镜像拉取问题、资源不足、持久卷问题、网络问题以及安全上下文或Docker/运行时问题。

5、Kubernetes（k8s）运维中常见的问题有很多。资源分配与调度问题 资源不足导致应用故障：当k8s集群中资源分配不合理，比如CPU、内存等资源不足时，运行的应用可能会出现性能下降甚至崩溃。例如，某个高负载的应用由于分配的内存不足，频繁出现OOM（Out Of Memory）错误，导致服务不可用。

Kubernetes组件问题排查的一些方法

依赖服务：检查组件是否依赖外部服务（如etcd、数据库）K8sPod异常排查，确认依赖服务是否健康。

首先K8sPod异常排查，推荐一篇全面K8sPod异常排查的教程贴，该贴由一位资深开发者撰写，详细介绍K8sPod异常排查了使用Kubeadm（版本13+）快速搭建Kubernetes集群的方法。在构建集群环境的过程中，面临的是一个既普遍又棘手的问题：建立起来的pod出现CrashLoopBackOff的问题，其中特别提到coreDNS组件在构建过程中频繁出现此类故障。

在K8S（kubernetes）中查看日志是运维过程中诊断问题的重要手段，以下是具体方法：查看集群事件 使用kubectl get events命令可查看集群内发生的事件，包括资源创建、调度、异常等关键信息，帮助快速定位问题范围。

Kubernetes在生产环境中的主要挑战包括掌握复杂性、加强安全性、扩展与资源管理、更新与维护以及监控与故障诊断，可通过实施最佳实践如非Root权限运行容器、RBAC策略配置、全面测试、滚动升级等技巧应对。

在调整小猫K8（通常指的是Kubernetes，简称K8s）时，需要考虑多个方面来确保其稳定运行和高效性。以下是一些关键步骤和技巧： **检查集群状态**：首先，使用`kubectl get nodes`和`kubectl get pods --all-namespaces`等命令来查看节点和Pod的状态，确保所有组件都在正常运行。

打开该文件，检查 [Service] 部分下的 ExecStart= 行，查看是否包含了 --network-plugin 标志。移除或更新标志：如果找到了 --network-plugin，需要将其移除，因为 Kubernetes 的新版本可能不再支持这个标志。Kubernetes 的网络插件配置通常通过其K8sPod异常排查他方式实现，如使用 CNI（Container Network Interface）插件。