check-kubeproxy-zombie.sh

#!/bin/bash
#
# check-kubeproxy-zombie.sh
#
# 用途:检测 10256(kube-proxy healthz 端口)是否被"僵尸进程"占用——
#       即端口的持有者不是当前 kube-proxy 容器管理的主进程。
#
# 部署:建议用 cron,每 1~2 分钟跑一次,每台 worker node 各部署一份。
#       crontab 示例(见文末)。
#
# 默认行为:只检测 + 告警,不自动 kill。确认安全后可打开 AUTO_KILL=true。

set -euo pipefail

# ========== 配置区 ==========
PORT=10256                                   # kube-proxy healthz 端口
CONTAINER_NAME_PATTERN="hyperkube|kube-proxy" # docker ps 中用于匹配 kube-proxy 容器的关键字
LOG_FILE="/var/log/kubeproxy-zombie-check.log"
AUTO_KILL=false                              # 是否自动 kill -9 僵尸进程,默认关闭
ALERT_WEBHOOK=""                             # 可选:Slack/企微/钉钉机器人 webhook,留空则只写日志
NODE_EXPORTER_TEXTFILE_DIR="/var/lib/node_exporter/textfile_collector" # 可选:给 Prometheus 用,没有就留空
# =============================

log() {
    echo "$(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"
}

alert() {
    local msg="$1"
    log "⚠️  ALERT: $msg"
    if [[ -n "$ALERT_WEBHOOK" ]]; then
        curl -s -X POST -H 'Content-Type: application/json' \
            -d "{\"text\": \"[$(hostname)] $msg\"}" \
            "$ALERT_WEBHOOK" > /dev/null || log "webhook 发送失败"
    fi
}

write_metric() {
    # 输出 Prometheus textfile 格式指标,方便接入现有监控(如你们的 Graphene/Boom)
    # kubeproxy_zombie_detected{node="xxx"} 1|0
    local value="$1"
    if [[ -n "$NODE_EXPORTER_TEXTFILE_DIR" && -d "$NODE_EXPORTER_TEXTFILE_DIR" ]]; then
        cat > "${NODE_EXPORTER_TEXTFILE_DIR}/kubeproxy_zombie.prom.tmp" <<EOF
# HELP kubeproxy_zombie_detected 1 if kube-proxy healthz port is held by an orphan process
# TYPE kubeproxy_zombie_detected gauge
kubeproxy_zombie_detected{node="$(hostname)"} ${value}
EOF
        mv "${NODE_EXPORTER_TEXTFILE_DIR}/kubeproxy_zombie.prom.tmp" \
           "${NODE_EXPORTER_TEXTFILE_DIR}/kubeproxy_zombie.prom"
    fi
}

# ---------- 处理函数:告警 / 自动清理(定义在调用之前,避免 bash 顺序执行找不到函数)----------
handle_zombie() {
    local zombie_pid="$1"
    local proc_info
    proc_info=$(ps -fp "$zombie_pid" 2>/dev/null || echo "进程信息获取失败,可能已经消失")
    log "僵尸进程详情:${proc_info}"

    if [[ "$AUTO_KILL" == "true" ]]; then
        log "AUTO_KILL 已开启,执行 kill -9 ${zombie_pid}"
        kill -9 "$zombie_pid" 2>/dev/null && log "已杀死 PID ${zombie_pid}" \
            || log "kill 失败,进程可能已消失"
    else
        log "AUTO_KILL 未开启,仅告警,需人工确认后执行:kill -9 ${zombie_pid}"
    fi
}

# ---------- Step 1: 找到当前占用 10256 端口的 PID ----------
# ss -tlpn 输出形如: LISTEN 0 128 0.0.0.0:10256 *:* users:(("kube-proxy",pid=12345,fd=7))
PORT_PID=$(ss -tlpn 2>/dev/null | grep ":${PORT} " | grep -oP 'pid=\K[0-9]+' | head -n1 || true)

if [[ -z "$PORT_PID" ]]; then
    log "端口 ${PORT} 当前无人监听(可能 kube-proxy 正在重启中,属正常瞬时状态)"
    write_metric 0
    exit 0
fi

# ---------- Step 2: 找到当前 docker 中正在运行的 kube-proxy 容器,及其真实主进程 PID ----------
CONTAINER_ID=$(docker ps --format '{{.ID}} {{.Names}}' 2>/dev/null \
    | grep -Ei "$CONTAINER_NAME_PATTERN" | awk '{print $1}' | head -n1 || true)

if [[ -z "$CONTAINER_ID" ]]; then
    # 端口有人占,但根本没有对应的 docker 容器在跑 —— 明确是孤儿进程
    alert "端口 ${PORT} 被 PID ${PORT_PID} 占用,但未找到对应的 kube-proxy 容器!疑似僵尸进程。"
    write_metric 1
    handle_zombie "$PORT_PID"
    exit 1
fi

CONTAINER_MAIN_PID=$(docker inspect --format '{{.State.Pid}}' "$CONTAINER_ID" 2>/dev/null || echo "")

# ---------- Step 3: 对比 ----------
if [[ "$PORT_PID" == "$CONTAINER_MAIN_PID" ]]; then
    log "正常:端口 ${PORT} 的 PID(${PORT_PID}) 与容器 ${CONTAINER_ID} 的主进程一致"
    write_metric 0
    exit 0
else
    alert "端口 ${PORT} 被 PID ${PORT_PID} 占用,但当前 kube-proxy 容器 ${CONTAINER_ID} 的主进程是 PID ${CONTAINER_MAIN_PID}。判定为僵尸进程!"
    write_metric 1
    handle_zombie "$PORT_PID"
    exit 1

fi 


好,逐句拆解,把 sh 语法的"隐藏规则"都点出来。

头部 & 全局设置

bash
#!/bin/bash

shebang,告诉系统"这个文件请用 /bin/bash 来执行",而不是 /bin/sh(有些系统的 sh 是 dash,语法更严格,比如不支持 [[ ]])。这行必须是文件第一行,前面不能有空行。

bash
set -euo pipefail

这是 Bash 脚本的"安全三件套",逐个拆:

  • -e:任何命令返回非 0(失败)就立刻终止整个脚本。相当于 Java 里没 try-catch 的异常直接让程序崩溃,不会带着错误继续往下跑。
  • -u:引用了未定义的变量就报错退出(比如你手滑打错变量名 $PROT 而不是 $PORT,正常 shell 会当成空字符串静默跳过,这个选项会让它直接报错,帮你抓 typo)。
  • -o pipefail:默认情况下,管道 cmd1 | cmd2 的返回值只看最后一个命令的成功与否,哪怕 cmd1 失败了也不算数。这个选项让只要管道里任何一环失败,整个管道就算失败。

这三个连用有个副作用:后面代码里凡是"预期可能失败"的命令(比如 grep 找不到东西时返回非 0),都得手动加 || true 或者 2>/dev/null 兜底,否则 -e 会让脚本直接退出。这就是为什么你会看到很多 || true。

配置区(变量赋值)

bash
PORT=10256

Bash 变量赋值语法:变量名=值,等号两边不能有空格(这是最容易踩的坑之一,PORT = 10256 会报错,因为 Bash 会把它解析成"执行名为 PORT 的命令,参数是 = 和 10256")。

bash
CONTAINER_NAME_PATTERN="hyperkube|kube-proxy"

这是个正则表达式字符串,| 在正则里表示"或",后面 grep -E 会用到它,匹配容器名里含 hyperkube 或 kube-proxy 的行。

bash
AUTO_KILL=false

Bash 没有真正的布尔类型,false/true 只是普通字符串,后面靠 [[ "$AUTO_KILL" == "true" ]] 做字符串比较来模拟布尔逻辑。

函数定义

bash
log() {
    echo "$(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"
}
  • 函数名() { ... }:Bash 函数定义语法,没有 function 关键字也可以(两种写法都行,这里用的是简洁版)。
  • $1:函数的第一个参数(类似其他语言的 args[0])。Bash 函数不用显式声明参数列表,调用时传什么,函数内部就用 $1 $2 $3... 取。
  • $(date '+%Y-%m-%d %H:%M:%S'):命令替换,把 date 命令的输出结果,作为字符串嵌入到当前这行里。等价于其他语言里的字符串插值。
  • tee -a "$LOG_FILE":tee 这个命令的作用是"既显示在终端,又写入文件"(正常 > 重定向只会写文件,看不到输出)。-a 是 append(追加),不覆盖旧日志。
bash
alert() {
    local msg="$1"
    ...
}
  • local msg="$1":声明一个函数内部的局部变量。不加 local 的话,Bash 里所有变量默认都是全局的(哪怕在函数里赋值),这在多函数脚本里容易互相污染,所以养成习惯给函数内变量加 local。
bash
if [[ -n "$ALERT_WEBHOOK" ]]; then
  • [[ ... ]]:Bash 的条件判断语法(比老式的 [ ... ] 功能更强、更安全,比如不用担心变量里有空格导致解析错误)。
  • -n "$字符串":判断字符串非空("n" = non-empty)。反义词是 -z("z" = zero-length,判断为空),你会在后面看到 [[ -z "$PORT_PID" ]]。
bash
curl -s -X POST -H 'Content-Type: application/json' \
    -d "{\"text\": \"[$(hostname)] $msg\"}" \
    "$ALERT_WEBHOOK" > /dev/null || log "webhook 发送失败"
  • 行末的反斜杠 \:续行符,告诉 Bash "这一行没写完,下一行接着算同一条命令",纯粹是为了可读性,把一条很长的命令拆成多行看。
  • curl 参数:-s(silent,不显示进度条)、-X POST(指定 HTTP 方法)、-H(自定义 header)、-d(请求体 data)。
  • "{\"text\": \"...\"}":因为外层已经用双引号包住整个字符串,内部再出现双引号就得用反斜杠 \" 转义,否则 Bash 会以为字符串提前结束了。
  • > /dev/null:把 curl 的正常输出扔进"黑洞"(/dev/null 是 Linux 里专门用来丢弃数据的特殊设备),只是不想看到 curl 的返回内容刷屏。
  • || log "webhook 发送失败":|| 是"或",在命令语境下的意思是"前一个命令失败了才执行后面这个"(对应的 && 则是"前一个成功了才执行后面")。这是 Bash 里非常常见的"单行 if-else"写法。
bash
write_metric() {
    ...
    cat > "${NODE_EXPORTER_TEXTFILE_DIR}/kubeproxy_zombie.prom.tmp" <<EOF
...
EOF
    mv ... .tmp  实际文件名
}
  • ${变量名}:跟 $变量名效果一样,但用花括号能明确变量名边界(比如 ${NODE_EXPORTER_TEXTFILE_DIR}/xxx,如果不加花括号写成 $NODE_EXPORTER_TEXTFILE_DIR/xxx,Bash 也能正确识别,但如果后面紧跟的是字母而非 /,不加花括号就会被误认成变量名的一部分,所以规范写法都加花括号)。
  • <<EOF ... EOF:**Here Document(heredoc)**语法,把两个 EOF 之间的多行文本,整段作为标准输入喂给前面的命令(这里是 cat >,所以效果就是把这段文本写入文件)。EOF 本身只是个约定俗成的标记词,换成别的词也行,只要开头结尾一致。
  • 先写 .tmp 再 mv 成正式文件名:这是个工程习惯,叫"原子写入"——如果直接写正式文件名,Prometheus 的 node_exporter 可能在你写到一半时就去读这个文件,读到不完整的内容。mv 操作在同一文件系统内是瞬间完成的,不会有"读到一半"的中间状态。

handle_zombie 函数

bash
proc_info=$(ps -fp "$zombie_pid" 2>/dev/null || echo "进程信息获取失败,可能已经消失")
  • ps -fp PID:查看指定 PID 的进程详情,-f 是 full format(完整格式,包含启动命令全文)。
  • 2>/dev/null:把标准错误(stderr)丢弃。Linux 里有三个"数据流":0=标准输入,1=标准输出,2=标准错误。默认 > 只重定向标准输出(1),错误信息还是会打印在终端;2> 专门重定向错误流,这里的意思是"如果 ps 报错(比如进程已经不存在了),把报错信息藏起来,不要吓到用户"。
  • || echo "...":前面说过,ps 失败(进程已消失)就返回这句提示文字。
bash
kill -9 "$zombie_pid" 2>/dev/null && log "已杀死 PID ${zombie_pid}" \
    || log "kill 失败,进程可能已消失"

这是个 命令 && 成功时执行 || 失败时执行 的组合,相当于压缩版的 if-else:

if kill -9 $zombie_pid 成功:
    log "已杀死..."
else:
    log "kill 失败..."

(这种写法有个经典陷阱:如果 && 后面那条命令本身也失败了,会连带触发 || 后面那条——但这里 log 函数几乎不会失败,所以在这个场景是安全的。)

主逻辑 Step 1:找端口占用者

bash
PORT_PID=$(ss -tlpn 2>/dev/null | grep ":${PORT} " | grep -oP 'pid=\K[0-9]+' | head -n1 || true)

从左到右拆这条管道(pipeline),| 的意思是"上一个命令的输出,作为下一个命令的输入":

  1. ss -tlpn:查看监听中的 TCP 端口(-t=tcp, -l=listening, -p=进程信息, -n=不做域名解析,加快速度)
  2. grep ":${PORT} ":从输出里过滤出包含 :10256 的那一行(冒号+端口号+空格,避免误匹配到 10256x 这种)
  3. grep -oP 'pid=\K[0-9]+':
    • -o:只输出匹配到的部分,不输出整行
    • -P:用 Perl 正则语法(比默认 POSIX 正则更强大)
    • pid=\K[0-9]+:\K 是个特殊标记,意思是"前面 pid= 这几个字符虽然要匹配,但不要包含在最终输出里",所以最终只会输出 pid= 后面那串数字
  4. head -n1:只取第一行(防止万一匹配到多行,只要一个结果)
  5. || true:如果前面全部管道找不到任何结果(比如端口没人监听),grep 会返回失败状态,配合前面 set -e,脚本会直接退出。加 || true 强制让这条命令"总是被认为成功",把变量赋值为空字符串,而不是让脚本崩溃——因为"端口没人监听"是需要脚本继续判断处理的正常业务分支,不该被当成程序错误。
bash
if [[ -z "$PORT_PID" ]]; then
    ...
    exit 0
fi
  • exit 0:退出脚本,返回码 0 表示"正常"。在 cron 环境或者监控系统里,返回码是有意义的信号——0 通常代表"检查通过/没有异常",非 0(比如后面的 exit 1)代表"发现问题",方便你以后接入监控系统时用返回码做判断。

Step 2:找当前真实运行的容器

bash
CONTAINER_ID=$(docker ps --format '{{.ID}} {{.Names}}' 2>/dev/null \
    | grep -Ei "$CONTAINER_NAME_PATTERN" | awk '{print $1}' | head -n1 || true)
  • docker ps --format '{{.ID}} {{.Names}}':--format 用 Go 模板语法自定义输出格式,这里只要"容器 ID + 容器名"两列,不要 docker ps 默认输出的一大堆冗余列。
  • grep -Ei:-E 是扩展正则(支持前面 | 这种"或"语法),-i 是忽略大小写。
  • awk '{print $1}':awk 是文本处理神器,{print $1} 的意思是"打印每一行的第一列"(awk 默认按空格/制表符分割列),这里就是取出容器 ID,扔掉容器名那一列。
bash
CONTAINER_MAIN_PID=$(docker inspect --format '{{.State.Pid}}' "$CONTAINER_ID" 2>/dev/null || echo "")

docker inspect 能拿到容器的所有元数据(JSON 格式),--format '{{.State.Pid}}' 用同样的 Go 模板语法,从这一大坨 JSON 里精确挖出 .State.Pid 这个字段——也就是这个容器在宿主机上对应的真实 PID。这是整个脚本"能不能抓准僵尸进程"的关键一步:容器里看到的 PID 通常是 1(因为 PID namespace 隔离),但 docker inspect 给出的是宿主机视角的真实 PID,这样才能跟 ss 查到的宿主机 PID 对得上。

Step 3:对比判断

bash
if [[ "$PORT_PID" == "$CONTAINER_MAIN_PID" ]]; then

纯字符串相等比较,== 在 [[ ]] 里就是普通的字符串比较(不是数值比较,但因为两边都是纯数字字符串,效果上等同于比较数值)。

这就是整个脚本的核心判断逻辑:如果端口的持有者 ≠ 当前容器的真实主进程,中间必然发生过"旧进程没死,容器却被认为已经重建"的情况——也就是你们上次踩到的那个坑。


有个点想提醒你:目前脚本没有验证过(我没有实际的 K8s 环境跑测试),ss 的输出格式在不同发行版/内核版本上可能略有出入(比如某些系统 pid= 前后的空格、字段顺序会不一样),建议你在测试环境先跑一下 ss -tlpn | grep 10256,肉眼确认一下输出格式和脚本里 grep -oP 'pid=\K[0-9]+' 假设的格式一致,再上生产。

コメント

このブログの人気の投稿

大题材 大全 脑暴

FP3 シミュレーション

日本保险知识体系地图