check-kubeproxy-zombie.sh
fi
好,逐句拆解,把 sh 语法的"隐藏规则"都点出来。
头部 & 全局设置
#!/bin/bashshebang,告诉系统"这个文件请用 /bin/bash 来执行",而不是 /bin/sh(有些系统的 sh 是 dash,语法更严格,比如不支持 [[ ]])。这行必须是文件第一行,前面不能有空行。
set -euo pipefail这是 Bash 脚本的"安全三件套",逐个拆:
-e:任何命令返回非 0(失败)就立刻终止整个脚本。相当于 Java 里没 try-catch 的异常直接让程序崩溃,不会带着错误继续往下跑。-u:引用了未定义的变量就报错退出(比如你手滑打错变量名$PROT而不是$PORT,正常 shell 会当成空字符串静默跳过,这个选项会让它直接报错,帮你抓 typo)。-o pipefail:默认情况下,管道cmd1 | cmd2的返回值只看最后一个命令的成功与否,哪怕cmd1失败了也不算数。这个选项让只要管道里任何一环失败,整个管道就算失败。
这三个连用有个副作用:后面代码里凡是"预期可能失败"的命令(比如 grep 找不到东西时返回非 0),都得手动加 || true 或者 2>/dev/null 兜底,否则 -e 会让脚本直接退出。这就是为什么你会看到很多 || true。
配置区(变量赋值)
PORT=10256Bash 变量赋值语法:变量名=值,等号两边不能有空格(这是最容易踩的坑之一,PORT = 10256 会报错,因为 Bash 会把它解析成"执行名为 PORT 的命令,参数是 = 和 10256")。
CONTAINER_NAME_PATTERN="hyperkube|kube-proxy"这是个正则表达式字符串,| 在正则里表示"或",后面 grep -E 会用到它,匹配容器名里含 hyperkube 或 kube-proxy 的行。
AUTO_KILL=falseBash 没有真正的布尔类型,false/true 只是普通字符串,后面靠 [[ "$AUTO_KILL" == "true" ]] 做字符串比较来模拟布尔逻辑。
函数定义
log() {
echo "$(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"
}函数名() { ... }:Bash 函数定义语法,没有function关键字也可以(两种写法都行,这里用的是简洁版)。$1:函数的第一个参数(类似其他语言的args[0])。Bash 函数不用显式声明参数列表,调用时传什么,函数内部就用$1 $2 $3...取。$(date '+%Y-%m-%d %H:%M:%S'):命令替换,把date命令的输出结果,作为字符串嵌入到当前这行里。等价于其他语言里的字符串插值。tee -a "$LOG_FILE":tee这个命令的作用是"既显示在终端,又写入文件"(正常>重定向只会写文件,看不到输出)。-a是 append(追加),不覆盖旧日志。
alert() {
local msg="$1"
...
}local msg="$1":声明一个函数内部的局部变量。不加local的话,Bash 里所有变量默认都是全局的(哪怕在函数里赋值),这在多函数脚本里容易互相污染,所以养成习惯给函数内变量加local。
if [[ -n "$ALERT_WEBHOOK" ]]; then[[ ... ]]:Bash 的条件判断语法(比老式的[ ... ]功能更强、更安全,比如不用担心变量里有空格导致解析错误)。-n "$字符串":判断字符串非空("n" = non-empty)。反义词是-z("z" = zero-length,判断为空),你会在后面看到[[ -z "$PORT_PID" ]]。
curl -s -X POST -H 'Content-Type: application/json' \
-d "{\"text\": \"[$(hostname)] $msg\"}" \
"$ALERT_WEBHOOK" > /dev/null || log "webhook 发送失败"- 行末的反斜杠
\:续行符,告诉 Bash "这一行没写完,下一行接着算同一条命令",纯粹是为了可读性,把一条很长的命令拆成多行看。 curl参数:-s(silent,不显示进度条)、-X POST(指定 HTTP 方法)、-H(自定义 header)、-d(请求体 data)。"{\"text\": \"...\"}":因为外层已经用双引号包住整个字符串,内部再出现双引号就得用反斜杠\"转义,否则 Bash 会以为字符串提前结束了。> /dev/null:把curl的正常输出扔进"黑洞"(/dev/null是 Linux 里专门用来丢弃数据的特殊设备),只是不想看到 curl 的返回内容刷屏。|| log "webhook 发送失败":||是"或",在命令语境下的意思是"前一个命令失败了才执行后面这个"(对应的&&则是"前一个成功了才执行后面")。这是 Bash 里非常常见的"单行 if-else"写法。
write_metric() {
...
cat > "${NODE_EXPORTER_TEXTFILE_DIR}/kubeproxy_zombie.prom.tmp" <<EOF
...
EOF
mv ... .tmp 实际文件名
}${变量名}:跟$变量名效果一样,但用花括号能明确变量名边界(比如${NODE_EXPORTER_TEXTFILE_DIR}/xxx,如果不加花括号写成$NODE_EXPORTER_TEXTFILE_DIR/xxx,Bash 也能正确识别,但如果后面紧跟的是字母而非/,不加花括号就会被误认成变量名的一部分,所以规范写法都加花括号)。<<EOF ... EOF:**Here Document(heredoc)**语法,把两个EOF之间的多行文本,整段作为标准输入喂给前面的命令(这里是cat >,所以效果就是把这段文本写入文件)。EOF本身只是个约定俗成的标记词,换成别的词也行,只要开头结尾一致。- 先写
.tmp再mv成正式文件名:这是个工程习惯,叫"原子写入"——如果直接写正式文件名,Prometheus 的 node_exporter 可能在你写到一半时就去读这个文件,读到不完整的内容。mv操作在同一文件系统内是瞬间完成的,不会有"读到一半"的中间状态。
handle_zombie 函数
proc_info=$(ps -fp "$zombie_pid" 2>/dev/null || echo "进程信息获取失败,可能已经消失")ps -fp PID:查看指定 PID 的进程详情,-f是 full format(完整格式,包含启动命令全文)。2>/dev/null:把标准错误(stderr)丢弃。Linux 里有三个"数据流":0=标准输入,1=标准输出,2=标准错误。默认>只重定向标准输出(1),错误信息还是会打印在终端;2>专门重定向错误流,这里的意思是"如果ps报错(比如进程已经不存在了),把报错信息藏起来,不要吓到用户"。|| echo "...":前面说过,ps失败(进程已消失)就返回这句提示文字。
kill -9 "$zombie_pid" 2>/dev/null && log "已杀死 PID ${zombie_pid}" \
|| log "kill 失败,进程可能已消失"这是个 命令 && 成功时执行 || 失败时执行 的组合,相当于压缩版的 if-else:
if kill -9 $zombie_pid 成功:
log "已杀死..."
else:
log "kill 失败..."(这种写法有个经典陷阱:如果 && 后面那条命令本身也失败了,会连带触发 || 后面那条——但这里 log 函数几乎不会失败,所以在这个场景是安全的。)
主逻辑 Step 1:找端口占用者
PORT_PID=$(ss -tlpn 2>/dev/null | grep ":${PORT} " | grep -oP 'pid=\K[0-9]+' | head -n1 || true)从左到右拆这条管道(pipeline),| 的意思是"上一个命令的输出,作为下一个命令的输入":
ss -tlpn:查看监听中的 TCP 端口(-t=tcp,-l=listening,-p=进程信息,-n=不做域名解析,加快速度)grep ":${PORT} ":从输出里过滤出包含:10256的那一行(冒号+端口号+空格,避免误匹配到10256x这种)grep -oP 'pid=\K[0-9]+':-o:只输出匹配到的部分,不输出整行-P:用 Perl 正则语法(比默认 POSIX 正则更强大)pid=\K[0-9]+:\K是个特殊标记,意思是"前面pid=这几个字符虽然要匹配,但不要包含在最终输出里",所以最终只会输出pid=后面那串数字
head -n1:只取第一行(防止万一匹配到多行,只要一个结果)|| true:如果前面全部管道找不到任何结果(比如端口没人监听),grep会返回失败状态,配合前面set -e,脚本会直接退出。加|| true强制让这条命令"总是被认为成功",把变量赋值为空字符串,而不是让脚本崩溃——因为"端口没人监听"是需要脚本继续判断处理的正常业务分支,不该被当成程序错误。
if [[ -z "$PORT_PID" ]]; then
...
exit 0
fiexit 0:退出脚本,返回码0表示"正常"。在 cron 环境或者监控系统里,返回码是有意义的信号——0通常代表"检查通过/没有异常",非0(比如后面的exit 1)代表"发现问题",方便你以后接入监控系统时用返回码做判断。
Step 2:找当前真实运行的容器
CONTAINER_ID=$(docker ps --format '{{.ID}} {{.Names}}' 2>/dev/null \
| grep -Ei "$CONTAINER_NAME_PATTERN" | awk '{print $1}' | head -n1 || true)docker ps --format '{{.ID}} {{.Names}}':--format用 Go 模板语法自定义输出格式,这里只要"容器 ID + 容器名"两列,不要 docker ps 默认输出的一大堆冗余列。grep -Ei:-E是扩展正则(支持前面|这种"或"语法),-i是忽略大小写。awk '{print $1}':awk是文本处理神器,{print $1}的意思是"打印每一行的第一列"(awk 默认按空格/制表符分割列),这里就是取出容器 ID,扔掉容器名那一列。
CONTAINER_MAIN_PID=$(docker inspect --format '{{.State.Pid}}' "$CONTAINER_ID" 2>/dev/null || echo "")docker inspect 能拿到容器的所有元数据(JSON 格式),--format '{{.State.Pid}}' 用同样的 Go 模板语法,从这一大坨 JSON 里精确挖出 .State.Pid 这个字段——也就是这个容器在宿主机上对应的真实 PID。这是整个脚本"能不能抓准僵尸进程"的关键一步:容器里看到的 PID 通常是 1(因为 PID namespace 隔离),但 docker inspect 给出的是宿主机视角的真实 PID,这样才能跟 ss 查到的宿主机 PID 对得上。
Step 3:对比判断
if [[ "$PORT_PID" == "$CONTAINER_MAIN_PID" ]]; then纯字符串相等比较,== 在 [[ ]] 里就是普通的字符串比较(不是数值比较,但因为两边都是纯数字字符串,效果上等同于比较数值)。
这就是整个脚本的核心判断逻辑:如果端口的持有者 ≠ 当前容器的真实主进程,中间必然发生过"旧进程没死,容器却被认为已经重建"的情况——也就是你们上次踩到的那个坑。
有个点想提醒你:目前脚本没有验证过(我没有实际的 K8s 环境跑测试),ss 的输出格式在不同发行版/内核版本上可能略有出入(比如某些系统 pid= 前后的空格、字段顺序会不一样),建议你在测试环境先跑一下 ss -tlpn | grep 10256,肉眼确认一下输出格式和脚本里 grep -oP 'pid=\K[0-9]+' 假设的格式一致,再上生产。
コメント
コメントを投稿