简介

一个新节点，添加Prometheus 监控后，提示InstanceDown的简单处理。

现象截图

有类似 InstanceDown 状态 Firing 等字样

日志

查看 kubelet 日志，日志里面有类似401 和  Unauthorized 等字样

Apr 09 00:03:00 dev-node-05 kubelet[31047]: created by net/http.(*Server).Serve
Apr 09 00:03:00 dev-node-05 kubelet[31047]: /usr/local/go/src/net/http/server.go:2720 +0x288
Apr 09 00:03:00 dev-node-05 kubelet[31047]: logging error output: "Unauthorized"
Apr 09 00:03:00 dev-node-05 kubelet[31047]: [[Prometheus/2.9.2] 10.30.2.172:53350]
Apr 09 00:03:03 dev-node-05 kubelet[31047]: I0409 00:03:03.279560 31047 kubelet_node_status.go:464] Using node IP: "10.30.2.183"
Apr 09 00:03:10 dev-node-05 kubelet[31047]: I0409 00:03:10.291264 31047 server.go:796] GET /metrics/cadvisor: (50.047μs) 401


解决方法

来源文档

https://github.com/prometheus-operator/prometheus-operator/issues/976
需要修改kubelet配置参数，增加2个字段
--authentication-token-webhook=true
--authorization-mode=Webhook


实际操作

找到 kubelet 配置文件位置

systemctl status kubelet

cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

在

效果

界面上，节点状态已经是 up了，问题解决。