简介
一个新节点，添加Prometheus 监控后，提示InstanceDown的简单处理。
现象截图
有类似 InstanceDown 状态 Firing 等字样
日志
查看 kubelet 日志，日志里面有类似401 和 Unauthorized 等字样
Apr 09 00:03:00 dev-node-05 kubelet[31047]: created by net/http.(*Server).Serve
Apr 09 00:03:00 dev-node-05 kubelet[31047]: /usr/local/go/src/net/http/server.go:2720 +0x288
Apr 09 00:03:00 dev-node-05 kubelet[31047]: logging error output: "Unauthorized"
Apr 09 00:03:00 dev-node-05 kubelet[31047]: [[Prometheus/2.9.2] 10.30.2.172:53350]
Apr 09 00:03:03 dev-node-05 kubelet[31047]: I0409 00:03:03.279560 31047 kubelet_node_status.go:464] Using node IP: "10.30.2.183"
Apr 09 00:03:10 dev-node-05 kubelet[31047]: I0409 00:03:10.291264 31047 server.go:796] GET /metrics/cadvisor: (50.047μs) 401
解决方法
来源文档
https://github.com/prometheus-operator/prometheus-operator/issues/976
需要修改kubelet配置参数，增加2个字段
--authentication-token-webhook=true
--authorization-mode=Webhook
实际操作
找到 kubelet 配置文件位置
systemctl status kubelet
cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
在
--authentication-token-webhook=true --authorization-mode=Webhook "
效果
界面上，节点状态已经是 up了，问题解决。
文章评论