prometheus监控部署与使用

kubernetes 评论

prometheus部署

整体架构:

组件作用：

prometheus：用于收集监控指标。
grafana：对接prometheus，将收集到的监控指标，图标化展示。
altermanager：用于对触发阈值的监控指标进行告警。
kube-state-metrics：部署在kubernetes集群中，用于收集kubernetes组件信息和对应的POD信息监控信息。
node-export：用于收集节点监控指标。 

1
git clone https://github.com/stefanprodan/k8s-prom-hpa

切换到k8s-prom-hpa目录 

1
2
kubectl create -f ./prometheus

目录内包含了prometheus的配置文件和部署文件
查看prometheus 

1
2
3
4
5
6
7
kubectl get pod -n monitoring
NAME                                        READY   STATUS    RESTARTS   AGE
prometheus-64bc56989f-qcs4p                 1/1     Running   1          22h

kubectl  get svc -n monitoring
NAME                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
prometheus                 NodePort    10.104.215.207   <none>        9090:31190/TCP   22h

访问prometheus
http://node_ip:31190

prometheus内prometheus-cfg.yaml 配置了自动发生规则，会自动将组件注册。

部署kube-state-metric监控Kubernetes集群

参考：
https://github.com/kubernetes/kube-state-metrics/tree/master/docs

kube-state-metric对应的版本支持的Kubernetes版本信息

clone代码

1
git clone https://github.com/kubernetes/kube-state-metrics.git -b v1.8.0

部署kube-state-metric
在kube-state-metrics/kubernetes目录执行

1
kubectl apply -f kube-state-metrics-service-account.yaml,kube-state-metrics-cluster-role.yaml,kube-state-metrics-cluster-role-binding.yaml,kube-state-metrics-deployment.yaml,kube-state-metrics-service.yaml

检查kube-state-metrices部署 

1
2
3
4
5
kubectl  get pod -n kube-system -o wide
metrics-server-7575d9677b-fl5rc       1/1     Running   1          21h    10.244.0.14    k8s-master  

curl --insecure https://10.244.0.14/healthz
ok

默认prometheus会自动发现kube-state-metrices创建的Service对应的端口和指标获取路径

在prometheus上可以targets上可以看见对应的点

部署node-export用于节点监控数据收集

使用helm-chart部署

1
helm install --name node-exporter  --namespace kube-system  prometheus-node-exporter/

验证是否能取到指标 

1
curl http://127.0.0.1:9100/metrics

grafana部署

对接prometheus

添加对应的监控指标展示模板

配置grafana对监控指标进行展示

安装grafan

1
docker run -d --name=grafana -p 3000:3000 grafana/grafana

访问主机3000端口
默认帐号密码：admin/admin

添加DataSource，类型选择prometheus，添加prometheus的地址

添加监控展示模板，添加主机监控模板和Kubernetes集群监控模板

导入ID为8919的node监控dashboard

导入ID为6417的Kubernetes集群监控dashboard