TiDB丨如何给TiDB集群的prometheus更换端口

TiDB

神州数码云基地

在 TiDB 上的尝试、调研与分享

如何给TiDB集群的

prometheus更换端口

背景

在部署TiDB集群的时候，由于9090端口被操作系统的某个进程占用，在部署TiDB时，只能先将prometheus的端口设置为9091，将原本占用9090端口的进程调整为其它端口后，需要将prometheus的端口从9091改为9090，这就涉及到TiDB集群组件端口的更换。

经过研究，最终发现如果要更改prometheus 组件的监听端口，可以通过tiup 缩容prometheus 组件，然后在扩容prometheus 组件,这样就实现了prometheus端口的更改。

注意事项

通过 tiup 直接缩容 prometheus组件会导致 prometheus 监控数据丢失。

如果是生产环境的话，需要评估下prometheus监控数据的丢失是否能够接受，如果不能够接受prometheus监控数据的丢失，可在缩容prometheus之前，先将prometheus的数据目录备份，在扩容prometheus 之后，再将备份的数据进行还原。

本文并没有备份prometheus的监控数据，而是直接缩容prometheus组件。

因为grafana组件也依赖prometheus的ip和port提供数据源去展示，所以更改 prometheus端口后，grafana需要重新配置prometheus的数据源。

还有一种方法，可以把grafana和prometheus通过tiup一起缩容，然后通过tiup把 grafana和prometheus一起扩容，这样grafana就不需要重新配置prometheus的数据源了。

本文采用的方案就是把grafana和prometheus通过 tiup 一起缩容，然后扩容。

#  1

tiup缩容prometheus和grafana组件

1-1  tiup缩容prometheus组件

· 假设集群名称是tidb-test

tiup cluster display tidb-test -R prometheus

· 获取prometheus组件的ip和port

tiup cluster scale-in tidb-test -N 172.16.1.3:9091

· 假设promethues组件的ip和port分别是172.16.1.3和9091，执行tiup 缩容命令缩容prometheus组件

· 执行命令后，如果出现Scaled cluster `tidb-test` in successfully，则代表缩容prometheus组件成功。

1-2   tiup缩容grafana组件

· 假设集群名称是tidb-test

tiup cluster display tidb-test -R grafana

· 获取grafana组件的ip和port

tiup cluster scale-in tidb-test -N 172.16.1.3:3000

· 假设grafana组件的ip和port分别是172.16.1.3和3000，执行tiup 缩容命令缩容grafana组件

· 执行命令后，如果出现Scaled cluster `tidb-test` in successfully，则代表缩容grafana组件成功。

#  2

tiup扩容prometheus和grafana组件

2-1  tiup扩容prometheus组件

通过tiup 扩容prometheus组件，首先需要写一份yaml 文件 ⬇

prometheus_scaleout.yamlmonitoring_servers: - host: 172.16.1.3 port: 9090 rule_dir: /home/tidb/prometheus

grafana_scaleout.yamlgrafana_servers: - host: 172.16.1.3