点击”运维笔谈”,对话回复 “阿里云k8s” 可以获取《阿里云Kubernetes项目实战手册》PDF
我的Grafana上查询不到数据了,但是Grafana上MySQL数据源的内容又可以查询,我猜测是对应监控的数据源Prometheus出问题了,我打开Prometheus的webUI出现了如下的告警提示:
Warning: Error fetching server time: Detected 39338040.78699994 seconds time difference between your browser and the server. Prometheus relies on accurate time and time drift might cause unexpected query results.
警告的内容是关于客户端(浏览器)和服务器之间存在显著的时间差异,这个时间差异达到了 39338040.78699994 秒。这种时间差异可能会导致 Prometheus 查询结果出现意外,因为 Prometheus 依赖于准确的时间来处理数据和执行警报。
原来是我有一次测试了下自建的ssl证书过期了,然后通过延长证书时间方法来解决过期问题。测试的时候我把服务器的时间改为1年之后了,之后忘记调整回来了,我想着反正运行了chronyd,应该是会自动调整的吧,结果时间一直没有调整,直到我重启了chronyd服务时间才重新修正,这个原因我待后再处理。

然而我调整好了服务器时间之后,Grafana上还是没有数据,我尝试重启了node_exporter和Prometheus 服务还是一样。我检查了Prometheus 的data目录下的数据结果发现最近7天的数据显示都是2026年的。
我在Grafana上把时间调整到2026年3月份,是有数据的。
使用Prometheus api清理了历史数据之后。chunks_head有2026年数据。
wal目录下也有2026年的数据。
事实我这个api清理方法不可行,所以历史数据我无奈只能放弃了。最终我停止Prometheus服务,直接rm 数据目录清理了。然后再次启动Prometheus服务,Grafana可以获取到最新的数据了。