【落地实践】监控的百花齐放：Grafana + VictoriaMetrics + Prometheus

3 被控端指标采集

安装 Node Exporter

1. 下载并解压 node_exporter（请参阅 Releases 下载最新版本）

   curl -L https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz -o /tmp/node_exporter.tar.gz
   tar -xvf /tmp/node_exporter.tar.gz -C /tmp/
   mv /tmp/node_exporter-*/node_exporter /usr/local/bin/node_exporter
   rm -rfv /tmp/node_exporter*
   

2. 验证安装

   chmod  x /usr/local/bin/node_exporter
   chown -v root:root /usr/local/bin/node_exporter
   node_exporter --version
   

3. 创建服务用户

   groupadd -r exporter
   useradd -r -m -s /sbin/nologin -g exporter exporter
   

4. 写入服务配置

   vim /etc/systemd/system/node_exporter.service
   

   配置内容：

   [Unit]
   Description=Node Exporter service
   
   [Service]
   Type=simple
   User=exporter
   Group=exporter
   ExecStart=/usr/local/bin/node_exporter \
       --web.listen-address=127.0.0.1:9100 \
       --collector.cpu.info
   
   [Install]
   WantedBy=multi-user.target
   

   这里打算使用 vmagent 采集后远程写入，所以只监听了本地的 127.0.0.1:9100，可以根据需要修改。如果要开放端口到公网，注意配置 TLS 和防火墙，只开放端口给可信 IP。

   如果你需要 CPU 信息，例如 Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz，则需要添加 --collector.cpu.info，该采集器默认禁用。

5. 启动服务

   sudo systemctl daemon-reload
   sudo systemctl enable --now node_exporter
   sudo systemctl status node_exporter
   

安装 Blackbox Exporter

如果此节点无需进行 icmp / tcping 等网络探测，可以跳过此步骤。

1. 下载并解压 blackbox_exporter（请参阅 Releases 下载最新版本）

   curl -L https://github.com/prometheus/blackbox_exporter/releases/download/v0.25.0/blackbox_exporter-0.25.0.linux-amd64.tar.gz -o /tmp/blackbox_exporter.tar.gz
   tar -xvf /tmp/blackbox_exporter.tar.gz -C /tmp/
   mv /tmp/blackbox_exporter-*/blackbox_exporter /usr/local/bin/blackbox_exporter
   rm -rfv /tmp/blackbox_exporter*
   

2. 验证安装

   chmod  x /usr/local/bin/blackbox_exporter
   chown -v root:root /usr/local/bin/blackbox_exporter
   blackbox_exporter --version
   

3. 写入服务配置

   vim /etc/systemd/system/blackbox_exporter.service
   

   配置内容：

   [Unit]
   Description=Blackbox Exporter service
   Wants=network-online.target
   After=network-online.target nss-lookup.target
   
   [Service]
   User=exporter
   Group=exporter
   ExecStart=/usr/local/bin/blackbox_exporter \
       --web.listen-address=127.0.0.1:9101 \
       --config.file=/home/exporter/blackbox_config.yml
   ExecReload=/bin/kill -HUP $MAINPID
   
   [Install]
   WantedBy=multi-user.target
   

4. 创建 Blackbox 配置文件：

   vim /home/exporter/blackbox_config.yml
   

   需要写入一些 module 来定义探测行为，这里给出基本配置：

   modules:
     icmp:
       prober: icmp
       timeout: 5s
     tcping:
       prober: tcp
       timeout: 5s
   

5. 启动服务

   sudo systemctl daemon-reload
   sudo systemctl enable --now blackbox_exporter
   sudo systemctl status blackbox_exporter
   

   题外的：Blackbox 接受 reload，可以便捷的更新配置文件：

   sudo systemctl reload blackbox_exporter
   

6. 参考：
   • https://prometheus.io/docs/guides/multi-target-exporter/

安装 vmagent

1. 下载并解压 vmagent 二进制包

   curl -L https://github.com/Jared-02/VictoriaMetrics/releases/download/v1.107.0/vmagent-v1.107.0-linux-amd64.tar.gz -o /tmp/vmagent.tar.gz
   tar -xvf /tmp/vmagent.tar.gz -C /usr/local/bin/
   mv /usr/local/bin/vmagent-*-prod /usr/local/bin/vmagent
   rm /tmp/vmagent.tar.gz
   
   chmod  x /usr/local/bin/vmagent
   chown -v root:root /usr/local/bin/vmagent
   vmagent -version
   

   此处使用笔者自行修改了官方 CI 的 fork，使用 Github Actions 自动构建并发布，解决了官方发布时将所有套件打包的痛点。相关的修改可以在这里查看。如果你看不懂发生了什么请使用如下方法，下载完整套件再删除不必要的组件：

   curl -L https://github.com/VictoriaMetrics/VictoriaMetrics/releases/download/v1.107.0/vmutils-linux-amd64-v1.107.0.tar.gz -o /tmp/vmutils.tar.gz
   tar -xvf /tmp/vmutils.tar.gz -C /usr/local/bin/
   mv /usr/local/bin/vmagent-prod /usr/local/bin/vmagent
   rm /tmp/vmutils.tar.gz
   
   chmod  x /usr/local/bin/vmagent
   chown -v root:root /usr/local/bin/vmagent
   rm -rf /usr/local/bin/vm*-prod
   

2. 创建 Prometheus 格式的抓取配置：

   vim /home/exporter/prometheus.yml
   

   配置内容：

   scrape_configs:
     - job_name: node_exporter
       scrape_interval: 10s
       static_configs:
         - targets: ['localhost:9100']
           labels:
             instance: Aliyun-HKG
     - job_name: blackbox_exporter
       scrape_interval: 30s
       metrics_path: /probe
       params:
         module: [tcping]
       static_configs:
         - targets: [':443']
           labels:
             target: 'PEK-CM-v4'
         - targets: ['[]:443']
           labels:
             target: 'PEK-CM-v6'
       relabel_configs:
         - source_labels: [__address__]
           target_label: __param_target
         - target_label: instance
           replacement: Aliyun-HKG
         - target_label: __address__
           replacement: localhost:9101
   

3. 创建 systemd 服务配置

   vim /etc/systemd/system/vmagent.service
   

   配置内容：

   [Unit]
   Description=Vmagent service
   After=network.target
   
   [Service]
   Type=simple
   User=exporter
   Group=exporter
   ExecStart=/usr/local/bin/vmagent \
       -httpListenAddr='' \
       -promscrape.config=/home/exporter/prometheus.yml \
       -remoteWrite.url=https://:18428/api/v1/write \
       -remoteWrite.bearerToken= \
       -remoteWrite.tmpDataPath=/home/exporter \
       -remoteWrite.tlsInsecureSkipVerify=true
   ExecStop=/bin/kill -s SIGTERM $MAINPID
   
   [Install]
   WantedBy=multi-user.target
   

   注意：如果你没有使用自签名证书，请删除 -remoteWrite.tlsInsecureSkipVerify=true 配置。

   本示例是在被控端不开放任何端口，远程写入到主控端的 TSDB，请注意将写入地址修改为你的 IP / 域名及正确的端口号，如果使用了 bearer token 认证，也请注意修改。

4. 启动服务

   sudo systemctl daemon-reload
   sudo systemctl enable --now vmagent
   sudo systemctl status vmagent
   

简易排障指南

• 端口是否占用？

  sudo apt install net-tools
  netstat -tulpn
  
  Active Internet connections (only servers)
  Proto Recv-Q Send-Q Local Address    Foreign Address  State    PID/Program name
  tcp        0      0 127.0.0.1:9101   0.0.0.0:*        LISTEN   51212/blackbox_expo
  tcp        0      0 127.0.0.1:9100   0.0.0.0:*        LISTEN   51313/node_exporter
  

  本示例分配 node_exporter 监听 9100，blackbox_exporter 监听 9101，请检查是否被其他程序占用，你也可以修改为其他未被占用的端口。

• 检查错误的程序日志

  journalctl -u  -n 
  

  比如查看 node_exporter 最近 20 行日志：

  journalctl -u node_exporter -n 20
  

  你就可以在其中看到失败原因，如果查看的行数较多，可以使用 ↑ ↓ 方向键滚动，按 q 退出。

4 安装 Grafana

1. 安装基础依赖

   sudo apt install gnupg2 curl apt-transport-https software-properties-common
   

2. 导入 Grafana 官方仓库 GPG 密钥

   curl -L https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /usr/share/keyrings/grafana-archive-keyring.gpg >/dev/null
   gpg --dry-run --quiet --no-keyring --import --import-options import-show /usr/share/keyrings/grafana-archive-keyring.gpg
   

3. 添加 Grafana Deb 仓库（这里添加的是稳定版）

   echo "deb [signed-by=/usr/share/keyrings/grafana-archive-keyring.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
   sudo apt update
   

4. 安装 Grafana OSS（开源版）

   sudo apt install grafana
   sudo systemctl daemon-reload
   sudo systemctl enable grafana-server --now
   sudo systemctl status grafana-server
   

5. 此时应该可以看到 Grafana 正常运行的日志，并在 http://:3000 访问到 Grafana，默认的登录名和密码是 admin。

   强烈不建议直接使用 HTTP 管理，笔者习惯统一使用 nginx 反向代理到 443 端口，所以应该到 Grafana 修改为只进行内网监听：（如果使用官方 deb 仓库安装，则配置文件位置在此，其他安装方法可能有出入）

   vim /etc/grafana/grafana.ini
   

   在 server 字段可以看到以下配置，取消注释并修改：

   [server]
   http_addr = 127.0.0.1
   http_port = 3000
   

   重启 Grafana：

   sudo systemctl restart grafana-server
   

6. 接下来你应该使用你喜欢的方法，添加 TLS 配置并反向代理到 127.0.0.1:3000，当然 Grafana 也支持进行 TLS 配置，可以在这里查看。

7. 参考：

   • https://grafana.com/docs/grafana/latest/setup-grafana/installation/debian/

结语

本文旨在抛砖引玉，简单介绍了 Prometheus 生态下，使用 VictoriaMetrics 作为 TSDB 长期存储，尽量少开放端口、使用裸机部署 (Standalone) 的落地实践。很多成熟且拥有较好的稳定性、已进行生产环境验证的开源监控项目，因为缺少中文文档而并不在 MJJ 社区流行，希望这些文字给读者一些启发。文笔疏漏，还有很多不完善的地方，还请不吝斧正。

推荐阅读：

• Node Information: 更美观的 Grafana 性能监控面板 (nodeseek)
• BBxPing 面板: 在 Grafana 上点亮地球 (nodeseek)
• https://grafana.com/grafana/dashboards/16098