Prometheus入门教程之Relabel使用（五）

148次阅读

共计 6990 个字符，预计需要花费 18 分钟才能阅读完成。

为了更好的识别监控指标，便于后期调用数据绘图、告警等需求，Prometheus支持对发现的目标进行label修改，可以在目标被抓取之前动态重写目标的标签集。每个抓取配置可以配置多个重新标记步骤。它们按照它们在配置文件中出现的顺序应用于每个目标的标签集。

除了配置的每个目标标签之外，Prometheus还会自动添加几个标签：

job标签：设置为job_name相应的抓取配置的值。
instance标签：__address__设置为目标的地址:。重新标记后，如果在重新标记期间未设置标签，则默认将__address__标签值赋值给instance。
schema：协议类型
__metrics_path：抓取指标数的url
scrape_interval：scrape抓取数据时间间隔（秒）
scrape_timeout：scrape超时时间（秒）

meta_在重新标记阶段可能会提供带有前缀的附加标签。它们由提供目标的服务发现机制设置，并且因机制而异。

__目标重新标记完成后，将从标签集中删除以开头的标签。

如果重新标记步骤只需要临时存储标签值（作为后续重新标记步骤的输入），可以使用__tmp标签名称前缀。这个前缀保证不会被 Prometheus 本身使用。

常用的在以下两个阶段可以重新标记：

relabel_configs：在采集之前（比如在采集数据之前重新定义元标签），可以使用relabel_configs添加一些标签、也可以只采集特定目标或过滤目标
metric_relabel_configs：如果是已经抓取到指标数据时，可以使用metric_relabel_configs做最后的重新标记和过滤

然后是一段relabel_configs配置，其作用主要是用于匹配最终要抓取的 endpoint，构造抓取的地址，甚至给最终的时序指标加上一些 label

source_labels：源标签，没有经过relabel处理之前的标签名字

target_labels：通过relabel处理之后的标签名字

separator：源标签的值的连接分隔符。默认是";"

module：取源标签值散列的模数

regex：正则表达式，匹配源标签的值。默认是(.*)

replacement：通过分组替换后标签（target_label）对应的值。默认是$1

action：根据正则表达式匹配执行的动作。默认是replace

replace：替换标签值，根据regex正则匹配到原标签值，使用replacement来引用表达式匹配的分组
keep：满足regex正则条件的实例进行采集，把source_labels中没有匹配到regex正则内容的target实例丢掉，即只采集匹配成功的实例

drop：满足regex正则条件的实例不采集，把source_labels中没有匹配到regex正则内容的target实例丢掉，即只采集没有匹配成功的实例
hashmod：使用hashmod计算source_labels的hash值并进行对比，基于自定义的模数取模，以实现对目标进行分类、重新赋值等功能
labelmap：匹配regex所有标签名称，然后复制匹配标签的值进行分组，通过replacement分组引用($1,$2,…)替代
labeldrop：匹配regex所有标签名称，对匹配到的实例标签进行删除
labelkeep：匹配regex所有标签名称，对匹配到的实例标签进行保留

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus
  - job_name: node_exporter
    static_configs:
      - targets: ['172.16.1.37:9100']
        labels:
          instance: localhost
          __hostname__: node01
          __region_id__: "ap-shanghai"
      - targets: ['172.16.1.14:9100']
        labels:
          instance: localhost
          __hostname__: node02
          __region_id__: "ap-shanghai"

查看target

Prometheus入门教程之Relabel使用（五）

因为我们的label都是以__开头的，目标重新标签之后，以__开头的标签将从标签集中删除的。

将labels中的hostname替换为node_name

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus
  - job_name: node_exporter
    static_configs:
      - targets: ['172.16.1.37:9100']
        labels:
          instance: localhost
          __hostname__: node01
          __region_id__: "ap-shanghai"
      - targets: ['172.16.1.14:9100']
        labels:
          instance: localhost
          __hostname__: node02
          __region_id__: "ap-shanghai"
      relabel_configs:
    - source_labels:
      - "__hostname__"
      regex: "(.*)"
      target_label: "node_name"
      action: replace
      replacement: $1

重启服务查看target信息如下

Prometheus入门教程之Relabel使用（五）

说下上面的配置： source_labels指定我们需要处理的源标签， target_labels指定了我们要replace后的标签名字， action指定relabel动作，这里使用replace替换动作。 regex去匹配源标签（hostname）的值，"(.*)"代表hostname这个标签是什么值都匹配的，然后replacement指定的替换后的标签（target_label）对应的数值。采用正则引用方式获取的

只要source_labels的值匹配node01的实例才会被采集数据，其他实例不会采集

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus
  - job_name: node_exporter
    static_configs:
      - targets: ['172.16.1.37:9100']
        labels:
          instance: localhost
          __hostname__: node01
          __region_id__: "ap-shanghai"
      - targets: ['172.16.1.14:9100']
        labels:
          instance: localhost
          __hostname__: node02
          __region_id__: "ap-shanghai"
    relabel_configs:
    - source_labels:
      - "__hostname__"
      regex: "node01"
      action: keep

Prometheus入门教程之Relabel使用（五）

在keep的基础上把action修改为drop

Prometheus入门教程之Relabel使用（五）

action为drop，其实和keep是相似的，不过是相反的，只要source_labels的值匹配regex（node01）的实例不会被采集。其他的实例会被采集。

所有被regex __(.*)__匹配到的标签名，复制匹配到的标签的值，通过replacement分组引用$1，然后创建匹配到的标签集

修改配置如下：

__address__="192.168.65.3:9100"
__meta_kubernetes_endpoint_address_target_kind="Pod"
__meta_kubernetes_endpoint_address_target_name="prometheus-node-exporter-89tcq"
__meta_kubernetes_endpoint_port_name="metrics"
__meta_kubernetes_endpoint_port_protocol="TCP"
__meta_kubernetes_endpoint_ready="true"
__meta_kubernetes_endpoints_name="prometheus-node-exporter"
__meta_kubernetes_namespace="default"
__meta_kubernetes_pod_container_name="prometheus-node-exporter"
__meta_kubernetes_pod_container_port_name="metrics"
__meta_kubernetes_pod_container_port_number="9100"
__meta_kubernetes_pod_container_port_protocol="TCP"
__meta_kubernetes_pod_controller_kind="DaemonSet"
__meta_kubernetes_pod_controller_name="prometheus-node-exporter"
__meta_kubernetes_pod_host_ip="192.168.65.3"
__meta_kubernetes_pod_ip="192.168.65.3"
__meta_kubernetes_pod_label_app="prometheus"
__meta_kubernetes_pod_label_component="node-exporter"
__meta_kubernetes_pod_label_controller_revision_hash="1203132889"
__meta_kubernetes_pod_label_pod_template_generation="1"
__meta_kubernetes_pod_label_release="prometheus"
__meta_kubernetes_pod_name="prometheus-node-exporter-89tcq"
__meta_kubernetes_pod_node_name="docker-for-desktop"
__meta_kubernetes_pod_ready="true"
__meta_kubernetes_pod_uid="62b53ba7-eae3-11e8-b0a6-025000000001"
__meta_kubernetes_service_annotation_prometheus_io_scrape="true"
__meta_kubernetes_service_label_app="prometheus"
__meta_kubernetes_service_label_chart="prometheus-7.4.1"
__meta_kubernetes_service_label_component="node-exporter"
__meta_kubernetes_service_label_heritage="Tiller"
__meta_kubernetes_service_label_release="prometheus"
__meta_kubernetes_service_name="prometheus-node-exporter"
__metrics_path__="/metrics"
__scheme__="http"
job="kubernetes-service-endpoints"

通过kubernetes_sd_configs发现机制，通过apiserver的接口列出当前k8s集群中endpoints列表

经过下面的relabel规则后：

- job_name: kubernetes-service-endpoints
      kubernetes_sd_configs:
      - role: endpoints
      relabel_configs:
      - action: keep
        regex: true
        source_labels:
        - __meta_kubernetes_service_annotation_prometheus_io_scrape
# 只匹配__meta_kubernetes_service_annotation_prometheus_io_scrape=true的endpoint
# 然后进行下一步
# 如果有__meta_kubernetes_service_annotation_prometheus_io_scheme，且正则匹配(https?)，则将__scheme__修改为__meta_kubernetes_service_annotation_prometheus_io_scheme指定的值
      - action: replace
        regex: (https?)
        source_labels:
        - __meta_kubernetes_service_annotation_prometheus_io_scheme
        target_label: __scheme__
# 如果有__meta_kubernetes_service_annotation_prometheus_io_path，且正则匹配(.+)，则将__metrics_path__修改为__meta_kubernetes_service_annotation_prometheus_io_path指定的值
      - action: replace
        regex: (.+)
        source_labels:
        - __meta_kubernetes_service_annotation_prometheus_io_path
        target_label: __metrics_path__
 # 如果有__address__;__meta_kubernetes_service_annotation_prometheus_io_port，且正则匹配([^:]+)(?::\d+)?;(\d+)，则将__address__修改为$1:$2指定的值
      - action: replace
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: $1:$2
        source_labels:
        - __address__
        - __meta_kubernetes_service_annotation_prometheus_io_port
        target_label: __address__
# 如果label名称正则匹配__meta_kubernetes_service_label_(.+)，则设置相应的label
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)
 # 设置kubernetes_namespace为__meta_kubernetes_namespace的值
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: kubernetes_namespace
# 设置kubernetes_name为__meta_kubernetes_service_name的值
      - action: replace
        source_labels:
        - __meta_kubernetes_service_name
        target_label: kubernetes_name

最终形成的抓取endpoint信息如下：

__address__="192.168.65.3:9100"
app="prometheus"
chart="prometheus-7.4.1"
component="node-exporter"
heritage="Tiller"
release="prometheus"
kubernetes_namespace="default"
kubernetes_service_name="prometheus-node-exporter"
__metrics_path__="/metrics"
__scheme__="http"
job="kubernetes-service-endpoints"

上述的endpoint信息交由prometheus，prometheus就可以得到抓取地址了，为__scheme__://__address____metrics_path__，也即http://192.168.65.3:9100/metrics

正文完