bulk_indexing

bulk_indexing #

描述 #

bulk_indexing 处理器用来异步消费队列里面的 bulk 请求。

配置示例 #

一个简单的示例如下:

pipeline:
- name: bulk_request_ingest
  auto_start: true
  keep_running: true
  processor:
    - bulk_indexing:
        bulk_size_in_mb: 1
        queues:
          type: bulk_reshuffle
          level: cluster

参数说明 #

名称类型说明
idle_timeout_in_secondsint消费队列的超时时间,默认 1
max_connection_per_nodeint目标节点允许的最大连接数,默认 1
bulk_size_in_kbint批次请求的单位大小,单位 KB
bulk_size_in_mbint批次请求的单位大小,单位 MB
queuesmap根据 Label 来过滤一组需要消费的队列
skip_info_missingbool根据忽略不满足条件的队列消费,如节点、索引、分片信息不存在时则需等待信息获取后再消费,默认为 false,否则会随机挑选一个 es 节点来发送请求
bulk.compressbool是否开启请求压缩
bulk.retry_delay_in_secondsint请求重试的等待时间
bulk.reject_retry_delay_in_secondsint请求拒绝的等待时间
bulk.max_retry_timesint最大重试次数
bulk.failure_queuestring因为后端故障而失败的请求队列
bulk.invalid_queuestring因为请求不合法的 4xx 请求队列
bulk.dead_letter_queuestring超过最大重试次数的请求队列
bulk.safety_parsebool是否启用安全解析,即不采用 buffer 的方式,占用内存更高一点,默认为 true
bulk.doc_buffer_sizebool单次请求处理的最大文档 buff size,建议设置超过单个文档的最大大小,默认 256*1024