bulk_indexing

bulk_indexing #

描述 #

bulk_indexing 处理器用来异步消费队列里面的 bulk 请求。

配置示例 #

一个简单的示例如下:

pipeline:
- name: bulk_request_ingest
  auto_start: true
  keep_running: true
  processor:
    - bulk_indexing:
        elasticsearch: "dev"
        compress: true
        worker_size: 1
        bulk_size_in_mb: 1
        retry_delay_in_seconds: 5

参数说明 #

名称类型说明
worker_sizeint并行执行消费任务的线程数,默认 1
idle_timeout_in_secondsint消费队列的超时时间,默认 1
max_connection_per_nodeint目标节点允许的最大连接数,默认 5,单位秒
bulk_size_in_kbint批次请求的单位大小,单位 KB
bulk_size_in_mbint批次请求的单位大小,单位 MB
elasticsearchstring保存到目标集群的名称
failure_queuestring故障请求的保存队列名称,默认为 %集群名%-failure
invalid_queuestring不合法请求的保存队列名称,默认为 %集群名%-invalid
dead_letter_queuestring超过最大重试次数的请求的保存队列名称,默认为 %集群名%-dead_letter
queuesarray手动指定的一组需要消费的队列名称
indexarray设置一组索引名称,单独开启的索引分片级别的消费队列
shardsarray设置分片级别允许请求通过的分片 ID,其余的丢弃
bulk.compressbool是否开启请求压缩
bulk.retry_delay_in_secondsint请求重试的等待时间
bulk.reject_retry_delay_in_secondsint请求拒绝的等待时间
bulk.max_retry_timesint最大重试次数
bulk.failure_queuestring因为后端故障而失败的请求队列
bulk.invalid_queuestring因为请求不合法的 4xx 请求队列
bulk.safety_parsebool是否启用安全解析,即不采用 buffer 的方式,占用内存更高一点,默认为 true
bulk.doc_buffer_sizebool单次请求处理的最大文档 buff size,建议设置超过单个文档的最大大小,默认 256*1024