dump_hash

dump_hash #

描述 #

dump_hash 处理器用来导出集群的索引文档并计算 Hash。

配置示例 #

一个简单的示例如下:

pipeline:
- name: bulk_request_ingest
  auto_start: true
  keep_running: true
  processor:
    - dump_hash: #dump es1's doc
        indices: "medcl-dr3"
        scroll_time: "10m"
        elasticsearch: "source"
        query: "field1:elastic"
        fields: "doc_hash"
        output_queue: "source_docs"
        batch_size: 10000
        slice_size: 5

参数说明 #

名称类型说明
elasticsearchstring目标集群的名称
scroll_timestringScroll 回话超时时间
batch_sizeintScroll 批次大小,默认 5000
slice_sizeintSlice 大小,默认 1
sort_typestring文档排序类型,默认 asc
sort_fieldstring文档排序字段
indicesstring索引
levelstring请求处理级别,可以设置为 cluster 则表示请求不进行节点和分片级别的拆分,适用于 Elasticsearch 前有代理的情况
querystring查询过滤条件
fieldsstring要返回的字段列表
hash_funcstringhash 函数,可选 xxhash32xxhash64fnv1a,默认 xxhash32
output_queuestring输出结果的队列名称