Flink 实时写入数据到 ElasticSearch 性能调优

  • 时间:
  • 浏览:1
  • 来源:大发彩神UU快三_大发神彩UU快三官方

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据总出 backpressure,数据积压严重。单次 bulk 的写入量为:300/30mb/30s,并行度为 48。针对该什么的什么的问题,为了处置影响线上业务申请了另另有一个 与线上集群配置相同的 ES 集群。本着复现什么的什么的问题进行优化就能处置的思路进行调优测试。

从压测结果来看,集群层面的平均写入性能最少在每秒 10 w+ 的 doc。

作者:张刘毅