Flink Kafka Connector 与 Exactly Once 剖析

  • 时间:
  • 浏览:0
  • 来源:大发欢乐生肖APP下载_大发欢乐生肖APP官网

作者:史天舒

既然

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它蕴藏了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。

在 Flink 中使用 Kafka Connector 需用用依赖 Kafka 的版本,Flink 针对不同的 Kafka 版本提供了对应的 Connector 实现。