将关系型迁移器与 Kafka 集成
关系数据库迁移器使用Apache Kafka作为强大的传输层,从源关系数据库迁移数据到MongoDB。关系数据库迁移器可以作为Kafka Connect插件使用,从而提高大数据迁移作业的弹性和可扩展性。
使用案例
与Kafka结合的关系数据库迁移器适用于大型且长时间运行的作业。Kafka内置的弹性确保迁移作业在任何组件暂时不可用的情况下可以恢复并继续运行。
行为
关系型迁移器作为Kafka Connect的输出连接器与Kafka协同工作。一个Debezium连接器从您的源数据库捕获数据事件,而关系型迁移器则解释并转换来自Debezium源的事件,并将它们发送到充当数据汇的MongoDB集群。
在架构上,关系型迁移器作为Kafka Connect输出连接器在Kafka中部署。数据库事件使用开源的Debezium工具捕获数据库变更数据。Debezium连接器从源数据库捕获这些事件。

任务
您可以使用以下部署方法安装关系型迁移器与Kafka
部署方法 | 描述 |
---|---|
如果您已经运行Kafka或有自己的安装和配置Kafka的方法,则此部署方法非常理想。 | |
此部署方法非常适合教育目的。如果您想了解如何配置自己的多服务器Kafka环境,请使用此方法。 | |
如果您想要Kafka的可靠性而无需管理自己的集群,则此部署方法非常理想。 |