启动属性
概述
使用以下配置设置以配置 MongoDB Kafka 源连接器的启动,以便将 MongoDB 集合转换为 Change Stream 事件。
提示
有关使用复制现有功能的示例,请参阅复制现有数据使用示例。
有关按类别组织源连接器配置设置的列表,请参阅源连接器配置属性指南。
设置
名称 | 描述 | |
---|---|---|
startup.mode | 类型:字符串 描述 指定连接器在没有源偏移量可用时应如何启动。恢复更改流需要一个恢复令牌,连接器从源偏移量获取恢复令牌。如果没有源偏移量,连接器可能忽略所有或部分现有源数据,或者首先复制所有现有源数据,然后继续处理新数据。 如果 startup.mode=latest ,连接器忽略所有现有源数据。如果 startup.mode=timestamp ,连接器激活startup.mode.timestamp.* 属性。如果没有配置属性,timestamp 与latest 等效。如果 startup.mode=copy_existing ,连接器将所有现有源数据复制到 Change Stream 事件。此设置与已弃用的设置copy.existing=true 等效。如果在源连接器从数据库转换现有数据的同时系统更改了数据库中的数据,MongoDB 可能会产生重复的更改流事件来反映最新的更改。由于依赖于更改流事件的复制是幂等的,因此复制的数据最终是一致的。 默认值: latest 接受值: latest , timestamp , copy_existing | |
startup.mode.timestamp.start.at.operation.time | 类型:字符串 描述 仅在 startup.mode=timestamp 时激活。指定更改流的起始点。了解更多关于更改流参数的信息,请参阅$changeStream (aggregation) 在 MongoDB 手册中。 默认值: "" 接受值:
| |
startup.mode.copy.existing.namespace.regex | 类型:字符串 描述 连接器用于匹配要从中复制数据的命名空间的正则表达式。命名空间描述了由点分隔的 MongoDB 数据库名称和集合(例如, databaseName.collectionName )。例如,以下正则表达式设置匹配 stats 数据库中以 "page" 开头的集合
| |
startup.mode.copy.existing.pipeline | ||
startup.mode.copy.existing.max.threads | 类型: int 描述 连接器可以用来复制数据的最大线程数。 默认值: 环境中可用的处理器数量 接受值: 整数 | |
startup.mode.copy.existing.queue.size | 类型: int 描述 连接器在复制数据时可以使用的队列大小。 默认值: 16000 接受值: 整数 | |
startup.mode.copy.existing.allow.disk.use | 类型: boolean 描述 当设置为 true 时,连接器使用临时磁盘存储来复制现有聚合。默认值: true 可接受值: true 或false |