文档菜单
文档首页
/
MongoDB Kafka 连接器
/ /

启动属性

本页内容

  • 概述
  • 设置

使用以下配置设置以配置 MongoDB Kafka 源连接器的启动,以便将 MongoDB 集合转换为 Change Stream 事件。

提示

有关使用复制现有功能的示例,请参阅复制现有数据使用示例。

有关按类别组织源连接器配置设置的列表,请参阅源连接器配置属性指南。

名称
描述
startup.mode
类型:字符串

描述
指定连接器在没有源偏移量可用时应如何启动。恢复更改流需要一个恢复令牌,连接器从源偏移量获取恢复令牌。如果没有源偏移量,连接器可能忽略所有或部分现有源数据,或者首先复制所有现有源数据,然后继续处理新数据。

如果startup.mode=latest,连接器忽略所有现有源数据。

如果startup.mode=timestamp,连接器激活startup.mode.timestamp.*属性。如果没有配置属性,timestamplatest等效。

如果startup.mode=copy_existing,连接器将所有现有源数据复制到 Change Stream 事件。此设置与已弃用的设置copy.existing=true等效。

如果在源连接器从数据库转换现有数据的同时系统更改了数据库中的数据,MongoDB 可能会产生重复的更改流事件来反映最新的更改。由于依赖于更改流事件的复制是幂等的,因此复制的数据最终是一致的。

默认值:latest
接受值: latest, timestamp, copy_existing
startup.mode.timestamp.start.at.operation.time
类型:字符串

描述
仅在 startup.mode=timestamp 时激活。指定更改流的起始点。

了解更多关于更改流参数的信息,请参阅$changeStream (aggregation) 在 MongoDB 手册中。

默认值: ""
接受值:
  • 自纪元以来的整数秒数,以十进制格式表示(例如,30

  • ISO-8601 格式的一个秒精度瞬间(例如,1970-01-01T00:00:30Z

  • 以规范扩展 JSON(v2)格式表示的 BSON 时间戳(例如,{"$timestamp": {"t": 30, "i": 0}}

startup.mode.copy.existing.namespace.regex
类型:字符串

描述
连接器用于匹配要从中复制数据的命名空间的正则表达式。命名空间描述了由点分隔的 MongoDB 数据库名称和集合(例如,databaseName.collectionName)。

例如,以下正则表达式设置匹配 stats 数据库中以 "page" 开头的集合
startup.mode.copy.existing.namespace.regex=stats\.page.*
示例中上述的 \ 字符转义了正则表达式后面跟随的 . 字符。有关如何构建正则表达式的更多信息,请参阅 Java API 文档中的 模式

默认值: ""
接受值: 有效的正则表达式
startup.mode.copy.existing.pipeline
类型:字符串

描述
连接器在复制现有数据时运行的 管道操作 的内联数组。您可以使用此设置过滤源集合并提高复制过程中的索引使用率。

例如,以下设置使用 $match 聚合运算符来指示连接器仅复制包含具有 false 值的 closed 字段的文档。
startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]
默认值: ""
接受值: 有效的聚合管道阶段
startup.mode.copy.existing.max.threads
类型: int

描述
连接器可以用来复制数据的最大线程数。

默认值: 环境中可用的处理器数量
接受值: 整数
startup.mode.copy.existing.queue.size
类型: int

描述
连接器在复制数据时可以使用的队列大小。

默认值: 16000
接受值: 整数
startup.mode.copy.existing.allow.disk.use
类型: boolean

描述
当设置为true时,连接器使用临时磁盘存储来复制现有聚合。

默认值: true
可接受值: truefalse

返回

输出格式

本页内容