发行说明

MongoDB Connector for Spark 10.4

10.4连接器版本包含以下更改和新功能

• 更新Java同步驱动程序版本为v5.1.x。

MongoDB Connector for Spark 10.3

10.3连接器版本包含以下新功能

• 添加了对Spark v3.3, v3.4和v3.5的支持。

• 添加了在微批处理或连续流模式读取多个集合的支持。

  警告

  破坏性更改

  读取多个集合的支持引入以下破坏性更改

  • 如果您的collection配置选项中使用的集合名称包含逗号，Spark连接器将其视为两个不同的集合。为了避免这种情况，您必须通过在逗号之前加反斜杠(\)来转义它。

  • 如果您的collection配置选项中使用的集合名称是"*"，Spark连接器将其解释为扫描所有集合的规范。为了避免这种情况，您必须通过在星号之前加反斜杠(\)来转义它。

  • 如果您的collection配置选项中使用的集合名称包含反斜杠(\)，Spark连接器将反斜杠视为转义字符，这可能会改变它解释值的方式。为了避免这种情况，您必须通过在反斜杠之前再加一个反斜杠来转义它。

  有关扫描多个集合的更多信息，请参阅集合配置属性描述。

MongoDB Spark 连接器 10.2

10.2 版本连接器包含以下新功能

• 添加了 ignoreNullValues 写入配置属性，允许您控制连接器是否忽略 null 值。在之前版本中，连接器总是将 null 值写入 MongoDB。

• 添加了 convertJson 写入配置属性的选项。

• 添加了 change.stream.micro.batch.max.partition.count 读取配置属性，允许您将微批处理分成多个分区进行并行处理。

• 改进了使用 change.stream.publish.full.document.only 读取配置属性时的更改流模式推断。

• 添加了 change.stream.startup.mode 读取配置属性，指定连接器在无偏移量时如何处理更改事件。

• 支持为操作添加注释。

MongoDB Spark 连接器 10.1.1

• 修复了一个错误，即在包含 $collStats 管道阶段的聚合操作中，时间序列集合没有返回计数字段。

MongoDB Connector for Spark 10.1.0

• 支持Scala 2.13。

• 支持Spark Structured Streaming的微批处理模式。

• 支持BSON数据类型。

• 改进了空集合的分区器支持。

• 在写操作中禁用自动更新选项。

• 改进了空数组的模式推断。

• 支持数组和列表中的null值。连接器现在将这些值写入MongoDB而不是抛出异常。

参见这篇博客文章了解更多信息。

MongoDB Connector for Spark 10.0.0

• 支持Spark Structured Streaming。