流式读取配置选项

概述

在流模式下从 MongoDB 读取数据时，您可以配置以下属性。

{"$match": {"closed": false}}

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

更改流配置

从MongoDB读取更改流时，您可以配置以下属性

在connection.uri中指定属性

如果您使用SparkConf来指定任何之前的设置，您可以将它们包含在connection.uri设置中，也可以单独列出。

以下代码示例展示了如何将数据库、集合和读取偏好作为connection.uri设置的一部分进行指定

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/myDB.myCollection?readPreference=primaryPreferred

为了使connection.uri更短并使设置更易于阅读，您可以单独指定它们

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/
spark.mongodb.read.database=myDB
spark.mongodb.read.collection=myCollection
spark.mongodb.read.readPreference.name=primaryPreferred

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/foobar
spark.mongodb.read.database=bar

在collection属性中指定多个集合

您可以通过用逗号分隔集合名称来在collection更改流配置属性中指定多个集合。除非空格是集合名称的一部分，否则请勿在集合之间添加空格。

如以下示例所示指定多个集合

...
.option("spark.mongodb.collection", "collectionOne,collectionTwo")

如果集合名称是"*"或名称包含逗号或反斜杠（\），则必须按以下方式转义字符

• 如果您的collection配置选项中使用的集合名称包含逗号，则Spark连接器将其视为两个不同的集合。为了避免这种情况，您必须通过在逗号之前加上反斜杠（\）来转义逗号。按以下方式转义名为"my,collection"的集合

  "my\,collection"

• 如果您的collection配置选项中使用的集合名称是"*"，则Spark连接器将其解释为扫描所有集合的指定。为了避免这种情况，您必须通过在前面加上反斜杠（\）来转义星号。按以下方式转义名为"*"的集合

  "\*"

• 如果您的collection配置选项中使用的集合名称包含反斜杠（\），则Spark连接器将其视为转义字符，这可能会改变它对值的解释。为了避免这种情况，您必须通过在前面加上另一个反斜杠来转义反斜杠。按以下方式转义名为"\collection"的集合

  "\\collection"

  注意

  当在Java中将集合名称指定为字符串字面量时，您必须进一步通过在前面加上另一个反斜杠来转义每个反斜杠。例如，按以下方式转义名为"\collection"的集合

  "\\\\collection"

您可以通过传递一个字符串"*"作为集合名称来从数据库中的所有集合进行流式传输。

如以下示例所示指定所有集合

...
.option("spark.mongodb.collection", "*")

当从所有集合进行流式传输时创建集合，则新集合将自动包含在流中。

您可以在从多个集合进行流式传输的同时随时删除集合。