流写入配置选项
概述
在流模式下向 MongoDB 写入数据时，您可以配置以下属性。
注意
如果您使用SparkConf 来设置连接器的写入配置，请在每个属性前添加前缀 spark.mongodb.write.。
属性名称 | 描述 |
|---|---|
connection.uri | 必需。 连接字符串配置键。 默认值： mongodb://localhost:27017/ |
database | 必需。 数据库名称配置。 |
collection | 必需。 集合名称配置。 |
comment | |
mongoClientFactory | MongoClientFactory 配置密钥。 您可以指定一个必须实现 com.mongodb.spark.sql.connector.connection.MongoClientFactory 接口的自定义实现。默认： com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory |
checkpointLocation | |
forceDeleteTempCheckpointLocation | 一个布尔值，指定是否删除现有检查点数据。 默认： false |
在 connection.uri 中指定属性
如果您使用SparkConf 指定任何前面的设置，您可以在 connection.uri 设置中包含它们或单独列出。
以下代码示例展示了如何将数据库、集合和 convertJson 设置作为 connection.uri 设置的一部分进行指定
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
为了使 connection.uri 更短并使设置更容易阅读，您可以单独指定它们
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
重要
如果您在 connection.uri 和其单独一行中都指定了设置，则 connection.uri 设置具有优先权。例如，在以下配置中，连接数据库是 foobar
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar