MongoDB Spark 连接器
的MongoDB Spark 连接器 为 MongoDB 和 Apache Spark 之间提供集成。
注意
MongoDB Spark 连接器 10.x 版本是一个全新的连接器，基于最新的 Spark API。安装并迁移到 10.x 版本来利用新的功能，例如与Spark 结构化流.
10.x 版本使用新的命名空间com.mongodb.spark.sql.connector.MongoTableProvider。这允许您在 10.x 版本的同时使用旧版本的连接器（3.x 和更早版本）。
有关新连接器及其优势的更多信息，请参阅MongoDB 宣布博客文章。
使用连接器，您可以访问所有 Spark 库以用于 MongoDB 数据集：用于 SQL 分析（得益于自动模式推断）、流、机器学习和图 API 的 Dataset。您还可以使用 Spark Shell 与连接器一起使用。
MongoDB Spark 连接器与以下版本的 Apache Spark 和 MongoDB 兼容
MongoDB Spark 连接器 | Spark 版本 | MongoDB 版本 |
|---|---|---|
10.4.0 | 3.1 至 3.5 | 4.0 或更高版本 |